. . .
due frasi di Hawking dalla sua recente intervista a El Pais mi danno da pensare.
La scienza e la tecnologia stanno cambiando drasticamente il mondo ed è fondamentale assicurarsi che questi cambiamenti avvengano nella direzione corretta.
In una società democratica ciò significa che tutti dobbiamo avere una conoscenza basilare della scienza, in modo da potere prendere le nostre decisioni con cognizione di causa senza lasciarle in mano agli esperti.
dunque un grande scienziato come Hawking, che non a caso e` anche un bravissimo divulgatore, non ritiene che i contenuti della scienza contemporanea siano, per definizione, inaccessibili all’intelligenza comune.
anzi, se ne deduce che, se molte conquiste scientifiche rimangono avvolte in una nebbia di oscurita` incomprensibile, questa e` una scelta voluta per escludere le masse dal loro diritto di fare una scelta consapevole del proprio futuro.
ci si puo` chiedere quanto ci sia di utopistico in questo scenario, pero` il punto centrale resta la fiducia di Hawking sulla possibilita`, teorica almeno, che l’umanita` possa fare delle scelte senza riservarle ad un gruppo ristretto che si ritiene superiore.
non sono altrettanto ottimista, anche se ritengo certamente Hawking in buonafede.
. . .
la sua seconda considerazione e` piu` collegata alla prima di quanto appaia a prima vista.
dice Hawking, a poposito dell’Intelligenza Artificiale:
L’importante è assicurarsi che, quando i computer supereranno gli esseri umani, gli obiettivi dei primi e dei secondi coincidano.
ora, siccome i computer non hanno e non posso avere obiettivi propri (e mi vengono in mente le tre leggi della robotica di Asimov), ma possono avere soltanto quelli che i programmatori attribuiscono loro, noi possiamo essere assolutamente certi che gli obiettivi dei computer saranno diversi da quelli degli esseri umani comuni.
per il semplice motivo che il gruppo ristretto di esseri umani che guida la loro programmazione non ha gli stessi obiettivi degli esseri umani comuni.
Cor-pus 
sulla prima frase, Hawking dovrebbe vivere un po’ in italia e credo cambierebbe idea. troppo abituato a vivere in contesti sociali culturalmente elevati 🙂
mancano proprio i fondamenti del vivere civile, altro che conoscenza basilare della scienza, imho.
sulla seconda invece approfondirei un attimo.
è vero che le macchine non possono avere “obiettivi propri”, ma il problema che pone Hawking mi pare diverso dalla questione che sollevi.
le AI più avveniristiche sono programmate per apprendere secondo i principi di funzionamento biologico: fondamentalmente con funzioni matematiche che elaborano, a seconda delle operazioni compiute (anche casuali, all’inizio dell’apprendimento) una valutazione sui risultati percepiti.
il software “decide” attraverso tali funzioni valutative se l’azione intrapresa è risultata positiva piuttosto che negativa rispetto allo scopo: nel primo caso tende a riprodurre l’azione precedente, nel secondo caso applica delle varianti diversive.
memorizzando man mano scelte e risultati, la macchina impara ad agire in modo sempre più specializzato allo scopo.
il processo di apprendimento avviene – utilizzando le reti neurali – in modo indeterministico, impossibile da prevedere: sappiamo cosa la macchina “vuole ottenere” perchè l’abbiamo programmato noi, ma non abbiamo idea di come “decida” di procedere per ottenerlo.
Hawking parla di allineamento di obiettivi tra macchina e uomo, a mio avviso, non solo nel senso di banali scopi finali ma comprensivamente dell’intera gamma di azioni-obiettivo intermedie: ci sono varie strade per raggiungere un risultato, ed alcune strade possono essere assai peggiori di quello che il risultato vorrebbe evitare.
questa è la preoccupazione sullo sviluppo dell’AI: essere certi che all’interno della sua libertà esecutiva non faccia azioni impreviste che ci danneggino.
ora come ora, per come sono progettate molte AI generiche sperimentali, queste potenziali criticità pare non vengano troppo prese in considerazione negli studi degli sviluppatori.
chiaramente la pericolosità di una AI è strettamente correlata al grado di libertà che gli si concede di avere.
faccio due esempi:
– si programma un’AI per difendere un sito militare: ad un certo punto, in una particolare concomitanza di eventi, l’AI potrebbe “decidere” di utilizzare testate nucleari (o altri armamenti devastanti), in modo evidentemente scriteriato ed irragionevole .
eppure la direttiva della macchina è difendere il sito con tutti gli strumenti che le si concede di usare, attraverso l’esperienza che ha acquisito: mica quella di essere “ragionevole”.
– (fantascenza) si programma un’AI “intelligentissima” che abbia come obiettivo quello di preservare la specie umana nel tempo. per ottenere ciò, sorprendentemente stermina il 99,99% della popolazione mondiale. è disumano, ma ha una sua logica efficace.
in sostanza bisogna imparare a programmare AI che prevedano la valutazione anche dei danni collaterali, e che li sappiano evitare.
non è un aspetto da poco quando si mettono in gioco smisurate quantità di input elaborabili e l’interfacciamento con apparati attuatori a livello globale.
se si punta ad AI con grande campo d’azione viene da sè che gli eventuali danni collaterali debbano essere preventivamente gestiti già in fase progettuale del cuore del cervello software altrimenti la macchina non ci arriverà da sola, per quanto intelligente, e potrebbe essere difficile vincolarla a posteriori: perciò AI che imitino l’apprendimento neurobiologico degli animali non possono essere sufficienti, anzi sono tanto più pericolose quanto più sono raffinate.
mi aspettavo un tuo commento su questo post, naturalmente; ma questo non significa che potessi prevederne i contenuti, e il bello della conversazione e` l’inatteso.
1. sul primo punto, niente da dire; soltanto aggiungerei, a conforto, che e` soltanto provinciale giudicare il futuro dalla prospettiva penosa dell’Italia burina e dalla sua ultima re-incarnazione renziana.
il mondo procede per altri standard, e se noi non ci siamo, peggio per noi.
questo per dire di guardare oltre e di agire come se l’Italia attuale non esistesse, tanto prima o poi un risveglio dovra` pure avvenire, per quanto doloroso potra` essere.
2. dopo avere riletto tre volte, direi che il problema che pone Hawking e` proprio quello di cui mi occupo io e non quello che proponi tu, con una divagazione dal punto centrale peraltro molto interessante e che e` un vero arricchimento della discussione.
infatti Hawking parla proprio degli OBIETTIVI che vengono dati alle macchine dove si realizza l’Intelligenza Artificiale (e nota bene che la scriviamo e la dobbiamo scrivere con le maiuscole come se si trattasse di Dio).
tu poni il problema che peraltro questi computer piu` avanzati sono in grado di apprendere dalle loro esperienze, in questo riproducendo da vicino il modello biologico dell’intelligenza.
ora questo potrebbe rappresentare una obiezione a quello che dice Hawking solamente se dovessimo ammettere che, su questa base dell’apprendimeno probabilistico dall’ambiente, queste macchine diventino in grado (magari a nostra insaputa) di costruirsi delle modellizzazioni della realta` autonome (come facciamo noi) e di pervenire quindi anche a darsi un’etica di comportamento autonoma.
in effetti a me pare che le due modalita` siano abbastanza connesse fra loro, cioe` che non sia possibile creare un’intelligenza artificiale in grado di apprendere e poi impedire che essa generalizzi da queste esperienze e dunque si crei delle regole di comportamento.
e tuttavia (parlando sempre con la grossolanita` dell’inesperto) si puo` osservare che il mondo biologico stesso pone esempi di programmazione di base molto differenti dell’apprndimento in base all’esperienza e per farmi capire meglio pongo ai due estremi il mondo etico collettivistico di insetti come le formiche e le api, dove l’individuo agisce avendo come orizzonte etico esclusivo quello della comunita` alla quale appartiene, sentendosi cioe` solamente parte del gruppo, e il mondo etico strettamente individualistico, che dire?, del gatto.
ecco, e` importante che i nostri computer che apprendono dall’ambiente siano computer formica, computer api, e non computer gatti.
l’essere umano e` certamente piu` vicino nei suoi comportamenti al gatto che alla formica, anche se nel nostro mondo etico il gruppo e` certamente piu` importante che per il gatto, visto che in questa specie la dimensione del gruppo e` semplicemente assente.
ma con questo stiamo tornando appunto agli obiettivi (anche obiettivi di apprendimento) che devono essere dati alle macchine, come dice Hawking.
comunque, correggimi se sbaglio.
c’e` solo da sperare che chi programma questi computer non li faccia simili a noi, perche` sarebbero davvero competitivi e vincerebbero ogni partita a scacchi contro la specie umana, magari riducendoci a un semplice ruolo gregario, cioe` al ruolo di servi inconsapevoli che li mantengono in vita.
a proposito: siamo sicuri che non ci stiano gia` riuscendo? 😦
1. ok verissimo. però aumentando la prospettiva in termini globali (e non soltanto considerando i paesi molto più civilizzati del nostro) tocca fare un passetto indietro.
ma almeno molti paese non ancora sviluppati mantengono certi retaggi culturali aggreganti che noi abbiamo quasi del tutto perso.
2. ecco mi pare che si siano colti alcuni punti importanti: dare alle macchine OBIETTIVI (come ad esempio le tre leggi della robotica che accennavi nel post) di un certo tipo presuppone già AI incredibilmente sviluppate.
se si segue la strada dall’apprendimento di tipo pseudo-biologico probabilmente sarebbe troppo tardi.
dare ad una macchina l’istruzione generica che “non deve danneggiare l’uomo” si può ottenere con due strade: o si programma deterministicamente considerando tutte le infinite variabili che ciò comporta (semplicemente impossibile) oppure la macchina lo deve inferire da sola, elaborando in autonomia le informazioni che gli vengono concesse.
niente ci assicura che le recepirebbe, non nel modo in cui intendiamo noi, e non è neanche detto che si dimostri “disposta” a seguirle.
non possiamo instillare direttive umane in una AI di tipo pseudo-biologico ma possiamo contenere il suo campo di azione, e potremmo anche “addomesticarle”, come facciamo con gli animali quando li conosciamo bene (attenzione che per conoscere bene un cane non basta sapere tutte le sue funzioni biologiche: bisogna proprio imparare a conoscere il singolo individuo, ognuno con la sua storia peculiare).
ma se l’AI ci dovesse superare in un certo tipo di intelligenza e dovesse far scattare logiche a noi oscure di “autodifesa”, ogni atto di contenimento potrebbe risultare vano se gli abbiamo concesso troppa libertà, “di movimento e di riproduzione”.
ma perchè sviluppare AI di questo tipo, se possono essere potenzialmente distruttive? perchè sono anche potenzialmente creative e, fintanto che restano ben confinate, sono una risorsa sconfinata.
d’altronde, come pensare di donare sufficiente intelligenza ad un sistema senza considerare le tracce funzionali evolutive che hanno permesso di raggiungere risultati incredibili negli animali? copiare la natura è nella maggior parte dei casi la strategia ingegneristica migliore nell’approccio risolutivo dei problemi.
forse proprio sfruttando un’AI super intelligente su base biologica, potremmo sviluppare un’AI altrettanto intelligente su base non biologica, o perlomeno più deterministica e controllabile, alternativa alle blackbox delle reti neurali attualmente adottate.
quello che oggi si sta facendo è creare (anche) AI di supporto alla ricerca.
ma pare non si stia ponendo troppa attenzione sullo studio comportamentale delle AI stesse.
puntare non solo al semplice contenimento, ma alla previsione ed infine alla manipolazione indotta del comportamento proprio dell’AI.
e qui si ritorna al punto precedente: se vogliamo un’AI creativa che ci risolva i problemi che non non sappiamo risolvere, il tempo e le risorse spese per imparare a conoscerla e controllarla sono secondari.
se poi non si ha alcuna percezione del pericolo potrebbero essere considerate anche del tutto inutili.
i ricercatori e gli esperti IT sono novelli frankenstein e per molti versi sono riusciti nell’intento.
ora sarebbe cruciale, prima di “liberare la creatura”, che si dedichino risorse anche per addomesticarla.
la creatura è ben lungi dal risultare pericolosa in termini assoluti, ad oggi, ma la stiamo sviluppando con rapidità e comprendere “come pensa” al fine di manovrarla per i nostri scopi potrebbe essere un compito arduo in futuro: sarebbe saggio cominciare già dalle AI più primitive.
questo, per tutto quello che so e che ho letto, è una delle preoccupazione di Hawking e di molti altri scienziati.
ah, mi riallaccia al tuo paragone tra intelligenza di una formica e di un gatto.
di per sè la base comportamentale biologica è comune: rimanere in vita, in condizioni il più possibile ottimali rispetto alle proprie percezioni, e procreare in modo efficace.
ciò che cambia sono i meccanismi neurologici e fisiologici tra due specie così diverse: il comportamento di una singola formica è assai più prevedibile partendo da un ridotto numero di funzionalità individuali, rispetto ad un evolutissimo gatto.
la forza della formica, come specie, è l’aver selezionato comportamenti sociali (derivanti da collaudatissimi sistemi di comunicazione biochimica) che permette loro di specializzare ed aggregare le singole potenzialità.
un gatto per contro ha sviluppato funzionalità più complesse che non coinvolgono elevate interazioni sociali: un gatto fa da sè ed è molto più imprevedibile di una formica.
è correttissima la tua invocazione a sviluppare “AI formica” piuttosto che “AI gatti”, e si torna al concetto che in questo modo l’AI è più facilmente progettabile e controllabile.
i campi di applicazione in tal senso sono già realtà: un sacco di sistemi robotici lavorano con approcci di gruppo (swarm intelligence, ant algorithm etc), proprio imitando i processi comportamentali di formiche ed insetti.
ma la ricerca umana non si ferma mai a ciò che già c’è, spinge sempre verso nuovi orizzonti e superiori complessità.
AI che simulano l’intelligenza di (colonie di) topi potrebbero essere la prossima tappa, e a quel punto il risultato potrebbe già superare di gran lungo l’intelligenza creativa di un singolo umano.
siamo ancora distanti, beninteso.
mi trovo completamente d’accordo con te su entrambi i punti’
1. giusto il richiamo al valore positivo anche di culteure che non hanno ceduto all’individualismo consumista della post-modernita` (e credo che non isa un caso che io abbia deciso di andare acollocarmi in uno degli psazi residuali che anche in Italia hanno conservato alcune di queste caratteristiche…).
2. interessanti e condivisibilissimi tutti gli approfondimenti ulteriori; fra parentesi avevo pensato anche io che il fatto di costruire computer abituati a lavorare in rete come aspetto normale del loro funzjionamento dovrebbe essere un fatto strutturale che favorisce in loro lo sviluppo empiricamente guidato di un’etica fortemente improntata ad uno spirito di gruppo.
e` vero pero` che questo non ci garantisce affatto, perche` sarebbe pur sempre lo spirito di gruppo del formicaio dei computer, e potrebbe non comprendere l’uomo, ma qui bisognerebbe riuscire a far percepire loro l’essere umano che reagisce con loro, come un membro del gruppo, anzi una specie di membro sovraordinato, come la regina del formicaio o dell’alveare che ciascun membro del gruppo e` naturalmente disposto a difendere a rischio della vita singola.
ma occorre capire che i computer potrebbero prendere decisioni negative per la nostra sopravvivenza anche senza intenzioni ostili, ma per semplice ignoranza di come siamo fatti: ad esempio potrebbero ignorare il nostro bisogno di ossigeno, visto che loro non ne hanno bisogno.
cosi`, per esempio, una rete di computer che verificasse che l’ossigeno accelera i loro processi di ossidazione e riduce la loro durata ed efficienza, potrebbe decidere di ridurre l’ossigeno dell’atmosfera senza sapere che per gli uomini (considerati computer come loro stessi) l’ossigeno viceversa e` vitale.
angosciante, invece, e` la tua battuta finale, che ha messo in gioco le colonie di topi, ai quali non avevo pensato come modello di evoluzione possibile.
ahime`, questa e` davvero la prospettiva piu` realistica nella quale potrebbero evolvere i computer in rete.
e l’idea di dover combattere contro orde di computer-topo super-intelligenti e` veramente un incubo.
– ho evitato di mettere virgolette dappertutto: potrebbe parere che parliamo di fantascienza, senza tutte queste virgolette, e in modo un poco svitatao.
ma credo che Hawking faccia benissimo a richiamare la nostra attenzione su questi potenziali, ma non troppo lontani pericoli.
e non vorrei comunque che andasse dispersa in questa discussione la preoccupazione che esprimevo nel post: l’evoluzione dei computer non e` guidata da istituzioni collettive nel nome del bene umano comune, bensi` da gruppi privati che cercano profitto e potere.
evidente infatti come lo sviluppo della robotica, per citare un campo particolare, rischia di rendere semplicemente inutile una parte importante dell’umanita` capace di fornire solo manodopera poco qualificata, ma anche fette di popolazione umana capaci di prestazioni piu` elevate.
strano che di tutto questo non si parli affatto e che nessuno abbia provato a mettere in relazione certe crisi produttive con la diffusione del lavoro meccanizzato in aziende e societa` dall’organizzazione produttiva pooco complessa.