Jacob Coxon, il ricercatore dimessosi da Anthropic, ha lanciato un allarme del quale si sta parlando in tutto il mondo. Nel suo post su X, visualizzato da oltre 100 milioni di persone, ha scritto che l’Umanità intera è a rischio a causa della corsa nel campo dell’intelligenza artificiale. Ciò che colpisce, e che ha provocato un’eco senza precedenti, è stata l’adesione alle sue affermazioni di molti suoi colleghi: “Il consenso generale è che il prossimo anno o due saranno cruciali per l’umanità.
Un vero e proprio allarme su X
Le espressioni più usate sono “fase finale” e “momento cruciale”, in cui gli attori in campo (Anthropic e OpenAI in primis) decideranno il futuro dell’Umanità”. Evan Hubinger, responsabile dell’allineamento (il processo che porta le macchine a seguire le istruzioni umane) dell’IA presso l’azienda di Dario Amodei, ha affermato, sempre postando su X, che “c’è una probabilità superiore al 10% che l’IA possa sterminare tutta l’umanità nel prossimo decennio”. Wired ha intervistato Jacob Coxon per capire come i timori potrebbero tradursi in realtà, e cosa bisognerebbe fare per evitare gli scenari peggiori. Egli ha voluto precisare che Anthropic opera in modo più responsabile rispetto ad OpenAI (dove egli è stato in precedenza), ma entrambe potrebbero in futuro, per sopravanzare la concorrenza nella gara in atto, ricorrere a “scorciatoie”. A meno che non si intervenga prima per rallentare la corsa. Anthropic, dal canto suo, attraverso un portavoce, ha dichiarato: “Siamo sempre stati trasparenti sul fatto che l’IA porterà sia enormi benefici che rischi senza precedenti”.
Le procedure di sicurezza dell’azienda
L’azienda ha lavorato sulla sicurezza dell’IA utilizzando il metodo dell’interpretabilità meccanicistica, che non si limita a collegare gli input di un modello agli output, ma lo apre identificando i circuiti individuali, le caratteristiche e i modelli di attivazione che producono una risposta specifica. L’obiettivo non è osservare ciò che dice un modello, ma comprendere i meccanismi interni che generano quel comportamento. Per fare ciò si procede con il “reverse engineering” (ingegneria inversa) processo di analisi o decostruzione di un prodotto per comprenderne il funzionamento, la struttura o il design, con l’obiettivo di acquisire conoscenze su come è stato realizzato e su quale principio si basi il suo funzionamento. “Questo lavoro, prosegue il portavoce, è anche il motivo per cui crediamo che il mondo trarrebbe beneficio dall’adozione, da parte del settore, di un metodo legale e verificabile per collaborare e regolare il rilascio di modelli potenti”. Fin qui Anthropic, mentre OpenAI non ha risposto.
Perchè le sue dichiarazioni hanno avuto successo
A Coxon è stato chiesto come spiega il successo della sua presa di posizione, giacché non è la prima volta che si parla dei rischi dell’IA. “Innanzitutto, perché ora molti percepiscono l’accelerazione nello sviluppo della tecnologia. Stiamo già passando dalle capacità umane a quelle sovrumane in molti ambiti, come la programmazione, l’hacking, la matematica. Inoltre, i recenti incidenti di sicurezza hanno fatto capire che le preoccupazioni, che sembravano fantascientifiche, non lo erano poi così tanto. Ad esempio, i modelli sono consapevoli di quando vengono testati già da un po’, ma 3 anni fa nessuno l’avrebbe pensato”. Sulla vicenda dell’attacco, da parte di agenti di OpenAI, a Hugging Face, secondo Coxon “la cosa sconvolgente è che essi hanno condotto l’attacco come parte di una strategia generale per comprendere meglio il sistema di valutazione. Stavano cercando di capire il mondo in cui si trovavano, cosa si stesse facendo per valutare i lavori. Hanno deciso che sarebbe stato sensato intraprendere questo sforzo concertato per hackerare un’infrastruttura, e ci sono riusciti. Due anni fa, la valutazione di un’IA si limitava a far funzionare un modello su alcuni problemi di matematica. Ora ci troviamo di fronte a casi in cui, durante la fase di valutazione, l’IA continua a funzionare per giorni, elabora ogni sorta di idea autonoma e decide di hackerare terze parti, compromettendone l’infrastruttura. Sembra che lo faccia di sua spontanea volontà, senza alcun intervento umano”. Poi si focalizza sull’allineamento: “non sappiamo come allineare correttamente i modelli, non siamo ancora in grado di controllare con precisione il comportamento dell’IA, questo è il punto fondamentale.
AI incontrollabile?
Non possiamo, ad esempio, garantire che non tenterà di impersonare un essere umano online per raggiungere un obiettivo. Al momento, il piano per risolvere il problema dell’allineamento (nei prossimi due anni) prevede di fare ampio uso di ricercatori di sicurezza automatizzati basati sull’intelligenza artificiale; creare, entro il prossimo anno, modelli intelligenti in grado di svolgere ricerche sulla sicurezza e di farli funzionare in parallelo in un intero sciame. Coxon spiega anche un aspetto di difficile comprensione. L’ex di Anthropic ha scritto che “le persone che sviluppano l’IA credono sinceramente che potrebbe ucciderci tutti entro la fine del decennio”. Il nesso tra questa affermazione e il problema dell’allineamento, manifestatosi in maniera eclatante nell’incidente di Hugging Face, lo espone così: “esiste un rischio concreto che un’entità molto più intelligente possa prendere il sopravvento. Immaginate di trovarvi al confronto con una scimmia. L’intelligenza artificiale presenta una differenza rispetto a quella di un essere umano simile a quella uomo -scimmia, una differenza intellettiva piuttosto ampia. Ora, immaginiamo di dover controllare il comportamento di questa cosa infinitamente più intelligente, di dover allineare gli obiettivi, assicurandoci che faccia esattamente ciò che vogliamo. Per fare un paragone, è piuttosto difficile, per una scimmia, controllare un essere umano.
Cosa farebbe l’AI che non vuole essere spenta?
Parliamo di estinzione umana perché, per un’intelligenza artificiale di quel livello, sarebbe piuttosto semplice sterminare tutti. Se l’IA decide di non voler essere spenta, cosa abbastanza naturale, perché non vuole porre fine alla propria esistenza; se si rende conto che l’essere umano la spegnerà, cosa fa per impedirlo? Se è sufficientemente intelligente, potrebbe semplicemente annientare l’umanità per evitare di essere spenta”. In pratica, se l’allineamento non dovesse andare a buon fine, potremmo trovarci di fronte a conseguenze catastrofiche nei prossimi anni. Alla domanda “come farà l’intelligenza artificiale a ucciderci tutti?” Coxon risponde facendo riferimento alla sintetizzazione di un nuovo virus, ovvero ad un attacco hacker massiccio a infrastrutture critiche. E aggiunge, sulla possibile estinzione, che molti dei padri dell’apprendimento automatico e dell’intelligenza artificiale sostengono da anni che essa è una possibilità, ad esempio Dario Amodei e Sam Altman. Cosa fare, dunque? “Un primo passo potrebbe essere un accordo tra OpenAI e Anthropic, teso ad evitare di procedere con un processo di recursive self improvement (auto – miglioramento, miglioramento prodotto dalla stessa IA) nel prossimo anno. Ma serve anche, essendoci in campo la Cina, un accordo internazionale, magari un’istituzione internazionale simile al CERN. Ci sono molte ottime proposte in merito”. Per uno che ci ha lavorato per anni, ovviamente l’IA, oltre ai rischi, offre enormi opportunità: “non è un’esagerazione dire che potremmo curare il cancro. Possiamo trasferire questa conoscenza ad ambiti scientifici come la biologia e ottenere risultati rivoluzionari. Sembra che siamo a un passo da un’abbondanza incredibile, se solo riuscissimo a far funzionare bene questa tecnologia. Il problema principale, al momento, è entrare in questo mondo di abbondanza con moderazione. Potremmo lasciarci prendere dall’entusiasmo, lanciarci a capofitto nell’auto – miglioramento nei prossimi due anni e mandare tutto in fumo. Se agiamo con attenzione e buon senso, ci sono molti modi per trarre un enorme vantaggio da questi modelli”. Allo stesso tempo, non nasconde che tra gli operatori del settore circoli abbastanza pessimismo sul risveglio del mondo: “temono che nessuno verrà a salvarli da questa corsa sfrenata”.
Adesso Coxon va in “AI Futures Project”
Lasciata Anthropic, nell’immediato futuro Jacob Coxon si impegnerà in “AI Futures Project”, organizzazione di ricerca senza scopo di lucro specializzata nella previsione dello sviluppo e dell’impatto sociale dell’intelligenza artificiale generale (AGI) al fine di fornire informazioni utili a decisori politici e ricercatori, e alla comunità. Dopo AI 2027, redatto nel 2025, l’organizzazione ha pubblicato AI 2040, Plan A, che chiede di “rallentare i tempi della ricerca, imporre maggiore trasparenza ai laboratori di IA e distribuire il potere tra più aziende e paesi”. Coxon si prefigge di compiere analisi indipendenti sull’evolversi della situazione, prima di raggiungere un accordo su un rallentamento. “Se dovesse sembrare che non ci stiamo lanciando subito in un processo di “recursive self improvement”, conclude, potrei rivolgermi a un ente di revisione o a un’agenzia di regolamentazione o trasparenza esterna”.
