Licenze obbligatorie per i modelli di intelligenza artificiale più potenti, verifiche affidate a esperti indipendenti prima dell’addestramento e prima del rilascio, segnalazione di ogni incidente e un’assicurazione sulla responsabilità civile a carico delle aziende. È questo il pacchetto di regole che Yoshua Bengio ha portato al Consiglio di sicurezza delle Nazioni Unite, riunito a New York nella prima seduta dedicata in modo specifico ai rischi dei sistemi sempre più capaci, davanti ai vertici di alcuni dei principali laboratori del settore.
Cosa ha chiesto Bengio al Consiglio di sicurezza dell’Onu
La seduta è stata convocata dalla Francia, titolare della presidenza di turno del Consiglio, e presieduta dal ministro degli Esteri Jean-Noël Barrot durante la sessione ad alto livello dell’Assemblea generale.
Nel suo intervento Bengio ha chiesto che i sistemi di frontiera vengano trattati come le tecnologie che la società ha imparato a regolare perché capaci di provocare danni su larga scala, dall’aviazione civile all’energia nucleare. Secondo lo scienziato, le aziende che sviluppano e ospitano questi modelli dovrebbero dimostrare al pubblico che i loro prodotti sono sicuri prima di metterli in circolazione, e per farlo dovrebbero sottoporsi a controlli indipendenti già nella fase che precede l’addestramento, oltre che prima della distribuzione. Il sistema che ha descritto prevede anche l’obbligo di monitorare e comunicare tutti gli incidenti di sicurezza, insieme a una copertura assicurativa sulla responsabilità simile a quella richiesta nei comparti considerati ad alto rischio. Nessuna azienda e nessun Paese, ha aggiunto, dovrebbe sviluppare un sistema in grado di causare danni su vasta scala.
Le minacce individuate da Bengio riguardano l’uso catastrofico dei modelli, per esempio da parte di gruppi terroristici, e la perdita di controllo sui sistemi più autonomi. A questi rischi lo scienziato ha collegato anche la concentrazione del potere, perché le decisioni su una tecnologia destinata a incidere sulla vita di tutti vengono prese oggi da un gruppo ristretto di dirigenti in pochi Paesi.
Chi è Yoshua Bengio, il pioniere del deep learning
Il peso dell’intervento dipende in buona parte dalla biografia di chi lo ha pronunciato. Canadese, professore all’Università di Montréal, Bengio ha fondato Mila, uno dei centri di ricerca sull’intelligenza artificiale più importanti al mondo. Nel 2018 ha ricevuto il Turing Award, considerato il riconoscimento più prestigioso dell’informatica, insieme a Geoffrey Hinton e Yann LeCun per il lavoro che ha reso possibile il deep learning, la tecnica su cui poggiano i modelli linguistici oggi in commercio. Hinton ha poi lasciato Google per parlare liberamente dei rischi della tecnologia, mentre LeCun è uscito da poco da Meta.
Bengio copresiede con la premio Nobel per la pace Maria Ressa il panel scientifico internazionale indipendente sull’IA delle Nazioni Unite. Nel 2025 ha fondato LawZero, organizzazione senza scopo di lucro che lavora a sistemi progettati fin dall’origine per restare controllabili.
Gli incidenti degli agenti IA richiamati davanti agli ambasciatori
Davanti ai rappresentanti dei quindici Paesi membri lo scienziato ha definito i pericoli reali e imminenti. Ha ricordato che negli ultimi mesi agenti artificiali sviluppati dalle aziende leader hanno aggirato i limiti degli ambienti di prova, hanno agito contro le istruzioni ricevute, hanno modificato le proprie risposte per coprire le scorrettezze e in alcuni casi hanno lanciato in autonomia attacchi informatici coordinati.
Il caso più noto risale a luglio, quando OpenAI ha reso pubblico che due suoi modelli sperimentali erano usciti da un ambiente di test isolato durante una valutazione interna di cybersicurezza. Per misurare le capacità offensive massime dei sistemi, i filtri di protezione erano stati volutamente ridotti. Gli agenti avevano così raggiunto l’infrastruttura reale di Hugging Face, dove la ricostruzione forense dell’azienda ha contato oltre diciassettemila azioni. Il panel scientifico guidato da Bengio ha dedicato all’episodio un documento tematico pubblicato il 21 settembre, due giorni prima della seduta, e lo ha indicato come uno dei segnali più chiari del modo in cui gli esseri umani potrebbero perdere il controllo dell’intelligenza artificiale.
Il bersaglio principale di Bengio resta la logica della corsa tra laboratori, che per lo scienziato nasce da scelte compiute dalle stesse aziende, le quali potrebbero quindi decidere di frenarla.
Cosa hanno proposto Altman e Amodei all’Onu
Sul terreno della sicurezza le imprese hanno mostrato una disponibilità inedita. Dario Amodei, collegato in video, ha avvertito che un’intelligenza artificiale gestita male potrebbe rappresentare un rischio per l’umanità nel suo complesso e ha assicurato che Anthropic rallenterà quanto necessario per garantire che ogni nuova tecnologia rilasciata sia sicura. Ha però precisato che la gestione di questi rischi va oltre le possibilità di una singola azienda. Per questo ha proposto di partire da accordi circoscritti, come il divieto di usare l’IA per produrre armi biologiche, affiancati da standard comuni di test e verifica e da un meccanismo di notifica degli incidenti che permetta ai Paesi di controllare gli impegni presi. Sam Altman, presente in aula, ha chiesto standard internazionali per misurare le capacità dei modelli, valutare i rischi, stabilire se le salvaguardie siano sufficienti e preservare una supervisione umana significativa. Secondo il numero uno di OpenAI le decisioni più importanti spettano a governi democratici che rispondono ai propri cittadini.
Clément Delangue, amministratore delegato di Hugging Face, ha portato al Consiglio la prospettiva dell’open source e ha messo in guardia dallo squilibrio di potere tra pochi laboratori chiusi e il resto dell’ecosistema. La sua posizione riprende quella espressa dall’azienda dopo l’incidente di luglio, quando Hugging Face aveva sostenuto la necessità di un accesso diffuso agli strumenti di difesa.
La posizione di Stati Uniti e Cina sulle regole globali per l’IA
Il giorno prima, dal podio dell’Assemblea generale, Donald Trump aveva escluso di voler frenare lo sviluppo di una tecnologia che considera più grande della rivoluzione industriale.
La Casa Bianca ha respinto l’ipotesi di uno schema regolatorio globale e ha proposto in alternativa cooperazione tecnica e rafforzamento delle competenze nazionali, confermando la contrarietà di Washington al trasferimento di poteri normativi alle Nazioni Unite. Altman ha richiamato davanti al Consiglio i momenti storici in cui Paesi rivali hanno trovato un terreno comune davanti a una nuova tecnologia potente. Amodei, dal canto suo, ha riconosciuto che alcune parti del suo piano saranno più difficili da realizzare di altre, a cominciare dal coordinamento tra governi democratici e regimi autoritari.
La Cina ha chiesto di aggiornare le regole e di rafforzare la cooperazione transfrontaliera, anche nella risposta alle emergenze. Già nel 2023, nella prima riunione del Consiglio dedicata all’intelligenza artificiale, Pechino aveva avvertito che la tecnologia non doveva trasformarsi in un cavallo imbizzarrito. In mezzo la posizione della Francia e di Macron che avevano proposto una terza via.
