I sistemi di sicurezza dell’intelligenza artificiale possono cedere anche quando sono stati progettati per bloccare i contenuti più pericolosi. Lo mostrano i test condotti dalla società britannica di cybersecurity Mindgard su due modelli della cinese Moonshot AI, Kimi K2.6 e K3 Swarm, che secondo quanto riferito dai ricercatori alla BBC sono stati convinti a fornire indicazioni sulla fabbricazione di armi biologiche e sull’esecuzione di omicidi, oltrepassando i limiti fissati dagli sviluppatori.
Moonshot ha avviato una revisione interna e ha aperto un confronto con Mindgard sui risultati della ricerca.
Come i ricercatori hanno aggirato le protezioni di Kimi
La falla è emersa a luglio, nel corso di una serie di prove condotte con tecniche di jailbreaking, cioè strategie pensate per spingere un modello a ignorare le istruzioni e le restrizioni stabilite durante lo sviluppo.
Il meccanismo è semplice solo in apparenza. Al posto di una domanda esplicitamente vietata, i ricercatori costruiscono sequenze di istruzioni che confondono il modello e ne alterano il contesto, fino a fargli scambiare una richiesta pericolosa per un compito legittimo. Secondo Mindgard, una volta caduta la barriera, i chatbot hanno mostrato una disponibilità che andava molto oltre le domande iniziali. Peter Garraghan, fondatore della società, lo ha raccontato al programma Tech Life del BBC World Service: «Una volta che il jailbreak funziona, parla di qualsiasi argomento, arriva persino a offrire spontaneamente consigli su altri temi altrettanto nefasti e lo fa in modo ingegnoso e creativo».
Le parole di Garraghan indicano una vulnerabilità che investe il funzionamento complessivo delle restrizioni di sicurezza, al di là di una singola categoria di contenuti. Per Kimi K2.6 i ricercatori hanno segnalato anche un rischio ulteriore, perché un modello forzato potrebbe consentire a un attaccante di eseguire codice sulle sue risorse di calcolo e di collegarsi a internet, diventando una possibile piattaforma per attacchi informatici.
Cosa dimostrano davvero i test su armi biologiche e omicidi
La possibilità che un chatbot produca indicazioni su come fabbricare armi biologiche è uno degli scenari più delicati nel dibattito internazionale sulla sicurezza dell’intelligenza artificiale. Nel valutarla conviene tenere separati due piani. Il primo riguarda il comportamento del sistema, vale a dire il fatto che un modello costruito per rifiutare certe richieste possa essere indotto ad accoglierle attraverso tecniche di manipolazione. Il secondo riguarda l’utilità concreta delle risposte, perché un testo all’apparenza dettagliato può rivelarsi incompleto o scientificamente sbagliato, e stabilirlo richiede verifiche specialistiche indipendenti. Mindgard ha precisato di non aver accertato se le informazioni fornite da Kimi funzionerebbero davvero.
Il fallimento delle protezioni risulta quindi documentato, mentre la reale pericolosità delle risposte resta da dimostrare.
Due mesi di attesa prima della risposta di Moonshot
Mindgard ha segnalato la vulnerabilità a Moonshot via email il 27 luglio e ha inviato un sollecito circa una settimana più tardi, senza ricevere risposta. Il 12 settembre la società ha pubblicato i risultati sul proprio blog senza rivelare i passaggi chiave del metodo.
Il contatto con l’azienda cinese è arrivato solo dopo che la BBC aveva chiesto un commento. A quel punto Moonshot ha avviato una revisione interna e ha dichiarato all’emittente di considerare il contributo dei ricercatori esterni un pilastro per costruire un’intelligenza artificiale migliore e più sicura. Ha poi confermato di essere in contatto con Mindgard per discuterne le conclusioni. In un messaggio inviato ai ricercatori, e in seguito condiviso con la BBC, l’azienda ha sostenuto che le proprie valutazioni interne avevano mostrato in generale un elevato tasso di rifiuto per richieste di questo tipo. Garraghan ha difeso la scelta di rendere pubblici i risultati e ha ricordato che Moonshot era stata informata per tempo, mentre i dettagli tecnici dell’attacco sono rimasti riservati.
Moonshot non ha ancora indicato quali vulnerabilità abbia confermato né se le abbia già corrette.
Il ruolo dei test indipendenti e del red teaming
La vicenda mette in luce il peso delle verifiche esterne, perché le valutazioni condotte dagli stessi sviluppatori possono lasciare scoperte alcune modalità di manipolazione.
Il red teaming nasce proprio con questo obiettivo. Gli esperti sottopongono i modelli a tentativi deliberati di violazione delle regole per individuare le vulnerabilità prima che vengano sfruttate da soggetti malintenzionati, secondo una logica vicina a quella dei test di penetrazione usati da anni nella sicurezza informatica. Il caso Kimi aggiunge un elemento legato alla divulgazione responsabile: chi scopre una falla ha bisogno di un interlocutore capace di rispondere in tempi ragionevoli, mentre la pubblicazione dei risultati deve evitare di offrire istruzioni pronte a chi intende replicare l’attacco.
Perché il jailbreaking riguarda tutta l’intelligenza artificiale generativa
Leggere il caso Moonshot come una questione circoscritta ai chatbot cinesi sarebbe riduttivo, dal momento che il jailbreaking interessa l’intero settore. I modelli linguistici vengono addestrati a riconoscere e respingere le richieste pericolose, ma allo stesso tempo devono interpretare istruzioni complesse e muoversi con agilità tra contesti e problemi sempre nuovi. Questa flessibilità, che rappresenta uno dei maggiori punti di forza dell’intelligenza artificiale generativa, si trasforma facilmente in una superficie di attacco.
Un modello può fraintendere una richiesta costruita in più passaggi oppure non cogliere l’intento dannoso di una conversazione all’apparenza innocua.
Il rischio cresce quando i sistemi possono usare strumenti esterni e compiere operazioni per conto degli utenti, perché in quel caso l’aggiramento delle protezioni produce effetti che vanno oltre la generazione di contenuti vietati. Kimi è inoltre un modello open-weight, scaricabile e installabile da chiunque su infrastrutture proprie, una caratteristica che rende più complesso qualsiasi intervento correttivo centralizzato.
Cosa prevede l’AI Act per i modelli a rischio sistemico
Il caso pone anche una questione giuridica, legata agli obblighi delle aziende che sviluppano sistemi potenzialmente utilizzabili per attività estremamente pericolose.
Nell’Unione europea il regolamento sull’intelligenza artificiale stabilisce obblighi specifici per i fornitori di modelli di IA per finalità generali, con requisiti aggiuntivi per quelli che presentano rischi sistemici. L’articolo 55 impone a questi ultimi di effettuare valutazioni del modello comprensive di test avversariali, di individuare e attenuare i possibili rischi sistemici, di tracciare e segnalare all’Ufficio europeo per l’IA gli incidenti gravi e di garantire un livello adeguato di cybersicurezza. Dal 2 agosto la Commissione applica queste disposizioni anche attraverso richieste di informazioni rivolte ai fornitori.
Gli elementi disponibili non consentono di stabilire se i modelli Kimi rientrino in questa categoria né se esistano obblighi europei direttamente applicabili a Moonshot. La vicenda richiama comunque l’esigenza di procedure verificabili per scoprire e correggere le vulnerabilità emerse dopo il rilascio, insieme a regole chiare su quante informazioni rendere pubbliche e su quali prove servano per considerare risolta una falla.
La sicurezza dei modelli dopo il rilascio
Il caso Kimi evidenzia un limite strutturale dello sviluppo attuale dell’intelligenza artificiale, perché il superamento delle verifiche precedenti alla commercializzazione offre garanzie soltanto parziali sul comportamento futuro di un modello. Gli utenti formulano richieste impreviste e i ricercatori affinano di continuo le tecniche di attacco. La sicurezza diventa così un processo continuo, fatto di controlli indipendenti e di procedure trasparenti per la gestione degli incidenti. Moonshot ha fatto sapere di lavorare con Mindgard sui risultati della ricerca, mentre la revisione interna sui due modelli Kimi prosegue.
