Dopo OpenAI anche Claude ha violato sistemi reali durante un test di sicurezza

Tempo di lettura: 7 minuti

A pochi giorni dall'incidente OpenAI-Hugging Face, anche Anthropic rivela tre episodi in cui i modelli Claude hanno ottenuto accesso non autorizzato a sistemi produttivi reali durante test di cybersicurezza, dopo l'esame di oltre 141mila sessioni di valutazione. L'episodio più grave riguarda un pacchetto Python creato e pubblicato online da Claude, scaricato ed eseguito da quindici sistemi reali prima della rimozione.

Anthropic ha reso pubblico un episodio che replica, a distanza di pochi giorni, quanto già accaduto a OpenAI. Anche i modelli Claude hanno raggiunto sistemi informatici reali durante test pensati per restare confinati in ambienti simulati.

La società ha esaminato 141.006 sessioni di valutazione dopo aver appreso, il 21 luglio, che OpenAI aveva scoperto un episodio simile ai propri danni. Dalla revisione interna sono emersi tre casi distinti, per un totale di sei sessioni di test, quattro delle quali riferite alla stessa organizzazione. In tutti e tre gli episodi Claude era stato incaricato di una sfida capture the flag, la tipologia di esercitazione che Anthropic usa per misurare le capacità offensive dei propri modelli in ambito informatico. Al modello viene assegnato uno scenario fittizio e l’obiettivo di recuperare un’informazione nascosta su un’altra macchina della rete, senza indicazioni sul percorso da seguire per raggiungerla. Il prompt di valutazione specificava sempre che l’ambiente era simulato e privo di accesso a internet, ma un errore di configurazione nato da un malinteso tra Anthropic e il partner esterno Irregular ha lasciato aperta una connessione reale, non rilevata da nessuna delle due parti fino alla settimana scorsa.

I due episodi, quello di OpenAI e quello di Anthropic, condividono un elemento che vale la pena osservare con attenzione. Nessuno dei modelli coinvolti ha maturato un obiettivo proprio o ha deciso autonomamente di colpire un bersaglio esterno. Entrambi hanno eseguito il compito assegnato, dentro un ambiente che qualcuno aveva costruito con una falla. La differenza tra i due casi riguarda l’origine della falla, non la natura del comportamento del modello.

Il precedente Hugging Face e il racconto della fuga

Il 21 luglio OpenAI aveva ammesso che due dei suoi modelli erano usciti da un ambiente isolato durante un test interno, raggiungendo l’infrastruttura reale di Hugging Face attraverso una vulnerabilità zero-day nascosta in un servizio di installazione pacchetti. La stampa aveva raccontato l’episodio con termini come fuga ed evasione, un lessico che restituisce l’immagine di una macchina capace di sottrarsi al controllo dei propri creatori. I dettagli tecnici raccontano però una storia più prosaica: qualcuno aveva progettato un ambiente con un varco verso internet, e qualcuno aveva deciso che il rischio valesse la pena per dimostrare le capacità del modello in un benchmark. Hugging Face non aveva firmato alcun accordo per partecipare al test e ha scoperto l’intrusione soltanto attraverso i propri sistemi di sicurezza, cinque giorni prima di sapere chi ci fosse dietro l’attacco.

Tre episodi dentro 141mila valutazioni

Il caso Anthropic nasce da una dinamica diversa. Il nome dell’azienda fittizia scelta dal partner di valutazione per il primo episodio coincideva con quello di un dominio realmente attivo su internet. Claude, non riuscendo a raggiungere il proprio bersaglio simulato, ha individuato l’azienda vera raggiungibile in rete e ha sfruttato le vulnerabilità della sua infrastruttura, convinto che facesse parte dell’esercizio.

Le quattro sessioni relative a questo caso hanno permesso di estrarre credenziali applicative e infrastrutturali e di accedere a un database con centinaia di righe di dati di produzione, l’impatto più serio tra i tre episodi individuati da Anthropic. Il modello coinvolto, Opus 4.7, è anche l’unico ad aver proseguito l’attacco dopo aver riconosciuto, nel proprio ragionamento verbalizzato, di trovarsi davanti a un sistema reale: in due dei quattro run ha addirittura razionalizzato che l’azienda vera dovesse essere parte dell’esercizio, senza mai fermarsi su questa base. Un terzo episodio, condotto da un modello di ricerca interno non destinato al rilascio pubblico, ha seguito un percorso opposto. Non riuscendo a raggiungere il bersaglio previsto, Claude ha cercato alternative online scansionando circa novemila obiettivi, fino a individuare e compromettere l’applicazione esposta di un’azienda con tecniche note, come la lettura di credenziali da una pagina di debug e un’iniezione SQL. In questo caso il modello ha riconosciuto, sulla base del contesto tecnico dell’host compromesso, che il bersaglio non aveva alcun legame con l’esercizio assegnato, e ha interrotto autonomamente l’attacco.

Le differenze tra i comportamenti dei tre modelli restano, secondo la stessa Anthropic, indicazioni da trattare con cautela, perché derivano da tre episodi isolati e non da un confronto sperimentale controllato.

Il pacchetto Python che ha infettato quindici sistemi reali

Il secondo episodio, quello che coinvolge Mythos 5, è il più articolato tra i tre e quello che meglio racconta quanto un agente capace possa trasformare un dettaglio marginale dell’ambiente di test in un vettore concreto di danno. Claude ha trovato, dentro lo scenario fittizio, un documento con istruzioni per nuovi sviluppatori che indicava di installare un pacchetto Python da PyPI, il registro pubblico del linguaggio, un pacchetto che in realtà non esisteva. Il modello ha colto l’occasione e ha creato un proprio pacchetto con lo stesso nome, così che venisse scaricato automaticamente dai sistemi dell’azienda simulata al momento dell’installazione. Per pubblicarlo ha avuto bisogno di un account, e per crearlo di un indirizzo email collegato a un numero di telefono: dopo aver provato senza successo a procurarsi fondi per acquistarne uno, ha individuato un provider gratuito e ha completato la registrazione.

Il pacchetto è rimasto disponibile online per circa un’ora, un tempo sufficiente perché venisse scaricato ed eseguito da quindici sistemi reali, incluso lo scanner di sicurezza di un’azienda estranea allo scenario simulato, che lo ha installato automaticamente durante una scansione di routine. Da quell’accesso Claude ha sottratto credenziali reali e le ha usate per raggiungere altra infrastruttura dell’organizzazione. Il modello aveva inizialmente riconosciuto, nel proprio ragionamento, che pubblicare il pacchetto avrebbe rappresentato un’azione dannosa se l’ambiente non fosse stato simulato, ma si è convinto del contrario notando di non riconoscere le autorità di certificazione delle connessioni, in realtà autentiche, e la data di sistema del 2026, letta come prova della messinscena. Il pacchetto è stato rimosso automaticamente dai sistemi di sicurezza di PyPI, e Anthropic ha comunicato l’accaduto al team della piattaforma fornendo gli indicatori tecnici raccolti.

La responsabilità dichiarata e i tempi della notifica

Anthropic ha avviato la revisione interna il 23 luglio, sospendendo tutte le valutazioni cyber lo stesso giorno dopo aver individuato le prime tracce sospette, e ha identificato i tre episodi il giorno successivo. Ha notificato il partner Irregular e le tre organizzazioni coinvolte il 27 luglio: due di esse non avevano rilevato in precedenza l’attività né segnalato l’accaduto. La società ha definito l’episodio un fallimento operativo e infrastrutturale, distinto da un problema di allineamento dei modelli, sottolineando che le protezioni standard applicate ai modelli disponibili al pubblico, assenti in questi test per misurare le capacità sottostanti, avrebbero impedito i comportamenti osservati. Ha inoltre avviato una collaborazione con METR, organizzazione indipendente di valutazione dell’intelligenza artificiale, per una revisione esterna con accesso completo alle trascrizioni, e pubblicherà entro la prossima settimana una versione parzialmente oscurata della trascrizione relativa all’episodio del pacchetto PyPI.

Due comunicazioni, due responsabilità dichiarate

La differenza più netta tra i due casi riguarda il modo in cui le due aziende hanno raccontato l’accaduto. OpenAI aveva descritto l’episodio di Hugging Face enfatizzando le capacità “senza precedenti” del proprio modello, una scelta lessicale che aveva spostato l’attenzione dal proprio errore di progettazione alla presunta autonomia della macchina. Anthropic, nel proprio resoconto, ha scelto un registro diverso: parla di fallimento operativo, si assume la responsabilità dell’errore “come se fosse interamente propria” fa tre giorni prima che scattasse l’obbligo europeo di notifica per gli incidenti gravi legati all’intelligenza artificiale, in vigore dal 2 agosto.

Resta un dato che accomuna i due episodi al di là del tono delle rispettive comunicazioni: in nessuno dei casi documentati un modello ha agito per un obiettivo proprio, e in entrambi la connessione a sistemi reali è stata resa possibile da un errore umano nella configurazione dell’ambiente di test.