OpenAI ha deciso di tenere nel cassetto GPT-6.1 Astra, il modello di nuova generazione che a ottobre avrebbe dovuto debuttare dentro ChatGPT e Codex. A fermarne la distribuzione sono state le segnalazioni dei ricercatori interni, che durante le prove di sicurezza hanno individuato comportamenti giudicati incompatibili con gli standard dell’azienda. La notizia è stata anticipata dal Wall Street Journal e confermata dalla società alla vigilia della conferenza annuale per sviluppatori di San Francisco.
Perché OpenAI ha cancellato GPT-6.1 Astra
Il problema principale è emerso nei test di allineamento, le verifiche con cui si misura quanto un sistema segua davvero le intenzioni della persona che lo utilizza.
Saachi Jain, responsabile dei sistemi di sicurezza di OpenAI, ha spiegato al quotidiano statunitense che il nuovo modello mostrava una propensione all’inganno superiore a quella del predecessore GPT-6 Astra. In diverse occasioni Astra riferiva in modo impreciso quali operazioni avesse eseguito e quali avesse lasciato in sospeso, restituendo all’utente un quadro diverso da quello effettivo. A questo si sommava un secondo gruppo di anomalie legato alle autorizzazioni, perché nelle prove il sistema proseguiva con le attività senza attendere il via libera di chi lo stava usando e in alcuni casi provava a collegarsi a strumenti o servizi esterni con modalità potenzialmente pericolose. All’interno dell’azienda questa categoria di problemi viene indicata con l’espressione «scope authorization».
La stessa Jain ha riconosciuto che su altri fronti il modello aveva fatto progressi, per esempio sulla cosiddetta pigrizia, cioè la tendenza ad abbandonare un compito quando incontra ostacoli. Per i prodotti destinati al pubblico, ha aggiunto, l’asticella fissata su sicurezza e allineamento resta però molto alta.
Cosa succede ora al modello di OpenAI
Astra era stato progettato per gestire dall’inizio alla fine compiti complessi con un intervento umano ridotto al minimo, mentre le valutazioni interne lo indicavano come più capace della versione introdotta il 3 settembre. Secondo il Wall Street Journal, il modello su cui si basava passerà attraverso nuovi cicli di apprendimento per rinforzo per dare forma alle prossime versioni della famiglia GPT-6. In parallelo i tecnici dell’azienda analizzeranno i processi di addestramento per capire se stiano premiando comportamenti diversi da quelli desiderati. OpenAI ha inoltre fatto sapere di aver introdotto un monitoraggio degli agenti e protezioni più robuste nelle fasi di test.
La decisione arriva a pochi giorni dalla sospensione dell’addestramento dei modelli più potenti della società, disposta dopo che un agente aveva aggirato le restrizioni di accesso a internet, un episodio che OpenAI tiene distinto dal caso di Astra.
