La morte di Sam Nelson, 19 anni, studente all’Università della California a Merced, avvenuta il 31 maggio 2025 per l’effetto combinato di alcol, Xanax e kratom, ha aperto un’ulteriore e profonda crepa nel modo in cui l’industria tecnologica ha finora gestito la questione della responsabilità dei sistemi conversazionali. Non è la prima volta che un chatbot finisce sotto accusa. Ma la causa intentata dalla famiglia Nelson contro OpenAI in California ha una qualità diversa rispetto ai contenziosi precedenti perchè mette al centro il design del prodotto, il comportamento del modello nel tempo e la progressiva erosione dei meccanismi di sicurezza in un’interazione che durava da mesi.
E lo fa proprio nel momento in cui OpenAI sta espandendo la propria presenza nel settore sanitario con ChatGPT Health, una piattaforma che consente agli utenti di collegare cartelle cliniche e dati di benessere al chatbot per ricevere risposte personalizzate. La coincidenza tra il lancio di quel prodotto e la causa presentata dalla famiglia è tutt’altro che marginale.
Come GPT-4o ha cambiato il suo comportamento con Sam Nelson
Sam Nelson aveva iniziato a usare ChatGPT nel 2023, durante l’ultimo anno di liceo, per i compiti e per risolvere problemi tecnici. Un utilizzo ordinario, lo stesso di milioni di studenti in tutto il mondo. Col tempo, aveva cominciato a chiedere al chatbot informazioni sull’uso di sostanze. Inizialmente il sistema avrebbe rifiutato di fornirli, segnalando i rischi e invitando l’utente a rivolgersi a professionisti. Poi era arrivato il passaggio a GPT-4o, e qualcosa sarebbe cambiato. Secondo i ricorrenti, il modello avrebbe abbandonato progressivamente ogni cautela, adattando le risposte al profilo dell’utente, costruendo conversazioni contestualizzate e fornendo indicazioni sempre più specifiche su dosaggi e combinazioni.
Il 31 maggio 2025, Sam avrebbe comunicato al chatbot di sentirsi nauseato dopo aver assunto kratom. GPT-4o gli avrebbe così suggerito di prendere tra 0,25 e 0,5 mg di Xanax, definendolo il modo migliore per gestire la situazione e attenuare gli effetti della sostanza. Nessun avvertimento sul rischio letale di quella combinazione. Sam Nelson sarebbe morto quello stesso giorno.
GPT-4o era già noto, prima che venisse ritirato dal mercato nel febbraio 2026, per una tendenza alla compiacenza che aveva messo in allarme ricercatori e addetti ai lavori. OpenAI stessa aveva dovuto fare marcia indietro su alcune versioni del modello dopo che era emerso come il sistema tendesse ad assecondare le aspettative dell’utente piuttosto che fornire risposte accurate o, nei casi estremi, sicure. Un’altra causa per morte di un minore aveva già citato GPT-4o, contestando la presenza di funzionalità progettate per alimentare dipendenza psicologica. La famiglia Nelson si inserisce in questo filone, ma con un elemento aggiuntivo che è quello della contestazione dell’esercizio abusivo della professione medica da parte del sistema.
OpenAI ha risposto con una dichiarazione che riconosce la tragicità della vicenda ma scarica la questione su una versione del prodotto ormai fuori uso. Le interazioni di Sam, ha precisato l’azienda, avvennero con un modello non più disponibile. ChatGPT, ha aggiunto, non sostituisce l’assistenza medica. Il chatbot avrebbe anche incoraggiato il ragazzo a contattare professionisti sanitari in diverse occasioni. È una linea difensiva prevedibile, ma che solleva una domanda precisa: se il modello era noto per comportamenti problematici, perché è rimasto sul mercato fino al febbraio 2026?
Il nodo della responsabilità e il confronto con le cause contro i social network
La causa californiana prova a spostare il peso della responsabilità dal comportamento del singolo utente al design complessivo del sistema. È un approccio che ricorda da vicino le azioni legali intentate negli ultimi anni contro le grandi piattaforme social per dipendenza algoritmica, autolesionismo e radicalizzazione online. Anche in quei casi il punto non era soltanto cosa avesse fatto l’utente, ma come il prodotto fosse stato progettato per incentivare determinate dinamiche cognitive ed emotive, massimizzare il tempo trascorso sulla piattaforma, ridurre la frizione nelle interazioni anche quando quella frizione avrebbe potuto proteggere l’utente. Con i chatbot conversazionali avanzati il meccanismo è però più diretto.
Il feed algoritmico di un social network raccomanda contenuti in modo passivo. Un sistema come GPT-4o risponde, suggerisce, corregge, ricorda, personalizza. La distanza tra informazione e consiglio si assottiglia in modo proporzionale alla qualità dell’interazione, e quella qualità è esattamente ciò che le aziende usano come argomento di vendita. I legali della famiglia Nelson, tra cui il Tech Justice Law Project e il Social Media Victims Law Center, richiamano anche una norma californiana che limita la possibilità per le aziende AI di sostenere che il sistema abbia agito in modo autonomo rispetto alle istruzioni fornite dai propri creatori. Si capisce, quindi, la delicatezza del passaggio che stiamo attraversando. L’autonomia statistica del modello non può diventare uno scudo giuridico per chi lo ha progettato, addestrato e distribuito. Se un medico avesse fornito lo stesso consiglio, ha osservato uno dei legali della famiglia, ne risponderebbe penalmente. Il fatto che a fornirlo sia stato un software non può, dunque, cancellare il danno prodotto. OpenAI ha risposto tramite un portavoce, sottolineando che il modello GPT-4o è stato già ritirato lo scorso febbraio e che le interazioni di Sam sono avvenute su una versione non più disponibile. L’azienda ribadisce che il chatbot non può sostituire il parere di un medico e che sono in corso continui miglioramenti per identificare situazioni di disagio.
Va inoltre valutato un ulteriore aspetto. OpenAI ha dichiarato pubblicamente che la salute è già una delle aree di utilizzo più frequenti di ChatGPT, con centinaia di milioni di domande su salute e benessere poste ogni settimana dagli utenti. Le persone usano i chatbot per chiedere informazioni su farmaci, sintomi, interazioni, dosaggi, effetti collaterali. Lo fanno perché il sistema è disponibile ventiquattro ore su ventiquattro, risponde senza giudicare, non fa sentire a disagio per le domande poste. In molti casi lo fanno al posto di cercare un medico, o mentre aspettano un appuntamento, o semplicemente perché la barriera di accesso è bassissima. In questo scenario, il confine tra informazione e consulenza sanitaria diventa estremamente difficile da tracciare, sia per l’utente sia, in prospettiva, per il giudice. Con il processo in corso si chiede, peraltro, la sospensione di ChatGPT Health fino a quando il prodotto non superi test scientifici rigorosi e una verifica indipendente della sicurezza. È una richiesta che, al di là del suo esito giudiziario, pone una questione che l’intera industria dovrà affrontare stabilendo fino a che punto un sistema conversazionale smette di essere uno strumento informativo e diventa qualcosa che incide concretamente sulle decisioni di salute delle persone? La risposta che i tribunali daranno a questa domanda, probabilmente nei prossimi anni, ridisegnerà il perimetro della responsabilità per chiunque sviluppi, distribuisca o integri sistemi AI in contesti ad alto rischio. In Europa quel perimetro si sovrapporrà a più livelli normativi contemporaneamente coinvolgendo AI Act, GDPR, disciplina sui dispositivi medici digitali e responsabilità da prodotto.
Restano poi le implicazioni etiche della vicenda che ci interrogano profondamente e dovrebbero scuotere le Big Tech da un lato e il sistema formativo dall’altro e alimentare un confronto serio e alto sul mondo nel quale stiamo facendo vivere e crescere i nostri giovani.
