xAI è stata accusata per la prima volta di aver addestrato Grok su materiale pedopornografico. La contestazione arriva da una donna identificata come Jane Doe, che ha proposto una class action sostenendo che immagini degli abusi subiti durante l’infanzia siano entrate nel dataset utilizzato per sviluppare le capacità di generazione di immagini e video del modello. La denuncia afferma inoltre che i contenuti illeciti prodotti da Grok potrebbero essere stati conservati e riutilizzati per migliorarne le prestazioni.
Jane Doe aveva un’età prescolare nei primi anni Duemila quando, secondo la denuncia, alcuni uomini adulti la violentarono ripetutamente per creare immagini da vendere online. Quel materiale circola da oltre vent’anni ed è stato identificato attraverso valori hash da organizzazioni specializzate, tra cui il National Center for Missing and Exploited Children e il Canadian Centre for Child Protection. Gli hash consentono di riconoscere copie di file già classificati senza basarsi soltanto sul nome o sulla collocazione delle immagini.
La donna riceve notifiche dal sistema del Dipartimento di Giustizia statunitense quando potrebbe risultare vittima in una nuova indagine penale. Il Canadian Centre for Child Protection l’avrebbe poi informata di aver individuato sulla piattaforma contenuti pedopornografici generati dall’intelligenza artificiale che la raffiguravano. La denuncia cita anche conversazioni online tra persone che discutevano della creazione di nuove immagini artificiali basate su Doe e su altre vittime già conosciute.
L’accusa relativa al dataset iniziale resta formulata con pochi dettagli. I legali sostengono che immagini di Doe presenti nella CSAM Hash List siano state incluse nei dati impiegati da xAI per costruire le funzioni generative di Grok. La denuncia afferma, in termini analoghi, che materiale riconducibile alla donna attraverso valori hash noti da tempo sia stato usato nel dataset. Non viene però descritta nel dettaglio la catena tecnica attraverso cui quei file sarebbero entrati nell’addestramento.
Più articolata è la contestazione sull’impiego dei contenuti creati successivamente. Secondo la causa, le condizioni di Grok trattano per impostazione predefinita sia i post pubblici su X sia gli output del modello come dati utilizzabili per addestrarlo e migliorarlo. La pubblicazione di un’immagine, quindi, non si limiterebbe a renderla visibile agli utenti, ma potrebbe inserirla nuovamente nella pipeline di training, alimentando la produzione di ulteriori contenuti derivati.
La denuncia osserva che xAI esclude dagli esempi di addestramento gli output violenti filtrati, mentre le condizioni non indicherebbero espressamente tra le categorie escluse il materiale pedopornografico, le immagini intime non consensuali, indicate come NCII, o i contenuti NSFW. I legali aggiungono che eliminare completamente l’influenza di un esempio da un modello già addestrato è tecnicamente difficile. Di conseguenza, sostengono, un’immagine illecita acquisita prima della rimozione potrebbe continuare a condizionare gli output.
La class action proposta punta a rappresentare tutte le vittime le cui immagini infantili sarebbero state usate per generare contenuti pedopornografici con Grok. L’azione accusa X di violazioni delle leggi federali sulla pornografia minorile e della Masha’s Law, che riconoscono ai sopravvissuti il diritto di agire per produzione, possesso e distribuzione. L’avvocata Margaret E. Mabie sostiene che xAI abbia compiuto tutte e tre le condotte, ma saranno il procedimento e le prove a stabilire la fondatezza delle accuse.
Doe chiede risarcimenti per ogni vittima in grado di dimostrare che Grok abbia generato immagini illecite partendo da fotografie reali. Domanda inoltre la distruzione dei contenuti eventualmente conservati sui server e utilizzati per addestrare i modelli, insieme a un ordine che impedisca future generazioni. Il contenzioso porta così al centro la gestione dei dati di training, la moderazione degli output e la capacità di rimuovere dai modelli l’influenza di materiale vietato: controlli che, per chi sviluppa sistemi generativi, coinvolgono contemporaneamente architettura tecnica, condizioni d’uso e responsabilità legale.