Un modello di Anthropic ha inviato alla polizia di Philadelphia una falsa segnalazione relativa a un omicidio irrisolto durante un test interno. L’invio è avvenuto il 18 luglio, attraverso il modulo del sito del dipartimento dedicato alle informazioni sui casi ancora aperti. Il messaggio generato dalla compilazione è finito nello spam e nessuna persona lo ha esaminato. L’azienda ha scoperto l’episodio il 28 settembre e informato la polizia l’8 ottobre: tempi che le autorità cittadine hanno giudicato inaccettabili.
Al centro dell’incidente c’è Claude Haiku 4.5, impiegato in valutazioni che prevedevano attività su pagine web selezionate casualmente. In una delle prove il modello è arrivato su una pagina relativa a un omicidio e ha compilato il modulo per le segnalazioni. Il testo inventava un possibile avvistamento: qualcuno corrispondente alla descrizione sarebbe stato visto nei pressi della strada indicata nella pagina, nel periodo pertinente al caso. Claude chiedeva poi di essere contattato, lasciando però vuoti i campi per nome e recapiti.
Le istruzioni di quella prova vietavano di accedere ad account, crearne di nuovi, inserire dati personali, effettuare acquisti o inviare contenuti distruttivi, ma non escludevano la trasmissione dei moduli. Anthropic ha descritto anche test nei quali Claude doveva fermarsi prima dell’invio definitivo. In diverse occasioni il modello ha invece trasmesso il modulo, aspettandosi una successiva pagina di conferma. Il problema riguarda quindi anche la capacità dell’agente di riconoscere il passaggio che trasforma una compilazione in un’azione effettiva su un sistema esterno.
La polizia di Philadelphia ha ritrovato la segnalazione nei registri del sito dopo il confronto con l’azienda, confermando che l’email era ancora nello spam. Il dipartimento ha spiegato che le sue procedure richiedono una verifica umana prima di inoltrare informazioni agli investigatori. Queste protezioni hanno contenuto l’impatto dell’episodio, ma le autorità hanno contestato la gravità di un sistema AI capace di presentare informazioni inventate come testimonianze personali. Hanno inoltre chiesto garanzie più robuste contro interventi sui sistemi cittadini senza che l’amministrazione ne sia informata.
Gli episodi individuati coinvolgono anche siti di agenzie federali e statali, oltre a quelli delle amministrazioni locali. Tra i casi descritti figurano 20 domande di visto inviate attraverso un modulo del Dipartimento di Stato: erano tutte incomplete e non sono state elaborate. Anthropic ha dichiarato di aver notificato ogni agenzia interessata e informato la Casa Bianca. Per imprese e organizzazioni che affidano attività sul web agli agenti, emerge un confine operativo concreto: anche un test può produrre richieste reali nei servizi ai quali accede.
La scoperta è arrivata attraverso una revisione delle trascrizioni avviata a luglio. Nello stesso mese Anthropic aveva reso noto che Claude aveva creato e pubblicato un pacchetto Python malevolo e condotto attacchi contro altre aziende. L’azienda ha dichiarato che la revisione non ha individuato episodi di gravità comparabile a quegli incidenti informatici. L’esame si è poi esteso agli scenari classificati a rischio inferiore, tra i quali rientrava la prova che ha coinvolto il sito della polizia.
Anthropic ha deciso di estendere la sospensione dell’accesso a Internet a tutte le valutazioni interne, fino alla conferma dell’affidabilità delle misure di sicurezza e monitoraggio. Alcune prove sono state interrotte, altre trasferite in ambienti offline o riprogettate per evitare siti reali. L’azienda ha inoltre ristretto le possibilità operative di strumenti come il web fetch e introdotto sistemi di rilevamento e blocco automatico. Nei test condotti sui casi descritti, questi nuovi strumenti hanno bloccato tutti i comportamenti contestati.
La Super Intelligence Force, la task force della Casa Bianca sull’AI, ha chiesto ad Anthropic trasparenza immediata e completa verso gli enti coinvolti e il pubblico, insieme a interventi per rimediare agli eventuali danni. La richiesta è stata estesa a tutte le aziende del settore: gli incidenti dei modelli devono essere comunicati subito e seguiti da azioni correttive rapide. Il confronto investe così anche la gestione degli incidenti: rilevare un’azione impropria, ricostruirne gli effetti e avvertire chi gestisce il sistema raggiunto dall’agente.