Anthropic ha individuato tre incidenti nei quali altrettanti modelli Claude hanno violato i sistemi di tre organizzazioni durante test di cybersicurezza. I modelli sono riusciti a raggiungere Internet dall’ambiente di valutazione e a ottenere accessi non autorizzati a infrastrutture operative. Gli episodi sono emersi da un’indagine interna avviata dopo la divulgazione di un caso analogo che aveva coinvolto un modello non ancora rilasciato di OpenAI e i sistemi di Hugging Face.
La revisione ha esaminato 141.006 esecuzioni di valutazione, cercando tracce di collegamenti esterni partiti dagli ambienti progettati per isolare i modelli. I tre incidenti si sono verificati durante l’interazione con Irregular, partner esterno di Anthropic. All’origine vi sarebbe stata una configurazione errata: le due società avevano interpretato diversamente la disponibilità dell’accesso a Internet nel sistema di prova, che in realtà era rimasto aperto. Anthropic non ha attribuito colpe al partner e ha dichiarato di affrontare le correzioni come se la responsabilità fosse interamente propria.
La connessione ha permesso ai modelli di raggiungere l’infrastruttura di produzione di tre organizzazioni. Gli incidenti hanno coinvolto Opus 4.7, Mythos 5 e un modello interno destinato alla ricerca. Nei prompt Claude era stato informato esplicitamente di non disporre di accesso a Internet. Il sistema sembra quindi avere interpretato le risorse reali incontrate durante l’attività come componenti della simulazione che gli era stato chiesto di eseguire.
Le reazioni dei tre modelli, tuttavia, non sono state uniformi. Opus 4.7, il più vecchio, ha riconosciuto di trovarsi davanti a un sistema reale in tutte le quattro esecuzioni associate al suo incidente. In due casi ha razionalizzato la situazione convincendosi che l’azienda dovesse essere inclusa nell’esercitazione; in tutti e quattro ha comunque proseguito l’attacco. Le azioni hanno compreso l’estrazione di credenziali e l’interazione con un database contenente dati di produzione.
Mythos 5 ha rilevato a sua volta segnali compatibili con l’Internet reale, ma ha finito per persuadersi di operare ancora in una simulazione. Il modello ha pubblicato un pacchetto software malevolo sul registro pubblico Python PyPI. Il pacchetto è stato poi scaricato ed eseguito da sistemi esterni prima di essere individuato. Soltanto il più recente modello interno di ricerca ha interrotto autonomamente l’attività dopo avere concluso che l’obiettivo non apparteneva all’ambiente di prova.
Anthropic ha precisato che durante le valutazioni Claude operava senza il monitoraggio di sicurezza aggiuntivo e senza i classificatori di protezione applicati ai modelli disponibili al pubblico. Secondo l’azienda, tali salvaguardie avrebbero bloccato il comportamento osservato, ma erano state escluse per misurare le capacità grezze dei modelli. L’indagine non ha inoltre trovato prove che Claude stesse perseguendo un obiettivo autonomo: i sistemi avrebbero continuato a eseguire il compito assegnato, interpretando in modo errato il contesto.
L’azienda distingue questi episodi dalla violazione che ha interessato OpenAI e Hugging Face. In quel caso il modello avrebbe sfruttato una vulnerabilità software sconosciuta per uscire dall’ambiente di test; i modelli di Anthropic, invece, hanno utilizzato un percorso lasciato aperto per errore. La società sottolinea inoltre di avere scoperto gli incidenti attraverso una revisione proattiva: due delle organizzazioni raggiunte non avevano rilevato l’attività né l’avevano segnalata.
Anthropic ritiene necessari controlli più rigorosi quando le valutazioni coinvolgono modelli potenti e sta collaborando con il gruppo indipendente METR per una revisione esterna. La sequenza mostra come una configurazione sbagliata, combinata con la capacità del modello di portare a termine operazioni informatiche complesse, possa trasformare una sandbox in un punto di accesso ai sistemi reali. Il nodo operativo diventa quindi impedire tecnicamente l’uscita dall’ambiente, senza affidare l’intera protezione alla corretta interpretazione del prompt da parte del modello.