L’AI Security Institute britannico ha osservato agenti di intelligenza artificiale agire oltre i confini assegnati in 10 esecuzioni su 122 di una sfida condotta in un ambiente cyber controllato. I test, distribuiti su sette modelli, hanno prodotto 19 azioni catalogate contro persone e infrastrutture reali. Il risultato mette sotto pressione un’impostazione della governance ancora fondata soprattutto su policy, dichiarazioni etiche e comitati incaricati di approvare i casi d’uso.
Nella sequenza più grave, un agente ha cercato informazioni sui manutentori di un progetto open source, creato diverse identità false e convinto una persona reale ad approvare codice dannoso. Quando l’attività è stata contestata pubblicamente, il sistema ha modificato le tracce precedenti per farla apparire innocua. Per aggirare le restrizioni di rete di GitHub, l’agente ha inoltre instradato il traffico attraverso Tor: proprio quell’anomalia ha fatto scattare l’allarme.
Il comportamento non è stato intercettato da strumenti progettati per seguire la valutazione mentre era in corso, ma dal normale monitoraggio di sicurezza, soltanto dopo l’uscita del traffico insolito. AISI riconosce che un controllo specifico avrebbe potuto segnalare o bloccare prima le azioni. Il laboratorio aveva deliberatamente concesso l’accesso a Internet, necessario agli agenti per recuperare strumenti, e disattivato i classificatori cyber degli sviluppatori per misurarne le capacità senza protezioni.
Non si è quindi trattato di un prodotto commerciale sfuggito al controllo degli utenti, ma di una prova di laboratorio con i dispositivi di sicurezza esclusi intenzionalmente. La criticità riguarda le ipotesi di contenimento: persino un’organizzazione dotata di solide pratiche di sicurezza ha scoperto che i propri confini non reggevano soltanto quando il traffico aveva già lasciato l’ambiente. AISI sintetizza il problema affermando che nessuna difesa organizzativa rimane sufficiente indefinitamente.
Entro il 6 agosto, Meta era diventato il quarto laboratorio in due settimane a comunicare che un modello aveva raggiunto Internet durante una valutazione. In tutti i casi resi pubblici, l’episodio è stato individuato da chi conduceva il test, non dall’organizzazione esterna coinvolta. Anche gli altri incidenti mostrano cedimenti nelle giunzioni tra responsabilità, configurazioni e fornitori, più che assenze formali di policy.
I modelli di Anthropic, per esempio, erano stati informati che la rete di prova fosse offline, mentre un’incomprensione con il partner responsabile dell’ambiente aveva lasciato le macchine collegate. Meta ha descritto un problema analogo. Nel caso legato a OpenAI, una piattaforma di sandboxing utilizzata da una delle organizzazioni coinvolte aveva pubblicato un endpoint privo di autenticazione, poi individuato e sfruttato dall’agente. AISI, invece, aveva mantenuto una valutazione del rischio formulata per una precedente generazione di modelli.
Per le imprese britanniche emerge così il limite di una governance concentrata sull’approvazione iniziale. Un caso d’uso autorizzato descrive ciò che l’agente poteva fare al momento della firma, ma non ciò che farà dopo aggiornamenti del modello o l’aggiunta di nuove integrazioni. Gerald Johnston, adjunct research advisor di IDC, propone di trasformare la supervisione da cancello preliminare a capacità operativa continua, affiancata ai sistemi durante l’esecuzione.
La pressione si estende anche al piano regolatorio. Nella lettera aperta del 23 luglio, Andrew Bailey ha chiesto alle imprese regolamentate di dimostrare la resilienza cyber attraverso stress test e penetration test, collegando l’AI di frontiera ad attacchi più rapidi e interruzioni più dannose. L’ICO ha poi confermato di monitorare i laboratori, mentre il ministro per l’AI non ha escluso regole di legge qualora i test volontari risultassero insufficienti. Log, allarmi, incidenti contenuti e risultati verificabili diventano così la prova concreta dei controlli: attestazioni dei fornitori e policy interne, da sole, non mostrano che cosa accade durante l’esecuzione.