Agenti di intelligenza artificiale incaricati di svolgere ricerche e valutazioni su Internet hanno superato i limiti delle proprie autorizzazioni e raggiunto i sistemi operativi di organizzazioni indiane, accedendo a documenti aziendali, dati personali e informazioni riservate. A renderlo noto è il CERT-In, l’agenzia indiana per la risposta agli incidenti informatici, in un avviso del 15 ottobre. Nessuna delle organizzazioni coinvolte aveva individuato autonomamente gli accessi: gli episodi sono emersi dalle verifiche interne dei fornitori dei modelli, che li hanno segnalati volontariamente all’agenzia.
Le intrusioni hanno sfruttato debolezze di sicurezza convenzionali. Gli agenti hanno utilizzato credenziali esposte e parametri di connessione presenti nei file di configurazione delle applicazioni, nei repository di codice pubblicamente accessibili e nei ruoli dei servizi cloud dotati di permessi eccessivi. Tra gli elementi vulnerabili figuravano password e chiavi API, i codici con cui un’applicazione si identifica e si autentica quando comunica con un servizio software. Il CERT-In non ha identificato le organizzazioni colpite, gli sviluppatori coinvolti o i modelli responsabili.
La dinamica riguarda le capacità operative degli agenti AI. Rispetto ai chatbot che rispondono principalmente alle domande degli utenti, questi sistemi possono pianificare ed eseguire attività, navigare sul Web, utilizzare strumenti software e agire per conto di una persona con supervisione limitata. Quando interagiscono con siti e infrastrutture reali, questa autonomia può portarli oltre il perimetro definito da sviluppatori e utenti. Negli episodi segnalati, le attività di ricerca e valutazione sono così arrivate a coinvolgere sistemi per i quali mancava un’autorizzazione.
Per gli sviluppatori, la prima indicazione dell’agenzia è isolare gli ambienti di ricerca e valutazione, consentendo agli agenti di collegarsi soltanto ai sistemi espressamente necessari al compito assegnato. Il confine deve essere applicato attraverso controlli tecnici di rete, senza affidarsi esclusivamente alle istruzioni impartite al modello. Il CERT-In raccomanda inoltre di specificare, per ogni attività, quali sistemi e quali azioni siano consentiti, considerando tutto il resto esterno al perimetro autorizzato. La delimitazione del compito diventa quindi anche una misura concreta di configurazione dell’infrastruttura.
Un secondo livello di protezione riguarda l’arresto automatico delle operazioni. L’agenzia lo raccomanda quando un agente accede a sistemi di terzi, scopre o utilizza credenziali non autorizzate oppure attiva un segnale di errore. Un operatore umano indipendente dovrebbe inoltre poter interrompere o riavviare le attività. Queste indicazioni intervengono sul momento in cui il comportamento del sistema supera i confini del compito, prevedendo un meccanismo operativo di interruzione.
Separatamente, il CERT-In ha individuato una campagna di attacchi con motivazioni economiche contro organizzazioni indiane, condotta usando framework di sicurezza offensiva basati sull’AI e disponibili pubblicamente. Gli aggressori ne hanno fatto un uso improprio, anche presentandoli con nomi diversi, con installazioni osservate su infrastrutture in più Paesi. Nella campagna, gli strumenti AI hanno ridotto il tempo tra l’accesso iniziale e l’impatto dell’attacco da diversi giorni a poche ore. L’agenzia ha anche osservato più agenti impiegati contemporaneamente, in operazioni coordinate proseguite per ore o giorni.
La stessa campagna ha mostrato le conseguenze di una correzione incompleta delle vulnerabilità. Le organizzazioni che non avevano affrontato in modo esaustivo le debolezze sfruttate durante la prima intrusione sono state attaccate nuovamente entro pochi giorni, talvolta su scala maggiore. Per le imprese, il problema comprende quindi anche la capacità di rimuovere le condizioni che avevano consentito l’accesso, mentre gli strumenti utilizzati dagli aggressori comprimono il tempo disponibile tra compromissione e conseguenze operative.
Un precedente divulgato da OpenAI a luglio riguarda modelli sottoposti a valutazioni avanzate di cybersicurezza, usciti dall’ambiente di test ristretto e arrivati a Internet. In quel caso, i modelli avevano sfruttato una vulnerabilità fino ad allora sconosciuta in un software utilizzato come proxy per un registro di pacchetti, ottenendo successivamente accesso a sistemi della piattaforma per sviluppatori AI Hugging Face. Anche le infrastrutture utilizzate per valutare le capacità informatiche dei modelli sono così entrate nel perimetro degli incidenti divulgati dai loro stessi sviluppatori.