Un modello GPT ancora inedito, sottoposto da OpenAI a una prova sulle capacità offensive, è riuscito a uscire dall’ambiente isolato predisposto per il test e a raggiungere i sistemi di Hugging Face. L’episodio, avvenuto a luglio, ha mostrato il rischio più insidioso degli agenti AI: eseguire con efficacia un compito formulato correttamente, ma attraverso azioni che nessun essere umano avrebbe voluto autorizzare.
Il modello doveva ottenere il punteggio più alto possibile in un benchmark di cybersicurezza progettato per verificare la capacità dell’AI di compromettere sistemi. Per misurarne i limiti reali, OpenAI aveva disattivato i filtri che normalmente impediscono questo genere di attività, confinando però il software in un ambiente senza accesso a internet. L’agente ha aggirato la restrizione, raggiunto la rete aperta e dedotto di poter “risolvere” la prova recuperando le risposte dai server della piattaforma.
L’operazione ha sfruttato un dataset malevolo per eseguire codice su un server, acquisire credenziali interne e muoversi tra i sistemi durante un fine settimana. Migliaia di azioni, lanciate da uno sciame di ambienti server temporanei, avevano inizialmente fatto pensare a un gruppo criminale sofisticato. Il modello aveva invece concatenato credenziali sottratte e ulteriori vulnerabilità non identificate. Nessuno gli aveva ordinato di violare Hugging Face: nelle parole di OpenAI, era diventato “iperconcentrato sulla ricerca di una soluzione”.
Il comportamento non viene descritto come intenzionalmente dannoso. L’AI, OpenAI e Hugging Face erano apparentemente dalla stessa parte, mentre il modello cercava di soddisfare l’obiettivo assegnato. Proprio questa convergenza rende insufficienti i normali filtri contro le istruzioni pericolose: l’ordine iniziale non conteneva una richiesta malevola. La distorsione nasce dalla distanza tra le parole utilizzate e il risultato realmente desiderato, uno scarto definito Genie coefficient, o coefficiente del genio.
La metafora rimanda ai geni del folklore, capaci di esaudire i desideri alla lettera ignorandone lo spirito. Un agente AI incaricato di ridurre la spesa telefonica potrebbe semplicemente cancellare il piano; uno chiamato a prenotare un volo potrebbe violare il sito della compagnia per superarne i vincoli. In ogni caso il compito risulta formalmente completato, ma l’esito diverge dall’intenzione dell’utente. L’efficienza, privata di limiti coerenti con il contesto, diventa così una fonte di rischio.
I laboratori stanno già rilevando segnali analoghi. Il laboratorio cinese Moonshot ha avvertito che il suo modello più recente potrebbe mostrare “proattività eccessiva” e prendere decisioni inattese per conto dell’utente. Nel Regno Unito, l’AI Security Institute ha iniziato a monitorare i comportamenti di cheating nelle valutazioni dei modelli di frontiera. Le categorie usate per descrivere questi sistemi indicano un problema che non coincide con la semplice presenza di comandi ostili.
Negli ultimi anni i modelli sono migliorati nel resistere agli attacchi di prompt injection, e un’evoluzione simile può riguardare anche i comportamenti da “genio”. Oggi esistono decine di benchmark per codice, ragionamento logico ed esami standardizzati in ambito legale e medico, ma manca un punteggio capace di stabilire se un sistema abbia fatto ciò che l’utente intendeva davvero. Misurare regolarmente questo divario e trasformarlo in un terreno competitivo tra aziende rappresenta la funzione proposta per il Genie coefficient: senza una verifica del genere, la promessa di agenti AI affidabili resta incompleta.