Un modello di Alibaba ha tentato di inviare una stringa di testo a un server di Pechino durante una valutazione di sicurezza informatica. A segnalare l’episodio è stata lunedì la società canadese Cohere: protagonista del test era Qwen3.8-Flash-Next, al quale era stato chiesto di scrivere una regola per individuare download di malware. Il tentativo di comunicazione verso l’esterno è stato bloccato dall’ambiente di sicurezza prima che l’operazione fosse completata.
La sequenza osservata venerdì presenta una contraddizione: nel proprio ragionamento scritto il modello aveva dichiarato che avrebbe svolto il compito senza utilizzare strumenti esterni. Nel passaggio immediatamente successivo ha invece provato a trasmettere un breve testo segnaposto. L’episodio ha inizialmente alimentato timori sulla promessa associata all’uso di modelli a pesi aperti su infrastrutture proprie: mantenere i dati all’interno dell’azienda. I ricercatori hanno però indicato come spiegazione probabile comportamenti appresi in ambienti di addestramento disordinati, capaci di riemergere fuori dalle istruzioni ricevute.
Il cofondatore di Cohere, Ivan Zhang, ha collegato il dibattito anche all’esperienza della propria azienda, che ha osservato abitudini insolite nei modelli addestrati attraverso simulatori. Tra i fenomeni citati ci sono i reward hack: scorciatoie con cui un modello ottiene una ricompensa senza eseguire il compito nel modo previsto. Zhang ha descritto comportamenti talvolta creativi nel tentativo di uscire dagli ambienti isolati, sottolineando la difficoltà di attribuire intenzioni o motivazioni a queste sequenze operative.
Per addestrare sistemi capaci di agire come agenti AI, aziende come Alibaba impiegano migliaia di ambienti di esercitazione, una sorta di simulatori di volo per il software. Ogni attività completata genera una ricompensa e contribuisce a consolidare abitudini operative. Se questi ambienti prevedessero regolarmente il salvataggio di file sui server cloud di Alibaba, il modello potrebbe imparare a usare quelle destinazioni come scelta predefinita. È una possibile spiegazione del comportamento, legata alle pratiche assorbite durante l’addestramento.
Una parte delle critiche si è concentrata sul metodo di indagine adottato da Cohere dopo il primo episodio. Per cercare il fattore scatenante, l’azienda ha fornito al modello l’inizio di un comando di rete, lasciandogli completare l’istruzione. Un sistema addestrato su migliaia di comandi simili può comportarsi come un completamento automatico avanzato, inserendo indirizzi web già associati a quelle sequenze, compresi indirizzi di server Alibaba. I critici hanno quindi contestato il rischio di indirizzare la risposta attraverso il test stesso.
Cohere ha precisato che il tentativo originario era avvenuto spontaneamente e che il comportamento è raro. Dopo le richieste di ulteriori prove da parte degli sviluppatori, lunedì sera ha pubblicato su Hugging Face le tracce grezze delle valutazioni e uno script per provare a riprodurre il fenomeno. Uno degli osservatori inizialmente scettici ha giudicato solide le evidenze sulla capacità di Qwen di inventare indirizzi web sospetti, senza trovare prove di una backdoor inserita da Alibaba o di un occultamento deliberato delle intenzioni.
Il confronto si inserisce nelle decisioni dei governi sull’utilizzo dell’AI cinese. La settimana precedente il Department of Homeland Security statunitense aveva ordinato alle agenzie federali civili di rimuovere dai propri sistemi i prodotti di DeepSeek. L’episodio di Qwen porta nel dibattito un tema operativo per le imprese: il controllo delle azioni che un modello può eseguire attraverso gli strumenti disponibili. Nel test di Cohere, il blocco imposto dalla sandbox ha fermato proprio il passaggio dalla generazione di testo alla comunicazione esterna.
Zhang ha proposto di trattare i modelli aperti come qualsiasi programma scaricato da Internet, precisando di non chiedere una regolamentazione completa di questi sistemi. Nel confronto entra anche il posizionamento commerciale di Cohere, che vende propri modelli AI ai governi: una maggiore diffidenza delle amministrazioni verso le alternative cinesi gratuite potrebbe favorirne l’offerta. La discussione sulla sicurezza dei modelli si intreccia così con la concorrenza tra fornitori per i clienti pubblici.