Il fenomeno del shadow AI preoccupa gli esperti
Una ricerca condotta su 2.000 dipendenti di aziende statunitensi e britanniche ha portato alla luce un dato allarmante: quasi la metà dei lavoratori utilizza strumenti di intelligenza artificiale non autorizzati dalle proprie organizzazioni. Ancora più preoccupante è il fatto che oltre metà di questi utenti non ha la minima idea di come vengano archiviati e analizzati i dati che inseriscono in queste piattaforme.
Questo comportamento, che ricorda il fenomeno del "shadow IT" emerso anni fa con le applicazioni cloud non autorizzate, rappresenta un rischio significativo per la sicurezza aziendale. Concedere ai dipendenti libertà totale di sperimentare con tool AI per automatizzare i processi lavorativi può sembrare un'iniziativa innovativa, ma senza politiche rigorose e sistemi di monitoraggio adeguati la situazione può sfuggire rapidamente di mano.
Malware nascosto nei modelli di machine learning
Quest'anno i ricercatori di ReversingLabs hanno fatto una scoperta inquietante: malware occultato all'interno di modelli AI ospitati su Hugging Face, la più grande piattaforma online per la condivisione di modelli open-source e risorse di machine learning. In un caso separato, hanno individuato pacchetti compromessi sul Python Package Index (PyPI) che si spacciavano per SDK legittimi per interagire con i servizi cloud AI di Aliyun AI Labs, la divisione di ricerca sull'intelligenza artificiale di Alibaba Cloud.
Il denominatore comune di entrambi gli attacchi è lo sfruttamento del formato di serializzazione Pickle, ampiamente utilizzato in Python per memorizzare modelli AI destinati all'uso con PyTorch, una delle librerie di apprendimento automatico più popolari al mondo. Gli aggressori hanno approfittato delle caratteristiche di questo formato per nascondere codice malevolo all'interno di componenti apparentemente innocui.
L'LLMjacking: quando i criminali rubano l'intelligenza artificiale
Anche i criminali informatici vogliono sfruttare la potenza dei modelli di linguaggio di grandi dimensioni, ma preferiscono farlo senza pagare e usando account altrui. È nato così il fenomeno dell'LLMjacking, il furto di credenziali che permettono l'accesso agli LLM attraverso API ufficiali o servizi come Amazon Bedrock.
Microsoft ha addirittura intentato una causa civile contro un gruppo specializzato nel furto di queste credenziali, utilizzate poi per costruire servizi a pagamento destinati ad altri cybercriminali per generare contenuti aggirando i normali meccanismi di sicurezza etica integrati. I costi per le vittime possono essere astronomici: i ricercatori stimano che le chiamate API massive a modelli all'avanguardia potrebbero generare spese superiori ai 100.000 dollari al giorno.
Il tallone d'Achille: le vulnerabilità nei pacchetti AI
Secondo il report 2025 State of Cloud Security di Orca Security, l'84% delle organizzazioni utilizza ormai strumenti legati all'AI in ambienti cloud, ma il 62% presenta almeno un pacchetto AI vulnerabile nei propri sistemi. Questo evidenzia come l'implementazione di servizi e strumenti AI, sia on-premise che in cloud, dovrebbe sempre coinvolgere il team di sicurezza per identificare configurazioni insicure o vulnerabilità note.
Prompt injection: la minaccia invisibile
L'intelligenza artificiale introduce categorie completamente nuove di vulnerabilità di sicurezza. La più diffusa è nota come prompt injection e deriva dall'incapacità intrinseca degli LLM di distinguere tra istruzioni da eseguire e dati passivi da analizzare. A differenza degli esseri umani, questi modelli non interpretano il linguaggio e le intenzioni allo stesso modo.
Quest'anno i ricercatori hanno dimostrato attacchi di prompt injection su una vasta gamma di piattaforme: assistenti di codifica AI come GitLab Duo e GitHub Copilot Chat, piattaforme per agenti AI come ChatGPT e Salesforce Einstein, browser abilitati all'AI come Perplexity Comet e Microsoft Copilot per Edge, e chatbot come Claude e Gemini.
Il problema diventa particolarmente critico con l'indirect prompt injection, dove dati provenienti da fonti terze – un documento, un'email in arrivo, una pagina web – possono contenere testo che l'LLM interpreterà come comandi da eseguire. Nell'era degli agenti AI, dove i modelli linguistici sono collegati a strumenti esterni per accedere a dati di contesto o eseguire operazioni, questi attacchi possono portare non solo all'esfiltrazione di informazioni sensibili, ma anche all'esecuzione di codice malevolo.
Server MCP: convenienza e rischio
Il Model Context Protocol (MCP) è diventato rapidamente uno standard per l'interazione tra LLM e fonti di dati esterne, con decine di migliaia di server MCP pubblicati online. Questi server permettono alle applicazioni di esporre le proprie funzionalità agli LLM attraverso API standardizzate, ma la loro rapida proliferazione solleva interrogativi sulla sicurezza.
Ambienti di sviluppo integrati come Visual Studio Code di Microsoft, oltre a strumenti basati su di esso come Cursor e Antigravity, supportano nativamente l'integrazione con server MCP. La mitigazione dei rischi richiede un approccio multilivello che include la separazione dei contesti, l'applicazione del principio del privilegio minimo, l'approvazione umana per operazioni sensibili e il filtraggio degli input per rilevare stringhe comunemente utilizzate negli attacchi.