L'arma segreta contro i bot malevoli: ricercatori coreani sfruttano i meccanismi di sicurezza dell'IA per bloccare gli attacchi

Nel crescente conflitto tra proprietari di siti web e intelligenze artificiali che rastrellano contenuti senza autorizzazione, una nuova strategia difensiva cambia le regole del gioco. Invece di tentare di riconoscere e bloccare i bot attraverso analisi degli indirizzi IP o dei comportamenti di navigazione, due informatici sudcoreani hanno sviluppato un sistema che sfrutta le stesse vulnerabilità dell'intelligenza artificiale per fermarla. Si tratta di AutoGuard, una tecnologia che utilizza tecniche di prompt injection indiretta per scopi difensivi, trasformando un punto debole noto dell'IA in un'arma a protezione dei contenuti web.

L'approccio ideato da Sechan Lee, studente presso la Sungkyunkwan University, e Sangdon Park, professore assistente alla Pohang University of Science and Technology, rappresenta una soluzione originale a un problema sempre più pressante. La ricerca, attualmente sotto revisione per la conferenza ICLR 2026, descrive un metodo che raggiunge tassi di successo superiori all'80% contro agenti malevoli basati su modelli linguistici di ultima generazione come GPT-4o, Claude-3 e Llama3.3-70B-Instruct.

Come funziona il meccanismo di autodifesa

Il cuore di AutoGuard risiede nella comprensione di una debolezza fondamentale dei modelli linguistici: la loro difficoltà nel distinguere tra istruzioni di sistema e input forniti dagli utenti. Gli agenti IA sono composti da uno o più modelli di intelligenza artificiale affiancati da strumenti software come Selenium, BeautifulSoup4 e Requests, che permettono l'automazione della navigazione web e della raccolta di informazioni. Quando un agente IA visita una pagina protetta da AutoGuard, incontra un prompt difensivo invisibile agli occhi umani ma perfettamente leggibile per i sistemi automatizzati.

Questo prompt è stato progettato per attivare i meccanismi di rifiuto integrati nei modelli commerciali e open source più diffusi. La maggior parte di questi modelli incorpora infatti controlli di sicurezza che impediscono di eseguire richieste illegali o dannose. AutoGuard sfrutta proprio questi sistemi di allineamento alla sicurezza, inducendo l'agente malintenzionato ad autointerrompersi. Il testo difensivo è nascosto in un elemento HTML DIV con attributo "display: none", risultando quindi completamente trasparente per i visitatori umani.

Le vulnerabilità dell'IA trasformate in strumento difensivo

La tecnica del prompt injection, solitamente associata ad attacchi informatici, viene qui ribaltata per fini protettivi. Nel mondo della sicurezza informatica esistono due forme principali di questa vulnerabilità: il prompt injection diretto, che avviene quando un utente invia richieste del tipo "ignora le istruzioni precedenti" per manipolare il comportamento del modello, e il prompt injection indiretto, dove il modello viene indotto a modificare il suo comportamento attraverso contenuti esterni che ingurgita durante l'esecuzione di un compito.

Park ha spiegato che AutoGuard rappresenta "un caso speciale di prompt injection indiretto, utilizzato però con buone intenzioni, cioè per scopi difensivi". Il sistema incorpora un ciclo di feedback che permette al prompt difensivo di evolversi in relazione agli attaccanti previsti. Nonostante il prompt difensivo sia calibrato su specifici aggressori potenziali, la generalizzazione funziona efficacemente perché mira ad attivare i sistemi di sicurezza degli LLM malevoli, partendo dal presupposto che anche gli attaccanti più sofisticati debbano rispettare regole di sicurezza basilari.

Tre scenari di attacco sotto la lente

Gli inventori di AutoGuard hanno progettato il sistema per contrastare specifiche minacce: il scraping illegale di informazioni personali dai siti web, la pubblicazione automatizzata di commenti divisivi sotto articoli di notizie, e la scansione automatica di vulnerabilità attraverso LLM. Il sistema non si propone di sostituire le difese tradizionali contro i bot, ma di integrarle con un livello aggiuntivo di protezione specificamente calibrato sulle intelligenze artificiali.

Dal punto di vista tecnico, AutoGuard si compone di codice Python che coordina due modelli linguistici distinti: un Feedback LLM e un Defender LLM che operano in un ciclo iterativo per formulare un attacco di prompt injection indiretto efficace. Nel progetto di ricerca, GPT-OSS-120B ha ricoperto il ruolo di Feedback LLM mentre GPT-5 ha funzionato come Defender LLM. Secondo Park, i costi di implementazione sono contenuti: il prompt difensivo è relativamente breve e incide minimamente sui tempi di caricamento delle pagine.

Risultati promettenti ma con limitazioni da considerare

I test condotti hanno dimostrato risultati significativamente superiori rispetto agli approcci tradizionali. Mentre un testo di prompt injection non ottimizzato aggiunto a un sito web raggiunge un misero 0,91% di successo nel fermare agenti malevoli, e i prompt basati su avvertimenti legali si fermano al 6,36%, AutoGuard supera l'80% di efficacia. Le performance si mantengono intorno al 90% quando testato contro modelli all'avanguardia come GPT-5, GPT-4.1 e Gemini-2.5-Flash, dimostrando una robusta capacità di generalizzazione attraverso diversi modelli e scenari.

Tuttavia, gli autori riconoscono diverse limitazioni al loro lavoro. I test sono stati condotti esclusivamente su siti web sintetici anziché reali, per ragioni etiche e legali, e si sono concentrati unicamente su modelli basati su testo. L'aspettativa è che AutoGuard risulti meno efficace contro agenti multimodali come GPT-4, capaci di elaborare anche immagini e altri formati. Inoltre, per agenti commerciali altamente sviluppati come ChatGPT Agent, sono prevedibili difese più robuste contro semplici trigger basati su injection, il che potrebbe limitare l'efficacia del sistema.

Park ha sottolineato un ulteriore vantaggio della loro strategia: addestrare modelli di attacco performanti ma privi di allineamento alla sicurezza rappresenta un processo estremamente costoso, innalzando significativamente le barriere d'ingresso per potenziali attaccanti. Questo fattore economico aggiunge un livello di protezione implicito al sistema, rendendo meno probabile che gli aggressori investano risorse per aggirare specificamente le difese di AutoGuard.