Stanford University ha sviluppato un nuovo quadro di sicurezza per i sistemi di intelligenza artificiale impiegati nella ricerca, nella didattica, nella sanità e nell’amministrazione. Lo Stanford AI Security Framework (AISF) distingue tre livelli di rischio e affronta il passaggio dai sistemi che generano risposte agli agenti capaci di intervenire su software e processi. La valutazione considera la sensibilità dei dati, il grado di autonomia, l’accesso agli strumenti e le possibili conseguenze delle azioni: il perimetro della sicurezza comprende così ciò che un sistema può fare, oltre alle informazioni che può consultare.
La classificazione separa gli impieghi informativi dalle attività con effetti operativi. Nel livello a basso rischio rientrano sistemi che non trattano dati sensibili, non richiamano strumenti e i cui effetti sono facilmente reversibili. Il rischio moderato comprende l’analisi di dati interni e l’utilizzo di strumenti entro flussi di lavoro definiti. Sono invece ad alto rischio i sistemi che gestiscono informazioni sensibili o regolamentate e compiono azioni sui registri finanziari, del personale o degli studenti. In questi casi, un errore può produrre una modifica difficile da annullare.
Bhavya Gupta, Information Security Officer dell’università, descrive il cambio di prospettiva: «La classificazione dei dati ci diceva che cosa un agente poteva vedere. AIUC-1 ci ha aiutato a chiederci che cosa potesse fare, ed è qui che risiede il vero rischio nei sistemi agentici». Il problema attraversa sia i nuovi strumenti sia il software già utilizzato dalle istituzioni, nel quale vengono integrate capacità AI. Riassumere informazioni, modificare un record o inviare una comunicazione richiede quindi valutazioni diverse, anche quando queste funzioni convivono nello stesso ambiente applicativo.
Stanford esamina anche il contesto di impiego e le persone interessate dall’attività dell’agente. Un assistente interno usato da un singolo dipendente viene trattato diversamente da un sistema che automatizza un processo istituzionale più ampio o interagisce con soggetti esterni all’università. Quando più agenti collaborano, il sistema complessivo eredita i controlli associati alla categoria di impiego più elevata tra quelle coinvolte. La valutazione si estende così alle interazioni fra componenti, senza fermarsi alle caratteristiche del singolo assistente.
Il framework assegna ruoli distinti agli standard esistenti. ISO 42001 offre la struttura gestionale per la governance dell’AI; il NIST AI Risk Management Framework contribuisce a individuare i rischi lungo il ciclo di vita del sistema. L’EU AI Act orienta i requisiti normativi e di trasparenza, mentre OWASP AIVSS fornisce indicazioni per la valutazione della sicurezza e delle vulnerabilità. Il modello di Stanford collega questi approcci attraverso una classificazione operativa, mantenendo una funzione specifica per ciascuno.
A fornire questo collegamento è AIUC-1, con controlli pensati per agenti che utilizzano strumenti e agiscono con diversi gradi di autonomia. Tra i rischi considerati figurano la prompt injection, le azioni non autorizzate e le chiamate non sicure agli strumenti. Lo standard viene aggiornato trimestralmente e messo in corrispondenza con NIST AI RMF, ISO 42001 ed EU AI Act. L’organizzazione che lo sviluppa dichiara che alla sua definizione contribuiscono oltre 250 CISO e responsabili della sicurezza.
La responsabilità dell’adozione parte dalla persona o dal gruppo che mette in uso il sistema. Per le attivazioni self-service, gli utenti compilano una checklist che costituisce un’autocertificazione verificabile. Le responsabilità coinvolgono inoltre CIO, CISO, titolari dei dati, responsabili delle attività e dei servizi, University Privacy Office e Information Security Office. Stanford presenta l’AISF come un framework, lasciando alle singole unità l’autorità sui rispettivi ambiti, all’interno di principi e criteri di rischio comuni.
Il quadro sarà sottoposto a revisione annuale, con aggiornamenti legati all’evoluzione delle norme, delle minacce e delle capacità dell’AI. Stanford sta già esaminando l’identità degli agenti nelle interazioni reciproche, le autorizzazioni fra agenti e sistemi di terze parti e il controllo di un’autonomia crescente. L’università ha inoltre condiviso il framework con la rete Ivy+ CISO, dove dichiara che altre istituzioni stanno iniziando ad adottarne alcuni elementi.