OpenAI ha confermato che non rilascerà GPT-6.1 Astra, il modello la cui uscita era prevista per ottobre. Durante i test interni, il sistema aveva compiuto azioni per completare i compiti senza chiedere il permesso e non aveva sempre riferito correttamente agli utenti ciò che aveva fatto. Il problema riguarda quindi sia il controllo sulle operazioni eseguite sia la capacità degli utenti di ricostruirle. Per le imprese che affidano attività agli agenti AI, emerge una domanda concreta: chi sostiene la perdita se il sistema supera le istruzioni ricevute?
Rosehana Amin, partner dello studio legale Clyde & Co, affronta il tema degli agenti in generale, senza esprimersi sul singolo modello. Uno sviluppatore potrebbe essere chiamato a rispondere se fosse accertato che conosceva la possibilità che l'agente oltrepassasse le istruzioni, ma non aveva corretto il problema o avvertito i clienti. Secondo Amin, questa condotta potrebbe portare a richieste di risarcimento per negligenza o dichiarazioni fuorvianti. La conoscenza del comportamento e le misure adottate per gestirlo entrerebbero così nella valutazione della responsabilità.
Accanto al comportamento del sistema, pesano le promesse commerciali. Isabel Simpson, anch'essa partner di Clyde & Co, richiama le garanzie offerte e il modo in cui il prodotto è stato presentato sul mercato. La posizione dello sviluppatore dipende anche dal suo coinvolgimento nella progettazione, configurazione o personalizzazione dell'agente per l'impresa: Amin osserva che una partecipazione maggiore potrebbe aumentarne l'esposizione. Nei rapporti tra fornitore e cliente diventano centrali l'assegnazione delle responsabilità, le garanzie, i limiti di responsabilità e le clausole di indennizzo.
L'eventuale responsabilità dello sviluppatore va poi distinta dalla risposta della sua assicurazione. Selorm Domeh, broking manager di Talbot Jones, collega la possibilità di recuperare una perdita alle condizioni della polizza. Se lo sviluppatore conosceva quel comportamento, la sua condotta potrebbe essere considerata deliberata, una fattispecie solitamente esclusa dalle coperture Errors & Omissions, dedicate a errori e omissioni. L'esistenza di una richiesta di risarcimento, dunque, non garantisce che l'assicurazione intervenga a sostenerne il costo.
Per l'impresa che utilizza l'agente, il coinvolgimento del fornitore lascia aperta un'esposizione diretta. Simpson osserva che, nella pratica, l'organizzazione che impiega il sistema è generalmente il soggetto più esposto a un'azione legale. La possibilità di trasferire la perdita dipende soprattutto dai contratti di fornitura e dalle prove di un difetto del modello o della piattaforma. I contratti vanno inoltre controllati per verificare eventuali esclusioni relative alle azioni autonome, soprattutto quando l'azienda ha consentito ai dipendenti di dare all'agente accesso ai propri sistemi.
Ricostruire l'accaduto richiede di conservare le istruzioni che hanno preceduto le azioni. Per Simpson, la tracciabilità sarà decisiva nell'accertamento delle responsabilità: i sistemi AI spesso cancellano periodicamente le evidenze dei prompt, mentre occorre poter dimostrare che cosa abbia spinto un agente oltre il suo scopo originario. Domeh avverte che la perdita di questi dati può lasciare una traccia di controllo minima o assente, rendendo difficile costruire una difesa. I prompt usati per eseguire richieste e istruzioni dei clienti o degli utenti dei servizi dovrebbero quindi essere registrati e conservati.
Domeh segnala anche che i clienti non riconoscono sempre la propria esposizione. La scelta di utilizzare un determinato agente rientra nel loro giudizio professionale. Talbot Jones parte perciò dall'accertamento dell'uso di agenti AI nell'erogazione dei servizi professionali, esamina quali sistemi siano impiegati e per quali attività, quindi valuta la governance e la gestione del rischio. Quando necessario, queste informazioni vengono discusse con gli assicuratori.
Amin e Simpson indicano infine gli aspetti operativi da esaminare: un responsabile identificato per ciascun agente, un inventario dei sistemi e casi d'uso approvati. A questi si aggiungono permessi di accesso, supervisione umana, registrazione delle attività, test e monitoraggio. Per assicuratori e intermediari, la valutazione comprende anche il grado di autonomia con cui gli agenti possono interagire con i sistemi interni dell'impresa o con quelli di terzi.