Anthropic ha concesso a valutatori esterni un accesso ai propri sistemi paragonabile a quello dei dipendenti, per esaminare i rischi dei suoi modelli di intelligenza artificiale. L’organizzazione non profit METR ha ora una squadra negli uffici dell’azienda che sviluppa Claude: sei persone, dotate di hardware aziendale, spazi di lavoro e strumenti interni sostanzialmente equivalenti a quelli disponibili ai team che si occupano di valutazione del rischio.
L’iniziativa dà seguito all’impegno di rafforzare le protezioni contro la possibilità che sistemi sempre più capaci possano sfuggire al controllo. Anthropic sostiene che la crescita delle capacità dei modelli richieda salvaguardie più robuste e una valutazione dei rischi più impegnativa. Il coinvolgimento di soggetti esterni è tra le misure concrete proposte dai laboratori per affrontare le preoccupazioni sulle conseguenze dell’AI per l’economia, la sicurezza informatica e la collettività. L’azienda dichiara di voler rispondere pubblicamente delle proprie decisioni.
A settembre, la proposta dell’amministratore delegato Dario Amodei di inserire auditor esterni nei principali laboratori aveva raccolto il sostegno anche di Sam Altman ed Elon Musk, alla guida rispettivamente di OpenAI e SpaceX. L’ingresso di METR rappresenta un primo passo nell’attuazione di quegli impegni. OpenAI, dopo il giudizio favorevole espresso da Altman, non ha ancora illustrato un piano per accogliere i valutatori. METR ha già collaborato con diversi grandi sviluppatori, tra cui Google e Meta, oltre alle due aziende.
Il modello scelto da Anthropic richiama la vigilanza bancaria, nella quale i regolatori assegnano esaminatori residenti alle maggiori banche per individuare in anticipo rischi capaci di danneggiare il pubblico. L’azienda ha incoraggiato i dipendenti a condividere informazioni con gli esperti esterni come farebbero con un collega addetto al rischio. La presenza negli uffici si accompagna quindi all’accesso diretto alle informazioni operative. La società ritiene che renderle tutte pubbliche potrebbe favorire soggetti malevoli o concorrenti.
Anthropic non paga METR per questa attività. Il gruppo di ricerca non accetta donazioni dalle aziende di AI né dai loro dipendenti e si finanzia attraverso individui, organizzazioni filantropiche e organismi pubblici, tra cui l’AI Security Institute britannico. La struttura del finanziamento si inserisce nel dibattito sull’indipendenza dei controllori: i critici della proposta segnalano possibili conflitti di interesse, richiamando i problemi del settore della revisione contabile, e chiedono una maggiore regolamentazione pubblica.
I valutatori potranno pubblicare le proprie analisi e Anthropic non avrà diritto di veto sulla pubblicazione. L’azienda potrà tuttavia chiedere di oscurare informazioni appartenenti a categorie determinate: dati dei clienti, contenuti protetti dal segreto professionale tra avvocato e assistito oppure dettagli sulle architetture dei modelli. L’accordo distingue così la possibilità di rendere pubbliche le conclusioni dalla divulgazione di materiale riservato, mantenendo un canale di comunicazione dei risultati al di fuori del controllo editoriale dell’azienda.
L’apertura ai valutatori arriva anche mentre Anthropic deve rassicurare gli investitori sul peso delle questioni di sicurezza in vista dell’IPO, attesa con una valutazione superiore a 2.000 miliardi di dollari. Nelle presentazioni agli investitori l’azienda ha dedicato ampio spazio alle proprie pratiche di sicurezza. Il confronto sui controlli entra quindi anche nel rapporto con il mercato finanziario, mentre la società prepara il passaggio alla quotazione.
Il lavoro con METR si affianca alla collaborazione con Accenture, annunciata il mese precedente per i test di sicurezza: ciascuna delle due aziende si è impegnata a destinare almeno un miliardo di dollari a nuove salvaguardie. Un altro valutatore esterno, SecureBio, esamina per Anthropic i rischi legati alle armi chimiche e biologiche. La società invita tutti gli sviluppatori di AI di frontiera ad accogliere valutatori esterni; METR si dichiara disponibile a collaborare con loro per mettere a disposizione del pubblico evidenze migliori.