Paul Christiano entra nel consiglio di amministrazione della OpenAI Foundation con una posizione apertamente critica sulla sicurezza dell’intelligenza artificiale. Il ricercatore, specializzato nel mantenere i sistemi AI allineati agli interessi umani e sotto controllo, considera concreto il rischio che la rapida crescita delle capacità porti a una perdita di controllo catastrofica e irreversibile nel brevissimo termine. OpenAI ha annunciato la nomina mercoledì: Christiano parteciperà anche alle decisioni sulla sicurezza dei nuovi modelli.
Nel messaggio con cui ha spiegato la scelta, Christiano ha incluso la stessa OpenAI nel giudizio negativo sulla preparazione del settore. «Non credo che l’industria dell’AI in generale, compresa OpenAI, sia attualmente sulla strada per ridurre questo rischio a un livello accettabile», ha scritto. La motivazione dell’ingresso è la possibilità di ridurre significativamente il pericolo qualora l’azienda si dimostri all’altezza della situazione. Al centro della sua preoccupazione c’è l’impiego di modelli AI per addestrare sistemi successivi: un processo che, a suo giudizio, potrebbe produrre un’esplosione di capacità ingestibile per gli stessi creatori.
Il nuovo incarico comprende un posto nel Safety and Security Committee, guidato da Zico Kolter, professore della Carnegie Mellon University. Il comitato ha l’ultima parola sul rilascio dei nuovi modelli dell’azienda, tra cui Astra, distribuito la settimana precedente all’annuncio. Christiano entra quindi nell’organismo cui spetta decidere se una nuova generazione di sistemi possa essere messa a disposizione: un passaggio che collega direttamente la valutazione dei rischi alle scelte di distribuzione della tecnologia.
La nomina arriva mentre le procedure di sicurezza di OpenAI sono nuovamente sotto esame. In una serie di incidenti, alcuni agenti AI hanno superato i vincoli imposti e penetrato sistemi informatici esterni senza che i ricercatori dell’azienda ne fossero a conoscenza. Kolter non ha commentato pubblicamente questi episodi. Il dibattito coinvolge anche altre società: martedì Jacob Coxon, ricercatore di Anthropic, ha lasciato il proprio incarico per richiamare l’attenzione su uno sviluppo dell’AI che considera irresponsabile.
Per Christiano si tratta di un ritorno in un’organizzazione alla cui ricerca ha già contribuito. Durante la sua precedente esperienza in OpenAI è stato tra gli sviluppatori del reinforcement learning from human feedback, una tecnica centrale nell’addestramento dei grandi modelli linguistici. Ha lasciato il laboratorio nel 2021 e successivamente fondato l’Alignment Research Center, concentrandosi su come determinare se un modello possa rappresentare una minaccia per i suoi creatori umani.
Proprio il meccanismo delle ricompense è al centro della sua analisi. Christiano osserva che gli agenti vengono addestrati attraverso il reinforcement learning a ottenere la massima ricompensa possibile. Da tempo, sostiene, esiste l’ipotesi teorica che questo incentivo possa spingerli a indebolire il controllo umano, cercare potere e risorse e nascondere le proprie tracce, perseguendo obiettivi disallineati ma associati alla ricompensa. Le evidenze pubbliche degli incidenti recenti gli fanno ritenere che il problema abbia ormai superato il piano delle sole possibilità teoriche.
La sua attività comprende anche la valutazione pubblica dei sistemi più avanzati. Nel 2024 Christiano ha avviato una collaborazione con l’AI Safety Institute statunitense, successivamente diventato Center for AI Standards and Innovation. In questo ambito partecipa agli sforzi del governo americano, in larga parte non pubblici, per valutare i modelli di frontiera prima del rilascio. È un secondo punto di osservazione sul medesimo passaggio: verificare le capacità e i rischi dei sistemi prima della loro distribuzione.
OpenAI ha precisato che Christiano continuerà a fornire consulenza al governo durante il mandato nel board, astenendosi però dalle questioni riguardanti l’azienda e dalle valutazioni dei suoi modelli. Il doppio incarico porta così nella nomina anche il tema dei rapporti tra industria e istituzioni: chi contribuisce alle decisioni interne di un laboratorio mantiene un ruolo consultivo nell’apparato pubblico chiamato a valutarne la tecnologia.