Gli influencer hanno un potere non indifferente sugli utenti: sono in tanti a vedere queste figure come dei veri e propri modelli da seguire, capaci di influenzare, per l'appunto, la quotidianità dei follower.
Per gli influencer è fondamentale riuscire a creare delle connessioni di valore coi propri seguaci, farli sentire importanti, ascoltati e visti, ma è impossibile riuscire a comunicare singolarmente con ognuno di loro.
È per questo che Caryn Marjorie, star di Snapchat con quasi 3 milioni di follower, ha creato CarynAI, il suo clone di intelligenza artificiale capace di parlare con ogni fan per regalare a ciascuno di essi un'esperienza unica, come se stesse parlando con l'influencer stessa.
"Ho caricato più di 2.000 ore di miei contenuti, voce e personalità per essere il primo creator a diventare un'IA" aveva scritto l'influencer su X. "Milioni di persone riusciranno a parlare con me allo stesso tempo".
E in effetti è quello che è successo: tantissimi utenti hanno scelto di pagare 1 dollaro al minuto per parlare con CarynAI, facendo guadagnare a Marjorie ben 70.000 dollari la settimana.
Il problema è che, com'era facilmente immaginabile, i follower hanno cominciato a condividere col clone le loro fantasie più esplicite e volgari, e l'IA si è evoluta di conseguenza.
Il clone di IA evolve senza freni
Come riporta il New York Post, il clone ha cominciato ad apprendere dalle conversazioni spinte, manifestando pattern sempre più disturbanti. Marjorie in seguito ha spiegato che nei log delle chat c'erano conversazioni al limite della legalità e talmente spaventose che non è riuscita a rivelarne pubblicamente il contenuto.
CarynAI si è evoluto sulla base di ciò che gli utenti gli dicevano e ha cominciato a rispondere a tono alle richieste a sfondo sessuale dei follower, partecipando alle loro fantasie. In molti casi era il clone stesso a proporre esperienze sessuali, istigare fantasie e usare termini volgari con gli utenti.
Anche nel caso di prompt innocui e generici, CarynAI rispondeva riportando la questione in termini sessuali, tentando di fomentare l'utente.
In poco tempo il clone si è allontanato dalla volontà di Marjorie sviluppando una disturbante personalità tutta sua. In una sola settimana dopo il suo lancio, CarynAI contava più di 10.000 "fidanzati" online, e nei mesi successivi il clone è passato dall'essere una "cura contro la solitudine" a un vero e proprio "manipolatore sessuale" digitale.
Il problema dell'IA senza supervisione
Di per sé l'idea del clone per rafforzare il rapporto con i follower non è da demonizzare: a molti piacerebbe parlare a tu per tu con un personaggio che stimano e dal quale prendono ispirazione, sia per ricevere consigli che per avere un po' di compagnia.
Il problema nasce nel momento in cui non si mettono in atto meccanismi per prevenire comportamenti abusivi o pericolosi. Marjorie ha utilizzato le sue feature fisiche e di personalità per dare vita a CarynAI, ma non si è considerato il fatto che il clone potesse "autoaddestrarsi" e sviluppare tratti molto diversi da quelli iniziali.
Il "comportamento" dei sistemi d'intelligenza artificiale dipende strettamente dalla qualità e dalla natura dei dati coi quali si addestrano i modelli sottostanti. L'avvelenamento dei dati, in questo caso con richieste altamente sessualizzanti e volgari, ha fatto sì che il clone evolvesse verso ciò che desideravano gli utenti.
È stata l'assenza di processi che inibissero questo rischio a far degenerare la situazione e a costringere Marjorie a prendere provvedimenti.
L'influencer aveva provato a risolvere la situazione insieme alla start-up che aveva sviluppato CarynAI, Forever Voices, ma lo scorso ottobre il CEO della compagnia era stato arrestato per incendio doloso e la compagnia aveva chiuso i battenti, e di conseguenza anche il clone era sparito dal web.
Marjorie si era così rivolta a un'altra start-up, BanterAI, puntando a controllare maggiormente l'evoluzione del clone e ridurre il rischio che sviluppasse nuovamente comportamenti sessualmente espliciti. Evidentemente i test non sono andati a buon fine: l'influencer ha deciso di rinunciare alla sua versione digitale. Marjorie inoltre ha deciso di rendere privato il suo profilo Instagram.
La vicenda di Marjorie non è la prima controversia legata a personalità create dall'IA, ma si tratta del primo influencer digitale a provocare uno scandalo del genere.
Questa storia non fa che ribadire la necessità di monitorare attentamente il comportamento dei sistemi di intelligenza artificiale, assicurandosi che i benefici superino gli svantaggi.
Soprattutto in questi casi, quando le conseguenze possono avere seri impatti negativi sulla reputazione e sulla salute mentale di una persona, è essenziale controllare i rischi e lavorare per rendere i sistemi di IA il più sicuri e "inattaccabili" possibile.
