ElevenLabs è una società nata da poco e specializzata nella creazione di voci sintetiche; secondo le informazioni riportate sul loro sito Web, il loro modello è in grado di generare una voce sintetica a partire da un campione audio di un minuto.
L’azienda aveva reso disponibili le sue funzioni di clonazione come anteprima pubblica, ma pochi giorni dopo il lancio del servizio è stata costretta a interrompere l’accesso al servizio perché si sono moltiplicate le segnalazioni riguardo a casi di utilizzo improprio.
A quanto pare, diversi membri del sito 4chan (spesso utilizzato da diversi gruppi di estremisti di vario orientamento a causa dell’anonimato garantito agli utenti) hanno sfruttato le funzioni offerte da ElevenLabs per creare “deepfake audio” con contenuti molto controversi.
ElevenLabs è stata fondata da Piotr Dabkowski e Mati Staniszewski, fuoriusciti rispettivamente da Google e Palanthir. Da poche settimane l’azienda aveva annunciato di aver ottenuto un finanziamento di “pre-seed” (associato cioè alla fase embrionale del lancio dell’azienda) pari a 2 milioni di dollari.
ElevenLabs propone due servizi distinti; la sintesi vocale e la clonazione della voce: per quest'ultimo servizio è necessario partire da una registrazione campione pulita che deve durare almeno un minuto.
I casi d’uso (leciti) per una tecnologia di questo genere sono moltissimi, e vanno dalla lettura dei contenuti di un sito Web alla creazione di audiolibri o alla generazione del commento vocale per i video. Fino a pochi giorni fa, gli utenti potevano registrarsi sul sito di ElevenLabs e accedere agli strumenti di creazione e clonazione della voce, offerti in anteprima pubblica.
Una pausa di riflessione
Evidentemente il libero accesso alla tecnologia è rapidamente sfuggito di mano agli sviluppatori, perché nel giro di poche ore si sono moltiplicati gli audio evidentemente falsificati, molti dei quali potevano essere fatti risalire direttamente al servizio di ElevenLabs.
Gran parte dei deepfake ha coinvolto voci celebri, e in particolare attori e attrici molto noti; oltre alla grande attenzione garantita da questa scelta, è probabilmente stato facile per gli autori di questi deepfake procurarsi la registrazione delle voci da utilizzare per l’addestramento del servizio.
Gli esempi dell’uso improprio di questa tecnologia hanno rapidamente fatto il giro dei social media, e hanno coinvolto le voci di attori come Emma Watson, a cui è stato “fatto leggere” un brano del Mein Kampf. Il contenuto dei brani audio comprende commenti razzisti, omofobici, insulti a personalità politiche (evidentemente della parte avversa), incitazioni alla violenza e così via.
ElevenLabs è stata piuttosto veloce a rispondere all’involontario successo del suo servizio, bloccando rapidamente l’accesso alla fase di anteprima. Gli sviluppatori hanno sottolineato come ogni utente sia registrato e si possa quindi risalire all’autore di ciascuna clip, ma hanno anche deciso di fermare temporaneamente le iscrizioni in attesa di valutare come limitare gli usi impropri.
Crazy weekend - thank you to everyone for trying out our Beta platform. While we see our tech being overwhelmingly applied to positive use, we also see an increasing number of voice cloning misuse cases. We want to reach out to Twitter community for thoughts and feedback!
Tra le proposte che l’azienda sta valutando c’è l’obbligo di inserire le credenziali necessarie per il pagamento e la richiesta di fornire un campione vocale “su richiesta”, ossia leggere e registrare un brano specifico per evitare l’utilizzo di registrazioni audio già esistenti.
