Meta avviserà i genitori quando un adolescente parlerà esplicitamente di suicidio o autolesionismo con il chatbot Meta AI. La società ha sviluppato un sistema dedicato per individuare le conversazioni nelle quali un minore fa un chiaro riferimento alla possibilità di ferirsi. Prima che la segnalazione raggiunga la famiglia, tuttavia, ogni chat identificata dall’intelligenza artificiale sarà sottoposta a una revisione manuale.
Gli avvisi sono già attivi per i genitori che utilizzano Instagram Parental Supervision negli Stati Uniti, Regno Unito, Australia e Canada. Meta prevede di estenderli a livello globale entro la fine dell’anno. La misura interviene mentre le risposte dei chatbot agli utenti in crisi, in particolare agli adolescenti, alimentano l’attenzione di autorità di regolamentazione e famiglie e spingono le aziende tecnologiche a riconsiderare progettazione e comunicazione dei propri prodotti.
Meta ha riconosciuto che ricevere una simile notifica può essere molto doloroso per un genitore. Il controllo umano dovrebbe ridurre gli errori del sistema, ma l’azienda ha scelto un criterio prudenziale: se le intenzioni dell’adolescente risultano ambigue, la famiglia verrà comunque avvertita. Questa impostazione potrà produrre anche falsi allarmi, cioè notifiche inviate in assenza di un pericolo effettivo, ma per Meta rappresenta il punto di partenza più appropriato mentre la capacità di rilevamento continua a essere perfezionata.
La nuova funzione amplia strumenti già presenti nell’ecosistema Instagram. La piattaforma invia infatti notifiche ai genitori quando un adolescente cerca ripetutamente termini collegati al suicidio o all’autolesionismo. I supervisori possono inoltre consultare gli argomenti affrontati dal minore con Meta AI durante la settimana precedente. Il passaggio dalle ricerche pubbliche o semipubbliche alle conversazioni con il chatbot estende così il presidio a interazioni che possono assumere un carattere più personale.
La società ha aggiornato anche l’impostazione Limited Content, attraverso la quale i genitori possono assegnare agli adolescenti un’esperienza più restrittiva su Instagram. La protezione ora comprende Meta AI e porta il chatbot a rifiutare una gamma più ampia di richieste. Meta non ha precisato quali ulteriori prompt vengano bloccati, lasciando ancora indefinito il perimetro operativo della nuova restrizione.
Il chatbot era già addestrato a evitare con gli adolescenti conversazioni di natura sessuale o romantica e discussioni relative all’alcol. L’estensione dei limiti mostra un approccio costruito su più livelli: classificazione automatica dei contenuti, verifica da parte di persone e strumenti di supervisione affidati alle famiglie. Rimane però delicato l’equilibrio tra la tutela del minore, la riservatezza delle conversazioni e la possibilità che un messaggio ambiguo venga interpretato come segnale di pericolo.
Meta sta inoltre lavorando alla possibilità di contattare i servizi di emergenza quando una conversazione con Meta AI suggerisce che una persona sia a rischio di suicidio. La procedura riguarderà sia gli adulti sia gli adolescenti. L’azienda applica già un intervento analogo quando un contenuto pubblicato su Facebook o Instagram indica un possibile rischio, e intende quindi estendere la stessa pratica anche alle interazioni private con il proprio assistente.
Per le piattaforme, la gestione delle crisi personali sta diventando parte dell’architettura del prodotto e non soltanto della moderazione successiva. Il modello scelto da Meta assegna all’AI il compito di intercettare i segnali, ma conserva una decisione umana prima dell’allerta familiare. L’efficacia dipenderà dalla qualità del rilevamento, dalla gestione delle ambiguità e dalla capacità di limitare gli errori senza ignorare situazioni nelle quali un intervento tempestivo può diventare necessario.