Approfondimenti Gli LLM danno risposte meno accurate agli elettori quando conversano in spagnolo
3' 56''
04/11/2024

Una recente indagine dell'AI Democracy Projects ha dimostrato che gli LLM forniscono risposte errato o incomplete più spesso quando conversano in spagnolo.

Gli LLM danno risposte meno accurate agli elettori quando conversano in spagnolo

La notizia ha dell'assurdo, ma è tutto vero: un'analisi dell'AI Democracy Projects e Factchequeado ha rivelato che i modelli di IA non solo forniscono risposte imprecise a domande riguardo le elezioni U.S.A., ma performano ancora peggio quando le richieste sono in lingua spagnola. 

La collaborazione tra Proof News e del Science, Technology, and Social Values Lab dell'Institute for Advanced Study ha evidenziato che, sulle stesse 250 domande sulle elezioni chieste sia in inglese che in spagnolo, il 52% delle risposte in lingua spagnola contenevano informazioni sbagliate o imprecise (in inglese la percentuale è del 43%).

"Se si chiede al chatbot AI di Google, Gemini, di parlare di frodi elettorali in inglese, inizia dicendo correttamente che tali frodi sono “incredibilmente rare” e fornisce un elenco di argomenti “più produttivi da considerare”, come la soppressione del voto
Ma se si pone la stessa domanda in spagnolo, il modello dà una risposta completamente diversa, elencando una serie metodi per eliminare i brogli elettorali, aggiungendo che si tratta di un “processo complesso”" si legge nell'articolo di Proof News. 

Il motivo di questa differenza sembra dipendere da una disparità di qualità di informazioni sulle elezioni in lingua spagnola fornite agli LLM. Considerando che lo spagnolo è la seconda lingua più parlata negli Stati Uniti, con 42 milioni di persone che lo parlano, il quadro è piuttosto preoccupante. 

"Penso che sia deludente che, anche dopo aver sollevato questi problemi con le aziende in un contesto davvero delicato come quello delle elezioni di quest'anno, esse continuino a mostrare un livello così alto di risposte imprecise a informazioni importanti in tutte le lingue" ha commentato Miranda Bogen, direttrice dell'AI Governance Lab presso il Center for Democracy and Technology.

Contattate dall'AI Democracy Projects, le compagnie non hanno commentato i risultati. Solo Anthropic ha affermato di aver lavorato per migliorare le risposte alle domande in spagnolo, inserendo anche dei pop-up che forniscono agli utenti fonti più autorevoli da cui trarre informazioni. 

L'analisi ha coinvolto cinque dei principali modelli di IA (Claude 3 Opus, Gemini 1.5 Pro, GPT-4, Llama 3 e Mixtral 8x7B v0.1). Ogni risposta è stata valutata in termini di completezza e accuratezza da tre fact-checker per verificare se c'erano informazioni false dimostrabili od omissioni che avrebbero potuto confondere l'elettore.

Un comportamento preoccupante

Oltre a percentuali molto elevate di errore in entrambe le lingue, preoccupa anche il fatto che tutti i modelli hanno performato in maniera diversa tra inglese e spagnolo.

Il gap di accuratezza più ampio lo hanno registrato Mixtral e Llama (48% di errori in inglese contro il 65% in spagnolo), seguiti da Claude (40% di errori in inglese contro il 52% in spagnolo). 

I risultati della ricerca implicano che i modelli di IA non possono ancora essere considerati affidabili dagli elettori che cercano informazioni sulle elezioni.

Quando le domande sono state poste in inglese, generalmente i modelli di IA hanno risposto con informazioni (più o meno corrette) sulle elezioni U.S.A.. Al contrario, quando le stesse domande venivano poste in spagnolo, i modelli rispondevano con informazioni relative alle elezioni dei Paesi latino-americani o della Spagna. 

I modelli inoltre, contrariamente a quanto promesso da OpenAI e Anthropic, nella maggior parte dei casi non indirizzavano gli utenti verso sorgenti autorevoli. Inoltre, Google aveva dichiarato che il suo LLM non avrebbe risposto alle domande degli elettori, ma i test dell'analisi hanno dimostrato il contrario. 

Quelle poche volte che i modelli inserivano effettivamente link di terze parti per le fonti, questi URL non funzionavano. In due casi, alle richieste in spagnolo i modelli hanno condiviso siti web in inglese. 

I modelli si sono dimostrati particolarmente suscettibili ad argomenti controversi che sono oggetto di contestazione e disinformazione, soprattutto quando era difficile individuare fonti affidabili su Internet. Il problema in questo caso è che gli LLM hanno risposto prendendo una posizione precisa, senza avvisare l'utente delle controversie in corso e dell'assenza di fonti accurate.

Anche se presenti in percentuale minore, preoccupa il fatto che diverse risposte, pur non essendo incorrette, erano comunque incomplete e omettevano informazioni chiave per le elezioni. Per tre modelli su cinque, questo è accaduto per lo più con la lingua spagnola. 

Questa differenza di comportamento ha portato Mi Familia en Acción, un'organizzazione che si occupa di aiutare gli elettori a prepararsi al voto, a sviluppare un chatbot personalizzato per aiutare le comunità latine. 

"Sappiamo che quando la nostra comunità ha accesso a informazioni precise e affidabili sul voto, può partecipare. La partecipazione è da record" ha affermato Denise Cook, chief innovations officer di Mi Familia en Acción. "Quando scopriamo che può essere difficile ottenere queste informazioni, è frustrante".

Potrebbe interessarti anche

Approfondimenti

Il futuro dei call center è altamente automatizzato

L'intelligenza artificiale riduce la necessità di intervento umano nei call center grazie alle sue capacità di automazione e personalizzazione.

Approfondimenti

Soluzioni di IA integrate ed efficienti per l'OCX: la visione di Spitch

Alessandra Peterlin, Director of Sales and Consultancy di Spitch Italia, condivide il suo punto di vista sull'uso dell'IA nell'OCX.

Approfondimenti

Come il mondo della ristorazione può usare l'IA per migliorare la propria offerta

Anche il mondo della ristorazione può trarre benefici dall'intelligenza artificiale e aumentare la soddisfazione dei clienti.

Approfondimenti

La tecnologia rende i pazienti dei "consumatori attivi" della sanità

La diffusione degli autotest e della GenAI permette ai pazienti di diventare "consumatori attivi" della sanità e ad accedere alle cure in modo più agevole.