Doveva essere una delle feature più interessanti dell'anno, almeno a detta di Google, ma qualcosa è andato storto: AI Overview, la funzionalità che arricchisce i risultati delle ricerche con l'intelligenza artificiale, è quasi scomparsa.
Secondo quanto riportato da Wired dal lancio della funzionalità lo scorso 14 maggio i risultati generati da IA sono apparsi in meno del 27% delle query di ricerca, e la percentuale è scesa precipitosamente all'11% in pochi giorni. Il motivo? La feature generava risultati pieni di errori e Google si è vista costretta a ridurre la frequenza con cui venivano mostrati.
Il "piccolo" problema di AI Overview
AI Overview (in italiano "Riepiloghi dell'AI") è una feature che, a fronte di una ricerca su Google, integra le informazioni da più link per offrire all'utente una risposta completa e compatta, senza che egli debba visitare diverse pagine e unire le informazioni reperite in autonomia.
"A volte si desidera una risposta rapida, ma non si ha il tempo di mettere insieme tutte le informazioni necessarie. La ricerca fa il lavoro per voi con le AI Overview" aveva annunciato la compagnia lo scorso 14 maggio, presentando la feature come rivoluzionaria per le ricerche.
L'obiettivo di Google era velocizzare le ricerche dell'utente per evitare di fargli perdere tempo cliccando diversi link, rendendo quindi AI Overview una fonte affidabile di conoscenza. La panoramica contiene i link ai siti web usati dall'IA per generare la risposta, in modo che l'utente possa eventualmente verificare le fonti per validare la risposta.
La feature era entrata a regime negli Stati Uniti, ma qualcosa è andato storto: tantissimi utenti hanno segnalato che AI Overview generava risposte assurde, senza alcuna base logica, come per esempio i consigli su "mangiare rocce" o "usare la colla" per cucinare la pizza.
A fronte degli evidenti limiti della funzionalità, Google ha ritenuto opportuno tornare sui suoi passi e ridurre il numero di query per le quali mostrare la panoramica, cercando nel frattempo di rendere la feature utilizzabile.
Google (non) ammette l'errore
Di recente Google ha pubblicato un post dove ha chiarito la sua posizione in merito al polverone che si è alzato intorno ad AI Overview, sottolineando che buona parte degli errori riscontrati è dipeso da fattori indipendenti dalla feature.
Google ha specificato che "i riepiloghi dell'IA in genere non presentano allucinazioni o sbagliano come potrebbero fare altri prodotti LLM", e che quindi gli errori dipendono da fattori quali "interpretazione errata delle query, interpretazione errata di una sfumatura del linguaggio sul web o mancanza di molte informazioni utili".
Secondo la compagnia il problema non sarebbe tanto della sua feature, quanto del tipo di ricerche effettuate o delle risposte ironiche raccolte sul web. Google ha accusato molti utenti di aver condiviso screenshot non autentici, indicando questi risultati come fake, ma ha anche ammesso che in alcuni casi sono emersi risultati imprecisi o non utili, pur sottolineando che questi derivavano da "query che le persone non eseguono comunemente".
La compagnia ha comunque riconosciuto alcuni limiti di AI Overview e le aree da migliorare, come per esempio la capacità di interpretare query insensate e contenuti satirici. La domanda "Quanti sassi dovrei mangiare?" è diventata virale sul web dopo la risposta della feature, ma prima nessuno la poneva al motore di ricerca.
Google ha spiegato che in questo caso non esistono neanche contenuti web che prendono in considerazione questa domanda (il problema del "vuoto di dati"), a parte per un contenuto ironico sull'argomento che è stato ripubblicato sul sito web di un fornitore di software nel settore della geologia. AI Overview ha utilizzato quest'unica fonte di informazione per elaborare la panoramica, senza riconoscere l'intento ironico né della domanda, né della risposta.
"In altri casi, abbiamo visto riepiloghi dell'IA che presentavano contenuti ironici o contenuti troll provenienti da forum di discussione. I forum sono spesso un'ottima fonte di informazioni autentiche e di prima mano, ma in alcuni casi possono portare a consigli tutt'altro che utili, come usare la colla per far attaccare il formaggio sulla pizza" ha specificato Elizabeth Reid, VP of Engineering di Google.
La compagnia sta lavorando ad alcuni miglioramenti per rendere i risultati più affidabili prima di diffondere nuovamente la feature. Tra gli interventi effettuati finora, Google ha aggiunto meccanismi di rilevamento per le query insensate, limitando l'inserimento di contenuti ironici, e ha aggiornato i sistemi per limitare l'uso di contenuti creati dagli utenti che potrebbero offrire consigli pericolosi o ingannevoli.
Oltre a ciò, la compagnia ha aggiunto restrizioni di attivazione per le query in cui i riepiloghi non sono utili e ha introdotto misure di protezione per argomenti delicati come l'attualità e la salute.
"Considerando le dimensioni del web, con miliardi di query che arrivano ogni giorno, è inevitabile che si verifichino stranezze ed errori" ha continuato a giustificarsi l'azienda, specificando che comunque il numero di riepiloghi che violavano le policy sui contenuti era "limitato".
Al momento non è chiaro quando AI Overview tornerà a essere disponibile in modo diffuso nelle ricerche, né quando verrà estesa anche in Europa.
