Critiche e rimedi alle AI Overview di Google

Sono arrivate come la proverbiale tempesta e ci hanno lasciato innanzitutto sorpresi, poi stupiti e da ultimo preoccupati.

Le AI Overviews, che nel progetto di Google sostituiranno la ricerca tradizionale fornendo addirittura risposte a domande che l’utente non ha ancora neanche posto, si sono dimostrate vulnerabili. E soprattutto per certi aspetti non proprio intelligenti.

La prima reazione da parte della società della grande G è stata quella di sottolineare come gli strani risultati che sono diventati virali sui social fossero il risultato di domande strane e che quindi in realtà la colpa del malfunzionamento delle AI Overviews fosse dovuto alla eccessiva creatività degli utenti.

Una creatività che gli approfonditi test fatti dai team interni di Google non sono riusciti ad intercettare. In un post sul blog ufficiale, Liz Reid, vicepresidente capo di Google Search, racconta quello che è successo e soprattutto quello che la società ha deciso di fare per migliorare l’esperienza degli utenti. Il tutto per ribadire comunque che questa nuova esperienza di ricerca con l’ausilio dell’intelligenza artificiale non andrà da nessuna parte. Avrà solo bisogno di tempo per migliorare.

La colla non ce l’aspettavamo, l’ammissione di Google

Tra le AI Overviews che forse ricorderemo di qui a molti anni c’è quella che riguardava una domanda all’apparenza innocua: come evitare che il formaggio cada giù dalla pizza. Tra le risposte generate dall’intelligenza artificiale una si ispirava a un commento burlone pubblicato su reddit. Il commento consigliava di mettere un po’ di colla, (ma di quella atossica eh!), in modo tale da rendere la salsa di pomodoro appiccicosa abbastanza da evitare che il formaggio cadesse giù.

Qualunque essere umano avrebbe capito immediatamente che si trattava di una battuta di spirito. E invece l’intelligenza artificiale di Google, progettata proprio per andare a cercare informazioni lì dove gli utenti parlano senza filtro, l’ha spacciata per buona. Così come avrebbe consigliato di inghiottire sassi, fumare in gravidanza e bere urina per migliorare la propria condizione di salute.

Alcune risposte sono poi risultate finte ma quelle vere sono più che sufficienti per dimostrare che c’è ancora parecchio lavoro da fare con le AI Overviews. E Reid riconosce che si sono avuti degli errori dovuti principalmente a tre fattori: interpretazione errata della domanda, interpretazione errata della sfaccettatura del linguaggio sul web o mancanza di informazioni disponibili. Una situazione che, ribadisce comunque sempre Reid, “si trova anche con altre caratteristiche di Search“.

Ma sempre nel testo del post si ribadisce che, a differenza degli altri chatbot, le AI Overviews non sono soggette ad allucinazioni. Eppure, anche se non ci sono le allucinazioni, gli errori rimangono e per quanto possano essere buffi qualcuno potrebbe crederci. Per questo motivo la società della grande G ha attuato alcuni correttivi e altri ne arriveranno a mano a mano che gli utenti sperimenteranno l’intelligenza artificiale e forniranno il loro feedback.

Come è cambiata l’esperienza con le AI Overviews

Nel post si parla di circa una decina di “miglioramenti tecnici.” Di questi però solo alcuni vengono poi snocciolati. Il primo è quello di “meccanismi migliori di riconoscimento delle domande senza senso che non dovrebbero mostrare una AI Overview e la limitazione dell’inclusione di contenuti satirici o umoristici”.

Il secondo punto su cui si è agito sono “sistemi per limitare l’uso di contenuto generato dagli utenti nelle risposte che potrebbero offrire consigli fuorvianti”. La terza voce è l’aggiunta di restrizioni nel generare le AI Overviews per le domande in cui i risultati generati in precedenza non si sono dimostrati utili. E da ultimo è stato migliorato il sistema che impedisce di generare le AI Overviewsrio per quei contenuti molto delicati.

Nel post si fa riferimento soprattutto a quello che riguarda la salute. Sotto l’elenco puntato con le novità si sottolinea anche che il team ha analizzato con attenzione il feedback ricevuto per quelle AI Overviews che hanno prodotto contenuti osceni, pericolosi o comunque in violazione delle policy riguardo i contenuti della piattaforma. Con la consolazione che comunque si è trattato di circa un caso ogni sette milioni di domande.

Ma nel frattempo qualcuno le ha zittite

Questa la volontà di Google. Secondo un report pubblicato da Bright Edge, si è però ho notato come già a partire da aprile, quando la funzione con l’intelligenza artificiale era ancora in beta, al lancio ufficiale, il numero di domande autorizzate a produrre una AI Overview è passato dall’84% al 15%.

Un segnale che probabilmente qualcosa che non funzionava a dovere era già saltato fuori. Eppure continua ad apparire, sono sempre dati di Bright Edge, nel 63% dei casi in cui viene fatta una richiesta con keyword che hanno a che fare con la salute mentre non sembra riescano ad attivare le AI Overviews domande che hanno a che fare con ristoranti e viaggi.

Per quello che riguarda il modo in cui porre una domanda per vedere o meno una AI Overview, è saltato poi fuori che se l’utente utilizza parole che costituiscono di per sé una domanda è più probabile che la risposta abbia un contenuto di intelligenza artificiale.

Anche la posizione è cambiata?

Le AI Overviews non sono ancora disponibili nel nostro Paese e quindi purtroppo quello che possiamo fare è affidarci a ciò che raccontano gli esperti che hanno modo di toccare con mano questa nuova funzione. Gli stessi esperti che per esempio hanno cominciato a esaminare il modo in cui le risposte che contengono una AI Overview sono strutturate.

Quello che era emerso all’inizio dell’esperienza su vasta scala era per esempio che il riassunto fatto dall’intelligenza artificiale di Google si piazzava all’inizio dello spazio di risposta, condannando gli eventuali link a contenuti inerenti la stessa risposta a una posizione più defilata. Ma un video pubblicato da Rob Leathern mostrerebbe invece un altro cambiamento degno di nota.

L’organizzazione dei contenuti nella risposta data da Google vede al primo posto una serie di contenuti sponsorizzati, quattro per l’esattezza, seguiti dallo spazio dedicato alla AI Overviews. Uno spazio in cui la risposta è organizzata con diverse righe di testo in un elenco puntato e una parte più bassa con quelli che dovrebbero essere i link ai contenuti da cui sono state estrapolate le informazioni richieste.

Superata questa parte della risposta si giunge ai risultati sotto forma di link. C’è da dire che il formato è quello di una ricerca mobile. Con una ricerca fatta da computer è probabile che la zona dei contenuti sponsorizzati risulti visivamente meno imponente ma è comunque interessante notare come Google abbia deciso di invertire gli spazi dando per prima cosa contenuti sponsorizzati e poi la propria intelligenza artificiale. Quello che non è cambiato è il fatto che i link sono relegati in una posizione più bassa e che quindi rischiano di non essere più rilevanti come in una ricerca tradizionale.