Gli AI agent porteranno davvero alla “congestione del Web” ?

Le novità che riguardano l’intelligenza artificiale coprono moltissimi ambiti. Ci siamo trovati più di qualche volta a parlare, per esempio, dei modi in cui anche i servizi accessori a WordPress si stanno attrezzando per fornire agli utenti un assistente costruito con un’intelligenza artificiale.

Tutti questi servizi vanno però in generale sotto il nome di AI agent. E la grande quantità di AI agent che stiamo producendo e che probabilmente produrremo avrà dei risvolti anche sulla quantità e sulla qualità del traffico che si muoverà in generale sulla rete.

A parlarne Gary Illyes di Google in uno degli ultimi episodi del podcast Off the Record. Cosa dobbiamo quindi sapere riguardo gli AI agent, il modo in cui si muovono sulla rete e quello che potrebbe essere un nuovo problema per i possessori e i gestori di siti web: l’eccessivo traffico.

Come gli AI agent popoleranno il web

Quando si parla di traffico, quello che i gestori di siti web temono sempre è un picco eccessivo di traffico in entrata che provoca il blocco e la congestione delle connessioni.

Anche le offerte di hosting più faraoniche impongono a un certo punto dei limiti al traffico che si può avere in ingresso.

Per questo motivo, per esempio, si costruisce il proprio file robots.txt in maniera tale che i bot dei vari motori di ricerca arrivino ma non diventino ossessivi e non diventino una presenza troppo ingombrante.

Un domani, ai bot tradizionali si unirà la schiera quasi infinita degli AI agent. E non solo quelli eventuali dei motori di ricerca.

Come spiegato infatti da Illyes parlando con Martin Splitt, il pericolo è che a forza di utilizzare servizi e strumenti che hanno un’intelligenza artificiale al proprio interno e che hanno bisogno di lavorare sulla rete, ci troveremo con una rete globalmente congestionata.

Gary Illyes non parla di pericolo imminente, essendo convinto che comunque la rete nel suo complesso può gestire anche questo aumento di traffico.

Il problema ce l’avranno semmai i possessori e i gestori dei siti web verso cui il traffico verrà rivolto. Un po’ come dire che se un luogo diventa improvvisamente molto famoso, il traffico si trova sia sull’autostrada che porta in questo luogo ma soprattutto il traffico poi si trova nelle stradine che compongono il paese diventato improvvisamente meta turistica globale. Non è tanto l’infrastruttura esterna a non poter reggere quanto quella interna.

E secondo Illyes, il problema non è tanto il momento del crawling, ovvero quando i bot analizzano quello che c’è online, anche se si tratta di AI agent.

Il vero problema c’è nel momento in cui occorre avere risorse per indicizzare quello che si è raccattato in rete e per gestire poi i dati nel momento in cui se ne ha bisogno.

Chiaramente la prospettiva di Gary Illyes riguarda sostanzialmente Google. Per esempio, l’esperto ricorda come la società cerchi da tempo di ridurre il proprio peso specifico ma che adesso con la moltiplicazione degli AI agent, nuovi prodotti, nuovi servizi che hanno bisogno di lavorare sulla rete e di scartabellare i siti altrui, questi sforzi di ridurre il proprio peso sembrano non avere validità.

Cosa si può fare quindi per evitare che il proprio sito web crolli miseramente a causa dei nuovi AI agent che hanno intenzione di esaminarlo nel dettaglio?

Prima di passare a vedere quello che puoi fare, c’è un’ultima nota che riguarda quello che Illyes pensa andrebbe fatto a monte. Un possibile modo per evitare una congestione del traffico potrebbe essere un common crawl: un bot esegue l’esame di un sito web e poi condivide con gli altri bot i dati che ha raccolto.

In questo modo si ridurrebbe potenzialmente il numero degli AI agent e dei bot che dovrebbero raggiungere lo stesso sito web per trovare le stesse identiche informazioni. Di certo la coordinazione potrebbe funzionare e in un certo senso Gary Illyes sembra possibilista che lentamente troveremo questo genere di soluzioni cooperative.

Come prevenire la congestione

Dato che si tratta di un fenomeno che si sta manifestando nelle sue prime espressioni proprio adesso, abbiamo tutto il tempo di costruire tattiche e strutture difensive contro l’assalto degli AI agent.

Un po’ come occorre sempre fare, è necessario per prima cosa mantenere la calma ed essere consapevoli che anche il miglior piano che si può mettere in atto adesso dovrà essere monitorato e che le strategie di oggi, tra un anno o tra sei mesi, potrebbero dover essere modificate.

Questo perché dieci anni fa non sapevamo che sarebbe arrivata l’intelligenza artificiale, cinque anni fa non sapevamo che avremmo avuto sugli smartphone degli assistenti virtuali in grado di accompagnarci in ogni aspetto della vita e tre anni fa di certo non sapevamo che avremmo passato tempo con questi assistenti e che essi stessi sarebbero diventati parte integrante anche della routine dei possessori e dei gestori di siti web.

Quello che va fatto è quindi innanzitutto controllare come è costruito il proprio file robots.txt. Se non lo hai ancora aggiornato, devi fare in modo di inserire tutti i possibili crawler legati all’intelligenza artificiale per bloccare tutti quelli che risultano superflui.

È chiaro poi che va controllata la struttura dell’hosting su cui si basa il tuo sito e devi assicurarti di conoscere quali sono i limiti in termini di capacità del server. Un buon punto di partenza è ovviamente un buon servizio. E oltre a controllare il lato server, è chiaro che devi controllare anche come si comporta il tuo database.

Da ultimo, è sempre necessario controllare quello che accade dietro le quinte.

Questo perché anche se sei sicuro che il tuo server è in grado di resistere bene a un bonario assalto da parte di una piccola truppa di AI agent e che il tuo database è abbastanza veloce da gestire anche questo traffico senza troppe difficoltà, potrebbe arrivare un momento in cui quello che ti raggiunge è superiore alle tue capacità. Monitorare ciò che succede diventa quindi importantissimo.