Google sta ridisegnando l’architettura dei propri data center per sostenere la crescita degli agenti AI, sistemi destinati a operare più a lungo e con maggiore autonomia rispetto ai tradizionali chatbot. Al Google I/O, l’amministratore delegato Sundar Pichai ha indicato che l’infrastruttura del gruppo elabora circa 3,2 quadrilioni di token al mese, quasi sette volte i 480 trilioni registrati nel maggio 2025. Una crescita che sposta la sfida dalla sola potenza di calcolo al coordinamento continuo delle risorse.
Nell’era dei modelli linguistici, i data center erano ottimizzati soprattutto per ricevere una richiesta e restituire rapidamente una risposta, bilanciando latenza e capacità di elaborazione. Gli agenti cambiano questo schema: possono collaborare tra loro, utilizzare strumenti, prendere decisioni e restare attivi per periodi prolungati. Secondo Mark Lohmeyer, responsabile dell’infrastruttura AI e di calcolo di Google, i carichi agentici possono generare fino a 100 volte le transazioni di inferenza dei workload non agentici.
Il nuovo progetto coinvolge hardware, software e livelli di orchestrazione. L’obiettivo è rendere l’infrastruttura abbastanza elastica da distribuire gli agenti su larga scala, attivarli rapidamente e liberare le risorse quando il lavoro termina. In questa direzione, Google Kubernetes Engine è stato adattato come ambiente agent-native: gli agenti possono essere avviati in sandbox e container, mentre cluster di TPU o GPU vengono allocati e successivamente ridimensionati in base alla domanda.
Una parte centrale della trasformazione riguarda i nuovi chip. La TPU-8t, progettata per l’addestramento, offre una potenza di calcolo tripla rispetto alla precedente generazione Ironwood. La TPU-8i, dedicata all’inferenza, integra 384 megabyte di SRAM e 288 GB di memoria HBM3e, il 50% in più rispetto al chip precedente. La maggiore memoria consente di conservare direttamente sul processore una quota più ampia delle informazioni necessarie durante l’esecuzione degli agenti.
L’architettura è infatti ottimizzata per la KV cache, la memoria che conserva il contesto utile a ragionare e prendere decisioni. Riducendo i passaggi verso sistemi esterni di memoria e storage, Google punta ad accelerare le risposte e contenere i costi. A questa componente si affianca Axion N4A, una nuova CPU indicata come più efficiente dal punto di vista energetico nei carichi agentici legati all’orchestrazione e alla chiamata di strumenti.
Anche il trasferimento dei dati viene ripensato. TPUDirect sposta le informazioni dallo storage direttamente nella memoria delle TPU, evitando parte dell’overhead di orchestrazione. Sul fronte della rete, Virgo può coordinare un milione di TPU distribuite e collegare anche acceleratori esterni. Nel caso della piattaforma NVIDIA Vera Rubin, Google prevede di connettere fino a 960.000 GPU. Il framework Pathways completa lo stack, distribuendo l’addestramento su milioni di TPU e GPU e affrontando i colli di bottiglia associati a JAX.
Il controllo congiunto di data center, chip, software e modelli offre a Google la possibilità di ottimizzare periodicamente ogni livello, ha osservato Jack Gold di J. Gold Associates. Lo stesso analista esclude però una sostituzione su vasta scala di NVIDIA: le GPU, le CPU e le tecnologie di rete general purpose del gruppo restano adatte a esigenze differenti, mentre anche AWS e Microsoft stanno sviluppando processori propri. L’espansione del mercato lascia quindi spazio a più architetture e fornitori.
Per le imprese, la superiorità tecnica di una singola piattaforma non elimina i rischi di dipendenza e indisponibilità. Logan Wolfe di Kyndryl suggerisce un’impostazione multi-cloud, ibrida e flessibile. Con il passaggio dell’AI dalla sperimentazione ai processi aziendali, il costo per token dei diversi fornitori diventa una variabile operativa. La valutazione finale si sposta così dal numero di modelli o acceleratori al rapporto tra spesa sostenuta e risultato di business ottenuto.