NVIDIA accelera la costruzione delle proprie infrastrutture per l’intelligenza artificiale con il nuovo compute tray Vera Rubin NVL72. Grazie all’assemblaggio automatizzato, il componente può essere completato in un minuto, contro i 90 minuti normalmente necessari per un tray GB200. Il miglioramento dichiarato è quindi di 90 volte e riduce sensibilmente l’intervento umano richiesto nell’installazione dell’hardware destinato ai data center.
La dimostrazione è avvenuta in uno dei quattro laboratori operativi dell’azienda, una sorta di mini data center situato a Sunnyvale. Ian Buck, responsabile del business hyperscale e high performance computing, ha insistito sulla dimensione materiale dell’AI: dietro modelli e servizi digitali esiste un’infrastruttura fisica, fatta di sistemi che consumano energia, richiedono raffreddamento e devono essere assemblati e gestiti. La piattaforma Vera Rubin, annunciata al Computex 2024 e dettagliata al CES di gennaio, porta avanti la visione delle AI Factory, strutture dedicate all’esecuzione dei carichi di intelligenza artificiale.
L’architettura riunisce sei chip: la CPU Vera, la GPU Rubin, lo switch NVLink 6, l’interfaccia di rete ConnectX-9, la DPU BlueField-4 e lo switch Ethernet Spectrum-6. Questi componenti alimentano diversi sistemi installabili nei rack, fra compute tray, switch tray, acceleratori per l’inferenza, unità di storage e apparati di rete. L’obiettivo è offrire capacità di calcolo unificate lungo l’intero data center, evitando che elaborazione, memoria, rete e archiviazione diventino colli di bottiglia reciproci.
Nei primi risultati ottenuti da CoreWeave con DeepSeek-R1, NVIDIA attribuisce a Vera Rubin una capacità di produrre 10 volte più token per watt rispetto a GB200 NVL72. Il parametro traduce la potenza di calcolo in una metrica direttamente collegata all’attività economica dei fornitori di AI: a parità di energia disponibile, un’infrastruttura capace di generare più token può servire più richieste e sostenere maggiori ricavi dalle operazioni di inferenza.
Il progetto è rivolto in particolare ai carichi agentici, nei quali gli agenti AI eseguono sequenze di ragionamento e interagiscono ripetutamente con modelli e strumenti. NVIDIA indica come requisiti centrali l’inferenza sostenuta, la bassa latenza attraverso più passaggi, un’elevata velocità di decodifica, la gestione efficiente dei contesti lunghi e una capienza adeguata della cache key-value. Serve inoltre la possibilità di distribuire i modelli su domini di GPU collegati, mantenendo coordinate le diverse risorse del data center.
In questa impostazione anche la CPU assume un ruolo più ampio rispetto al semplice supporto delle GPU, occupandosi di elaborazione dei dati, rete, pianificazione e storage. Con il Vera CPU Olympus Core, NVIDIA dichiara un’accelerazione doppia degli agenti, una larghezza di banda tra core triplicata e una latenza inferiore del 40 per cento grazie alla memoria LPDDR5X. La scelta progettuale punta ad aumentare la velocità dei singoli core, invece di limitarsi ad accrescerne il numero.
Buck ha definito il performance per watt la metrica decisiva per strutture inevitabilmente vincolate dalla potenza disponibile. Resta però l’incognita economica: maggiore efficienza e concorrenza possono spingere verso il basso il prezzo dei token, mentre la redditività dipende da una crescita della domanda sufficiente a recuperare gli investimenti nei data center. NVIDIA sostiene intanto di usare agenti AI in quasi tutti i processi di sviluppo software e anche nella progettazione dei chip, compreso il monitoraggio del database dei bug. Vera Rubin trasferisce questa stessa logica nell’infrastruttura: automazione dell’assemblaggio, calcolo integrato e più token prodotti entro un budget energetico fisso.