La scorsa settimana, in occasione del SIGGRAPH, NVIDIA ha annunciato la nuova versione del superchip Grace Hopper (GH200), progettato per applicazioni di intelligenza artificiale e calcolo ad alte prestazioni su grande scala.
Il nuovo processore combina due coppie di GPU e CPU ed è equipaggiato con 282 GB di memoria HBM3e di ultima generazione. La nuova configurazione del superchip aumenta la memoria fino a 3,5 volte e triplica la larghezza di banda della precedente generazione, il GH100.
La memoria è il 50% più veloce della HBM3 e garantisce fino a 10TB/sec di larghezza di banda combinata. La nuova configurazione comprende un singolo server equipaggiato con 144 core Arm Neoverse e 8 petaflops per le performance di IA.
La GH200 è stata pensata per rispondere a carichi di intelligenza artificiale sempre più elevati e complessi. La nuova piattaforma sarà disponibile in diverse configurazioni (più di 100, spiega NVIDIA) proprio per soddisfare un maggior numero di requisiti e personalizzazioni.
Secondo Karl Freund di Forbes, il superchip di NVIDIA potrebbe avere un impatto significativo sul mondo dell'intelligenza artificiale e in particolare degli LLM.
GH200, spiega Freund, riduce il numero di GPU necessarie per l'inferenza dei modelli di circa il 60%; invece di acquistare due CPU x86 e 16 GPU da decine di migliaia di dollari, le industrie potrebbero affidarsi a soli 10 superchip GH200, risparmiando denaro, velocizzando il processo di inferenza e riducendo i consumi.
Il GH200 potrebbe così diventare la soluzione preferita dei consumatori non appena diventerà disponibile. Se il superchip farà ciò che promette, il mercato degli LLM potrebbe cambiare profondamente e superare le sfide attuali che rallentano l'innovazione; al contempo, NVIDIA riuscirebbe a chiudere quel gap competitivo da sempre aperto con AMD.
Il lancio ufficiale è previsto nel secondo trimestre del 2024. E il prezzo? Al momento la compagnia non ha ancora rivelato il costo della nuova generazione di superchip, ma considerando che la H100 viene venduta per 40.000 euro, il prezzo sarà di certo superiore.
