La crescita dei dati temporanei elaborati dai server di intelligenza artificiale sta creando un nuovo collo di bottiglia per le GPU AI di NVIDIA. La memoria disponibile sugli acceleratori, finora sufficiente a gestire grandi quantità di Key-Value cache, fatica a sostenere l’aumento del contesto richiesto dai carichi più avanzati. La risposta passa dal Context Memory Storage, un’infrastruttura che trasferisce parte di questi dati verso sistemi di archiviazione esterni ad altissima capacità.
Al centro di questa evoluzione c’è Samsung, già impegnata a fornire a NVIDIA grandi volumi di V9 NAND. La generazione successiva, denominata V10 NAND, è indicata in fase di produzione di massa e dovrebbe permettere di costruire unità con più livelli di memoria. NVIDIA potrebbe così integrare SSD più capienti nello stesso modulo CMX, alleggerendo la pressione esercitata dalla cache contestuale sulle GPU.
La scala dell’infrastruttura fotografa la dimensione del problema. Ogni sistema Context Memory Storage destinato ai server AI può ospitare fino a 576 SSD, per una capacità complessiva che raggiunge 9.600 TB. Una riserva di memoria pensata per assorbire volumi di dati temporanei che gli acceleratori non riescono più a conservare direttamente senza sacrificare efficienza e disponibilità di risorse.
La soluzione tecnica rischia però di trasferire il collo di bottiglia dalle GPU alla catena di fornitura dello storage. La capacità produttiva V-NAND destinata a NVIDIA viene quantificata in 100.000 unità, mentre il 60% della capacità Samsung sarebbe assegnato alla linea V9. Con una quota così ampia concentrata sui sistemi AI, altre aziende e il mercato consumer potrebbero trovare meno componenti disponibili e affrontare prezzi più elevati per SSD e prodotti di archiviazione.
Le tensioni arrivano dopo che il boom dell’intelligenza artificiale ha già alimentato una carenza di DRAM, accompagnata da un forte aumento dei prezzi e da ripercussioni sul più ampio mercato dello storage. Il progressivo trasferimento della cache temporanea verso i moduli CMX aggiunge ora una seconda fonte di pressione: più cresce il contesto gestito dai modelli, maggiore diventa la quantità di NAND richiesta per mantenere operative le infrastrutture.
Le proiezioni indicano che i chip di archiviazione destinati al CMX potrebbero passare da 35 milioni di terabyte a oltre 100 milioni di terabyte nel 2026. Nello stesso scenario, le spedizioni NAND di Samsung potrebbero raggiungere 250 milioni di terabyte, consolidando il gruppo coreano come possibile principale fornitore di NVIDIA. Le stime citate attribuiscono inoltre a Samsung, nel 2026, un profitto superiore agli utili cumulati generati nei precedenti quarant’anni.
La corsa alle commesse AI sta orientando anche gli investimenti tecnologici dei produttori. Un possibile effetto dell’alleanza tra NVIDIA e Samsung è l’accelerazione della V11 NAND, progettata per arrivare a un massimo di 500 livelli. Sarebbero 100 in più rispetto alla V10, che a sua volta offre una densità di archiviazione superiore del 50% rispetto ai 286 livelli della generazione V9.
Una maggiore densità potrebbe sostenere la produzione di SSD consumer più capienti e meno costosi, ma il risultato dipenderà dalle scelte di allocazione industriale di Samsung. Se la capacità continuerà a essere assorbita prioritariamente dalle infrastrutture CMX, i benefici tecnologici arriveranno con maggiore lentezza al resto del mercato. Il boom dell’AI, nato attorno alla disponibilità di potenza di calcolo, sta così trasformando anche la memoria NAND in una risorsa strategica e potenzialmente scarsa.