PrismML ha presentato Bonsai 2 27B, un modello di intelligenza artificiale che porta una versione compressa di Qwen3.8 27B in appena 5,9 GB. L’obiettivo della startup è far funzionare modelli capaci di ragionamento direttamente sui dispositivi degli utenti. Le dimensioni consentono di ospitarlo su un PC e, potenzialmente, su uno smartphone di fascia alta, spostando sul dispositivo attività per le quali l’accesso a un modello remoto è oggi una soluzione diffusa.
Il punto di partenza è Qwen3.8 27B, modello open source di Alibaba da 27 miliardi di parametri. Rispetto all’originale, Bonsai 2 riduce la memoria necessaria di un fattore compreso tra 9 e 10. Secondo l’azienda, conserva il 98% dei punteggi aggregati del modello di partenza nei benchmark. È su questo rapporto tra ingombro e prestazioni che PrismML costruisce la propria proposta: ridurre drasticamente le risorse richieste preservando quasi integralmente le capacità misurate nelle valutazioni.
La tecnologia interviene sui pesi, i valori attraverso i quali un modello rappresenta le informazioni apprese durante l’addestramento. Nella rappresentazione descritta dall’azienda, ogni peso richiede normalmente 16 bit. PrismML utilizza invece pesi ternari, limitati a tre valori possibili: +1, −1 oppure 0. La quantità di informazione da memorizzare per ciascun peso si riduce così in modo sostanziale. È questo passaggio a permettere di contenere lo spazio occupato dal modello, rendendone più praticabile l’esecuzione su dispositivi personali.
Il risultato migliora quello della prima versione di Bonsai, pubblicata a marzo, che raggiungeva il 95% dei punteggi dell’originale. Quella versione ha già superato 11 milioni di download, mentre i modelli ancora più piccoli della startup hanno totalizzato altri 2,6 milioni di download, secondo i dati aziendali. Il passaggio dal 95% al 98% documenta un progresso fra le due generazioni; l’amministratore delegato riconosce comunque che la compressione probabilmente continuerà ad avere qualche effetto sulle prestazioni.
A guidare PrismML è Babak Hassibi, professore del Caltech ed esperto di tecnologie di compressione. La società è stata fondata da un gruppo di ricercatori dello stesso istituto e conta fra i propri consulenti Ion Stoica, cofondatore di Databricks e direttore dello Sky Computing Lab di Berkeley. Il laboratorio ha dato origine a tecnologie e startup come Letta e SGLang: un retroterra di ricerca e sviluppo che accompagna il lavoro sui modelli Bonsai.
La startup ha raccolto un round seed da 22,25 milioni di dollari ed è sostenuta da Khosla Ventures, Cerberus Capital e Caltech. La compressione dei modelli è un campo nel quale opera anche Multiverse Computing, fondata da un professore del Donostia International Physics Center, in Spagna. Hassibi individua l’elemento distintivo di PrismML nella capacità di ridurre le dimensioni mantenendo prestazioni molto vicine a quelle dei modelli originali, il parametro attorno al quale l’azienda presenta i propri risultati.
Per Stoica, la prospettiva più interessante è l’esecuzione locale di modelli avanzati. Nella sua visione, l’intelligenza artificiale diventa disponibile sull’hardware che l’utente ha già acquistato, senza un ulteriore costo per accedere al modello attraverso il cloud. A questo si aggiunge la riservatezza: i dati possono essere elaborati sul dispositivo senza essere inviati a un servizio remoto. Per imprese e utenti, la proposta riguarda quindi sia le risorse necessarie per usare l’AI sia il luogo nel quale vengono trattate le informazioni.
Il prossimo obiettivo di PrismML è applicare la stessa tecnica a modelli da diverse centinaia di miliardi di parametri, che Hassibi spera di pubblicare nei prossimi mesi. Il dirigente ritiene che dimensioni maggiori offrano più spazio per comprimere i modelli conservandone le capacità. La direzione di sviluppo punta quindi ad avvicinare ulteriormente i punteggi degli originali proprio lavorando su sistemi più grandi, estendendo il metodo già impiegato nella famiglia Bonsai.