News OpenAI Foundry permetterà di eseguire modelli custom nel cloud

Dario Orlandi

Tempo di lettura: 1' 47''

Pubblicato il: 23/02/2023

OpenAI sta pianificando il lancio di una nuova piattaforma di sviluppo che consente ai clienti di eseguire i nuovi modelli di machine learning dell'azienda, come GPT-3.5, su risorse di calcolo dedicate.

La documentazione è stata pubblicata su Twitter da alcuni utenti che hanno avuto accesso anticipato al progetto; L’offerta è chiamata Foundry ed è descritta come “progettata per clienti all'avanguardia che eseguono carichi di lavoro più grandi”.

Se le anticipazioni saranno confermate, Foundry fornirà risorse di calcolo ad “allocazione statica”, probabilmente appoggiandosi all’infrastruttura cloud di Azure. Gli utenti potranno monitorare le istanze specifiche con gli stessi strumenti e dashboard utilizzati da OpenAI per creare e ottimizzare i modelli.

Foundry offrirà anche un certo livello di controllo della versione, consentendo ai clienti di decidere se eseguire o meno l'aggiornamento alle release più recenti, e impegni a erogare un livello di servizio elevato, con uptime e supporto ingegneristico on-calendar.

Il noleggio sarà basato su unità di calcolo dedicate con impegni di tre mesi o un anno, e l'esecuzione di una singola istanza del modello richiederà un numero specifico di unità di calcolo.

Prezzi enterprise

Secondo le indiscrezioni Foundry non sarà un servizio economico: ad esempio, l'esecuzione di una versione leggera di GPT-3.5 costerà 78.000 dollari Usa per un impegno di tre mesi o 264.000 per un anno.

Pexels

Alcuni utenti di Twitter e Reddit hanno notato che uno dei modelli di generazione del testo elencati nella tabella dei prezzi dell'istanza potrebbe essere il tanto atteso GPT-4: mostra infatti una context window massima di 32k, molto più grande rispetto ai 4k della versione attuale.

Tuttavia, il prezzo elevato (oltre 1,5 milioni di dollari per un anno) potrebbe essere un ostacolo per molti utenti, specialmente se confrontato con i costi dell’hardware dedicato on premise.

Oltre a questa nuova offerta di altissimo profilo, OpenAI continua a rendere disponibile la sua tecnologia attraverso Azure OpenAI Service di Microsoft, una piattaforma focalizzata sul business; inoltre gestisce anche Copilot, un servizio premium di generazione di codice sviluppato in collaborazione con GitHub.