In occasione del DevDay, OpenAI ha annunciato nuove funzionalità e miglioramenti per i suoi prodotti. Dal nuovo GPT-4 Turbo ad Assistants API, passando per nuove integrazioni e riduzioni di prezzo, la compagnia si è rivolta agli sviluppatori con l'intenzione di facilitare l'uso dei modelli e renderli più accessibili.
GPT-4 Turbo
La novità principale presentata al DevDay è stata GPT-4 Turbo, la nuova versione dell'LLM aggiornata agli eventi di aprile 2023. La context window, ovvero il numero di token con cui può lavorare il modello in un unico prompt, è stata aumentata a 128.000 token (circa 300 pagine di testo), un incremento notevole rispetto ai 32.768 della versione precedente.
OpenAI ha annunciato di aver ottimizzato le performance di GPT-4 Turbo rendendolo tre volte più economico per token di input e due volte più economico per token di output se paragonato a GPT-4.
La compagnia ha specificato che GPT-4 Turbo offre performance migliori rispetto ai modelli precedenti soprattutto su task che richiedono di seguire istruzioni specifiche, per esempio per generare risultati in un formato specifico. La nuova versione di GPT è anche in grado di rispondere utilizzando il formato JSON.
Assistants API
OpenAI ha rilasciato anche API Assistants per aiutare gli sviluppatori a integrare assistenti di supporto nelle loro applicazioni.
API Assistants offre istruzioni specifiche e può richiamare modelli e strumenti per eseguire compiti. La nuova API consente di utilizzare Code Interpreter, Retrieval e Function calling per sollevare gli sviluppatori da gran parte delle attività, soprattutto quelle più intense.
Code Interpreter consente di generare ed eseguire codice in risposta a un prompt o a un set di dati, mentre Retrieval è in grado di raccogliere e analizzare dati al di fuori del modello, per esempio accedendo alle informazioni di dominio dei business e ai documenti condivisi dagli utenti. Infine, Function Calling permette al modello di chiamare le funzioni esterne e incorporarle nelle risposte generate.
L'API Assistants è disponibile in beta per tutti gli sviluppatori. Il prezzo è di 0.03 dollari per sessione per Code Interpreter e di 0.20 dollari per GB per Retrieval.
Copyright Shield e Whisper v3
Nel corso dell'evento la compagnia ha presentato Copyright Shield, un'offerta di protezione legale per i consumatori in caso di accuse per violazione di copyright. La funzionalità è disponibile solo per gli utenti di ChatGPT Enterprise e per gli sviluppatori.
OpenAI ha anche rilasciato Whisper large-v3, la nuova versione del modello open-source di Automatic Speech Recognition, migliorando diverse feature per tutte le lingue supportate.
La compagnia ha deciso inoltre di rendere open-source il Consistency Decoder per migliorare le immagini compatibili con il Variation AutoEncoder di StableDiffusion.
Le altre novità
Oltre a GPT-4 Turbo, OpenAI ha rilasciato una nuova versione di GPT-3.5 Turbo che supporta una context windows di 16.000 caratteri. Il nuovo 3.5 Turbo supporta l'output JSON, la chiamata parallela alle funzioni ed è più preciso nel seguire le istruzioni utente.
La compagnia ha anche lanciato il programma Custom Models che consente a organizzazioni selezionate di lavorare con un gruppo dedicato di ricercatori OpenAI per addestrare GPT-4 personalizzati per il loro dominio specifico.
Gli sviluppatori potranno inoltre integrare DALL-E direttamente nelle app usando l'API Images e generare testi di elevata qualità utilizzando la nuova API per il text-to-speech (TTS). Il nuovo modello TTS mette a disposizione sei voci predefinite e due varianti, una ottimizzata per i casi d'uso real-time e l'altra più incentrata sulla qualità.
Sui modelli GPT sarà anche disponibile in modalità beta il nuovo parametro seed che consente di generare output riproducibili. La funzionalità è particolarmente utile per scrivere unit test e per effettuare sessioni di debugging.
Riduzioni di prezzo e limiti di utilizzo più elevati
OpenAI ha annunciato anche diverse riduzioni di prezzo per le nuove versioni dell'LLM.
Il nuovo GPT-4 Turbo prevede un costo di 0.01 dollari per 1000 token di input e 0.03 per lo stesso numero in output, una diminuzione rispettivamente di 0.02 dollari e 0.03 dollari rispetto al precedente modello.
Riduzioni anche per GPT-3.5 Turbo, sia per i token di input che di output; questi ultimi sono due volte più economici rispetto a prima. I prezzi più bassi si applicano solo al nuovo GPT-3.5 Turbo. Anche in questo caso tutti i costi si intendono per 1000 token.
Infine, per aiutare gli sviluppatori a scalare le proprie applicazioni, la compagnia ha raddoppiato il limiti di token per minuto per tutti i clienti di GPT-4.
