Bloomberg ha pubblicato un documento di ricerca che descrive lo sviluppo di BloombergGPT, un modello di intelligenza artificiale generativa addestrato su dati finanziari per migliorare le attività di elaborazione del linguaggio naturale (NLP) nel settore finanziario.
BloombergGPT è un modello linguistico di grandi dimensioni (LLM) specificamente addestrato su una vasta gamma di dati finanziari. Questo modello aiuterà Bloomberg a migliorare le attività di natural language processing finanziario come l'analisi del sentiment, il riconoscimento delle entità nominate, la classificazione delle notizie e la risposta alle domande.
Gestire la complessità del mondo finanziario
Nelle intenzioni degli sviluppatori, BloombergGPT vuole sbloccare nuove opportunità per gestire grandi quantità di dati sui terminali Bloomberg e aiutare i clienti dell'azienda, portando al contempo il pieno potenziale dell'IA nel dominio finanziario.
La complessità e la terminologia unica del dominio finanziario giustificano un modello specifico come BloombergGPT, che rappresenta il primo passo nello sviluppo e nell'applicazione di questa nuova tecnologia nel settore finanziario.
BloombergGPT combina dati finanziari con set di dati generici per raggiungere i migliori risultati sui benchmark relativi al settore finanziario, mantenendosi competitivo anche nei benchmark LLM generici.
Per addestrare il modello, il team di ricerca di Bloomberg ha utilizzato un set di dati completo di 363 miliardi di token costituito da documenti finanziari in lingua inglese e lo ha integrato con un set di dati pubblico di 345 miliardi di token, creando un corpus di addestramento di oltre 700 miliardi di token.
Il modello è stato convalidato su benchmark NLP specifici per la finanza esistenti, una suite di benchmark interni di Bloomberg e ampie categorie di attività NLP generiche. BloombergGPT ha dimostrato di superare i modelli aperti esistenti di dimensioni simili sulle attività finanziarie con ampi margini, mantenendo allo stesso tempo prestazioni pari o migliori anche sui benchmark NLP generali.
Un archivio inestimabile
Il team ML Product and Research ha collaborato con il team AI Engineering dell'azienda per costruire uno dei più grandi set di dati specifici, attingendo alle risorse esistenti per la creazione, la raccolta e la cura dei dati dell'azienda, che coprono quarant'anni di documenti finanziari.
Shawn Edwards, CTO di Bloomberg, ha commentato: “Vediamo un enorme valore nell'aver sviluppato il primo LLM focalizzato sul dominio finanziario. BloombergGPT ci consentirà di implementare nuovi tipi di applicazioni, mentre offre prestazioni molto più elevate rispetto ai modelli personalizzati, con un time-to-market più rapido”.
Gideon Mann, responsabile del team ML Product and Research di Bloomberg, ha spiegato: “La qualità dei modelli di machine learning e NLP dipende dai dati che si inseriscono. Grazie all’archivio di documenti finanziari che Bloomberg ha curato per oltre quattro decenni, siamo stati in grado di creare un set di dati ampio e pulito, specifico del dominio, per addestrare un LLM più adatto per i casi d'uso finanziari”.
