Negli ultimi mesi le capacità dei chatbot di IA sono incrementate notevolmente: i sistemi riescono a pianificare attività, ragionare e sfruttare il contesto per arricchire le conversazioni.
Nonostante i miglioramenti, ci sono alcuni settori in cui la comunicazione è centrale e i chatbot non sono ancora in grado di eguagliare i professionisti umani. Ciò è vero in particolare per il mondo della sanità, nel quale il dialogo tra medico e paziente è centrale per definire una diagnosi corretta e far sentire al sicuro il paziente.
I professionisti sanitari sono in grado di valutare i diversi casi e porre le domande giuste per in base alla storia clinica del singolo paziente per arrivare a una diagnosi che sia più precisa possibile; inoltre, la comunicazione richiede un grado di empatia che non è facile da replicare nei sistemi.
Con l'obiettivo di migliorare le capacità degli LLM per il settore sanitario, i ricercatori di Google hanno sviluppato AMIE (Articulate Medical Intelligence Explorer), un sistema di IA ottimizzato per le conversazioni e il reasoning diagnostico.
Il team, guidato dai ricercatori Alan Karthikesalingam e Vivek Natarajan, ha addestrato e valutato il sistema su diverse dimensioni che descrivono la qualità dei consulti reali, sia dal punto di vista del paziente che del medico.
AMIE, il sistema ottimizzato per le conversazioni diagnostiche
AMIE è stato addestrato su dataset reali contenenti le considerazioni dei medici sulle diagnosi, le documentazioni dei pazienti e conversazioni reali del mondo clinico.
I ricercatori spiegano che l'uso di dialoghi reali per il training limita le performance dei modelli, sia perché i dati reali non coprono tutti gli scenari e le condizioni mediche, sia i dialoghi reali tendono ad avere un linguaggio ambiguo per i sistemi (per esempio slang e sarcasmo), interruzioni, errori grammaticali e riferimenti impliciti.
Per risolvere questi problemi il team ha ideato un ambiente di apprendimento simulato con la tecnica del self-play, un approccio in cui gli agenti migliorano le proprie capacità "giocando" con se stessi in modo competitivo.
L'ambiente di addestramento conteneva anche dei meccanismi di feedback automatizzato per simulare dialoghi e scalare la conoscenza di AMIE su più condizioni mediche e contesti. I ricercatori hanno usato questo ambiente per effettuare il fine-tuning iterativo del sistema con un set di dialoghi in continua evoluzione, in aggiunta al dataset reale.
Il processo consisteva in due cicli di self-play: nel primo, quello più "interno", AMIE sfruttava il feedback critico per migliorare il proprio comportamento nelle conversazioni con un paziente simulato dall'IA; nel secondo, quello "esterno", il sistema si confrontava con dialoghi perfezionati per eseguire una serie di iterazioni di fine-tuning. Il sistema risultante a quel punto tornava a migliorarsi nel ciclo più interno, creando un circolo virtuoso di apprendimento continuo.
I ricercatori hanno anche utilizzato una strategia di chain-of-reasoning che ha permesso ad AMIE di migliorare progressivamente le proprio risposte in base alla conversazione in corso per arrivare a una risposta finale e informata.
Per i test i ricercatori hanno diviso i pazienti in due gruppi: uno interagiva con i medici di base, l'altro con AMIE, e nessuno dei pazienti sapeva in quale gruppo si trovasse.
La valutazione vera è propria è avvenuta tramite l'OSCE (Objective Structured Clinical Examination), un esame pratico usato comunemente per verificare le abilità cliniche e le competenze dei medici. I professionisti hanno avuto a che fare con più pazienti, ognuno dei quali simulava uno scenario clinico in cui si richiedeva la conduzione di un consulto.
Le performance del sistema
AMIE ha dimostrato capacità superiori ai medici di base durante le conversazioni coi pazienti. Per quanto riguarda le abilità diagnostiche, il sistema è riuscito a superare i medici in 28 dei 32 assi di valutazione dal punto di vista del medico e in 24 dei 26 assi di valutazione dal punto di vista del paziente.
Nel primo caso, il modello si è rivelato particolarmente performante per accuratezza diagnostica, definizione di un piano di cura e sulla raccomandazione di uno specifico professionista. Nel secondo caso, AMIE ha dimostrato performance più elevate dei medici soprattutto per livello di empatia, fiducia instillata nel paziente e onestà e trasparenza percepite.
I limiti di AMIE
Gli ideatori di AMIE specificano che il sistema soffre di importanti limitazioni e per questo dovrebbe essere utilizzato con cautela. In primo luogo, le tecniche di valutazione usate per misurare le performance del sistema sottostimano il valore reale delle conversazioni umane: i medici che hanno partecipato ai test hanno comunicato coi pazienti usando una chat, un modo non rappresentativo delle pratiche cliniche classiche.
Il sistema, inoltre, va visto solo come una sperimentazione, un primo passo di un percorso più lungo. AMIE è solo un prototipo e non un tool completo e robusto che può già essere usato dai pazienti.
Affinché AMIE o un sistema futuro diventino dei veri tool di supporto, occorre anche gestire questioni come l'accesso equo alla sanità, la privacy dei dati e l'imparzialità dei risultati.
I ricercatori sottolineano più volte che AMIE non è stato progettato per sostituire i medici e le valutazioni di persona, ma per fornire un supporto iniziale ai pazienti che si rivolgono agli LLM per ottenere un'indicazione sulla loro condizione, cercando di offrirgli la migliore diagnosi possibile.
"Sebbene l'IA si sia dimostrata molto promettente in applicazioni cliniche specifiche, l'impegno nei percorsi diagnostici dinamici e conversazionali della pratica clinica richiede molte capacità non ancora dimostrate dai sistemi di IA" spiega il team. "I medici non hanno solo conoscenze e competenze, ma anche una miriade di principi, tra cui sicurezza e qualità, comunicazione, collaborazione e lavoro di squadra, fiducia e professionalità".
Realizzare un sistema che dimostra di avere questi attributi è una sfida enorme e andrebbe approcciata responsabilmente, mettendo le persone al centro dell'innovazione per sviluppare sistemi capaci di migliorare la loro vita.
