In un magazzino di San Leandro, in California, una partita a Jenga sta diventando un esperimento sulla prossima frontiera della robotica. Andrew Ceja, definito da Encord un “pilota” perché addestra sistemi robotici, sfila i blocchi di legno indossando un visore dotato di telecamera. Il dispositivo registra ciò che osserva, ma integra anche sensori capaci di misurare le onde cerebrali. L’obiettivo è verificare se attenzione, intenzione, sorpresa ed errore possano trasformarsi in informazioni utili per insegnare alle macchine a interagire con il mondo fisico.
Il visore è stato sviluppato dalla startup neuroscientifica tedesca Zander Labs. La collaborazione è ancora una sperimentazione: Encord vuole costruire un primo insieme di dati associati all’attività cerebrale, utilizzarlo nei modelli robotici dei clienti e misurarne gli eventuali miglioramenti prima di decidere se ampliare il progetto. Secondo il neuroscienziato Lucas Gehrke, l’intensità dell’attività mentale richiesta nei diversi passaggi di un compito può indicare agli sviluppatori quando attivare i modelli più potenti e dispendiosi.
La prova affronta quello che Vineeth Velmurugan, responsabile del robot learning di Encord ed ex componente del laboratorio robotico di OpenAI, definisce il limite più avanzato della ricerca sui dati per la robotica. La società era nata per aiutare chi sviluppa applicazioni di visione artificiale ad annotare i dati e valutare i modelli. Con la diffusione dell’apprendimento end-to-end nella manipolazione robotica, però, è emerso un problema più radicale: i dati necessari non devono soltanto essere gestiti, ma prodotti. “I dati semplicemente non esistono”, ha sintetizzato Velmurugan.
L’idea che l’AI generativa possa imprimere ai robot la stessa accelerazione osservata nei chatbot si scontra con la scarsità di esperienze fisiche registrate con sufficiente precisione. I video possono contribuire all’addestramento, ma non offrono la fedeltà dei dati raccolti nel mondo reale; produrli direttamente, come avviene nella guida autonoma, è difficile da scalare. Velmurugan stima che per ottenere una svolta servirebbe un insieme pari a circa cinque volte il corpus video di YouTube. Una dimensione che trasforma la generazione dei dati da attività di ricerca a vero modello di business.
Le aziende che sviluppano i “cervelli” dei robot ricorrono soprattutto a due fonti: i video egocentrici registrati da lavoratori con telecamere indossabili e le dimostrazioni ottenute tramite robot controllati a distanza. Encord utilizza entrambe, raccogliendo materiale in fabbriche di diversi Paesi e sperimentando nel magazzino californiano nuove modalità. Tra queste figurano le onde cerebrali e i segnali elettrici rilevati dai muscoli attraverso sensori sull’avambraccio, dai quali la società punta a ricostruire in tre dimensioni la posizione della mano.
Nella struttura vengono impiegati anche sistemi leader-follower: coppie di bracci robotici nelle quali il primo è guidato da una persona e il secondo ne replica i movimenti. I piloti raccolgono così esempi su attività come versare il caffè, impilare fiches o collegare cavi Ethernet dietro un server. Sono operazioni quotidiane, ma richiedono una destrezza ancora difficile da replicare: le pinze robotiche hanno meno libertà di movimento delle braccia umane e risultano molto meno precise delle dita.
Ogni registrazione viene arricchita con descrizioni fisiche dettagliate, come “la mano destra stringe il bullone”, per aiutare i modelli basati su LLM a interpretare l’azione. Velmurugan valuta questa annotazione densa fino a cento volte più utile dei dati egocentrici di bassa qualità nell’addestramento di compiti specifici, a fronte di un costo produttivo venti volte superiore. Qui emerge la differenza economica rispetto ai modelli linguistici: i dati fisici non possono essere semplicemente recuperati dal web, ma devono essere fabbricati attraverso persone, sensori, robot e ambienti controllati. Le onde cerebrali rappresentano quindi una delle ipotesi più avanzate per rendere ogni dimostrazione più informativa, ma la loro efficacia dovrà essere provata sui modelli prima di giustificarne l’adozione su scala più ampia.