I ricercatori della Carnegie Mellon University hanno sviluppato FRIDA, un framework di robotica basato su IA che collabora con gli umani per dipingere.
Il modello utilizza un braccio robotico al quale è stato attaccato un pennello che, grazie all'intelligenza artificiale, è in grado di dipingere ciò che gli viene richiesto.
FRIDA, che sta per Framework and Robotics Initiative for Developing Arts, può trasformare descrizioni testuali o fotografie in dipinti, ed è in grado di replicare diversi stili di pittura.
Il team, composto da Peter Schaldenbrand, Jean Oh e Jim McCann, sta sperimentando altri tipi di input, come l'audio: data una canzone, l'obiettivo è farla dipingere a FRIDA, "immaginandola" come un quadro.
"FRIDA è un progetto che esplora l'intersezione tra la creatività umana e quella robotica" ha spiegato McCann. L'obiettivo del team è incrementare le capacità umane, aprire nuove strade alla creatività e automatizzare task monotoni come dipingere gli sfondi di una scena.
Il processo "artistico" di FRIDA
Prima di passare alla pittura, il framework produce un'immagine digitale esattamente come accade in strumenti come DALL-E 2. Dato un input, che può essere un testo o un'immagine, lo riproduce digitalmente basandosi su un data set di testi e immagini presi dal web.
FRIDA poi si spinge oltre e cerca di trasformare l'immagine che ha generato in un dipinto. Si tratta della fase più complessa del processo, durante la quale il sistema cerca di ridurre il gap tra la simulazione digitale e la rappresentazione fisica.
FRIDA utilizza una telecamera posta sopra il braccio per elaborare lo stato del dipinto e valutare il progresso, e usa queste informazioni per migliorare continuamente il risultato adattando le pennellate. Il framework impara e si adatta continuamente sulla base della propria percezione visuale dello stato del dipinto.
I limiti del framework
Come spiega il team nel paper di FRIDA, il framework soffre ancora di alcuni limiti che rendono i dipinti piuttosto imprecisi. Ciò è dovuto in particolare alle semplificazioni che i ricercatori hanno apportato al sistema: non c'è un'ampia scelta di colori e le pennellate sono state considerate indipendenti l'una dall'altra.
Il robot, inoltre, non è ancora in grado di considerare se il dipinto è asciutto o ancora bagnato o quanto colore c'è sul pennello, e il braccio robotico è sempre perpendicolare al foglio. Tutte queste semplificazioni limitano le potenzialità del sistema.
Il team presenterà ufficialmente il progetto il prossimo maggio durante l'International Conference on Robotics and Automation. Alcuni hanno già espresso le loro perplessità sul progetto, le stesse che condividono gli altri strumenti di IA generativa del momento.
Come i ricercatori hanno più volte ribadito, FRIDA non è inteso come sostituto del lavoro di un'artista, ma come uno strumento collaborativo per facilitare i suoi compiti. Inoltre, per superare il problema della rappresentazione di diverse culture, il team ha addestrato il modello utilizzando immagini e testi provenienti da tutto il mondo, collaborando con ricercatori di diverse parti del globo.
