Pix2pix3d è uno strumento di apprendimento automatico sviluppato dai ricercatori del Robotics Institute della Carnegie Mellon University, pensato per consentire a principianti e professionisti di creare modelli virtuali 3D di qualsiasi oggetto, dai mobili personalizzati agli asset da utilizzare nei videogiochi.
Attraverso l'utilizzo di strumenti di intelligenza artificiale generativa, simili a quelli presenti nelle applicazioni popolari di generazione e modifica di foto AI, Pix2pix3d permette a chiunque di creare una rappresentazione tridimensionale realistica a partire da un semplice schizzo bidimensionale.
A differenza di altri strumenti che possono creare solo immagini bidimensionali, Pix2pix3d è un modello generativo condizionale 3D-aware che consente all'utente di inserire uno schizzo bidimensionale o informazioni più dettagliate da mappe di label, come una segmentazione o una mappa dei bordi.
Pix2pix3d sintetizza quindi una rappresentazione volumetrica 3D di geometria, aspetto e label che può essere renderizzata da più punti di vista per creare un'immagine realistica e tridimensionale di qualità fotografica.
Jun-Yan Zhu, assistente professore presso la School of Computer Science e membro del team pix2pix3d, ha dichiarato: “Il obiettivo della ricerca è rendere la creazione di contenuti accessibile a più persone attraverso la potenza dell'apprendimento automatico e degli approcci basati sui dati”.
Categorie multiple
Pix2pix3d è stato addestrato su diverse categorie di oggetti, come auto, gatti e volti umani, e il team sta lavorando per ampliarne le capacità. Potrebbe essere utilizzato in futuro per personalizzare i mobili, progettare oggetti in ambienti di realtà virtuale o videogiochi, o aggiungere effetti ai film.
Una volta che l'immagine 3D è stata generata, l'utente può modificarla in tempo reale, cancellando e ridisegnando lo schizzo bidimensionale originale. Questa funzione offre all'utente una maggiore libertà di personalizzare e perfezionare l'immagine senza dover ripetere il rendering dell'intero progetto.
La funzione di modifica interattiva distingue Pix2pix3d dagli altri strumenti di modellazione, poiché gli utenti possono apportare modifiche in modo rapido ed efficiente.
Ciò potrebbe essere particolarmente utile nella produzione, dove gli utenti possono facilmente progettare, testare e rifinire un prodotto. Ad esempio, se il progettista modifica lo schizzo di un'auto, il modello 3D si aggiorna immediatamente.
Il team prevede di continuare a perfezionare e migliorare questa funzione in futuro. Pix2pix3d potrebbe quindi rappresentare uno strumento utile per i designer principianti e professionisti che cercano di creare rappresentazioni 3D di alta qualità in modo rapido ed efficiente.
Il modello può generare un output accurato di uno schizzo semplice o approssimativo. Quando viene alimentato con dati più precisi e dettagliati tramite segmentazione o mappe dei bordi, il modello può creare un'immagine 3D più precisa ed efficace.
