Incontra l’Omnivoro il designer industriale fonde arte e OpenUSD per creare risorse 3D per l’addestramento dell’IA

Omnivore meets Industrial Designer merging art and OpenUSD to create 3D resources for AI training

Nota dell’editore: Questo post fa parte della nostra serie Meet the Omnivore, che presenta creatori e sviluppatori individuali che utilizzano NVIDIA Omniverse e OpenUSD per accelerare i loro flussi di lavoro 3D e creare mondi virtuali.

Come studentessa presso la Queensland University of Technology (QUT) in Australia, Emily Boehmer era divisa tra perseguire le arti creative o la scienza.

E poi ha scoperto il design industriale, che le ha permesso di approfondire la ricerca e la codifica mentre esplorava flussi di lavoro di visualizzazione come schizzi, animazioni e modellazione 3D.

• Lo studio decodifica l’approccio sorprendente che i topi adottano nell’apprendimento
• Cosa accadrà se i test di compatibilità tra browser non vengono condotti correttamente
• Tre modi in cui l’IA sta ridisegnando il DevSecOps

Ora, Boehmer mette in pratica le sue competenze come stagista di design presso il Technology Office del BMW Group a Monaco. Il team utilizza NVIDIA Omniverse, una piattaforma per lo sviluppo e la connessione di strumenti e applicazioni 3D, e Universal Scene Description – alias OpenUSD – per migliorare le proprie pipeline di generazione di dati sintetici.

Boehmer crea asset 3D realistici che possono essere utilizzati con SORDI.ai, acronimo di Synthetic Object Recognition Dataset for Industries. Pubblicato da BMW Group, Microsoft e NVIDIA, SORDI.ai aiuta gli sviluppatori e i ricercatori a semplificare e accelerare la formazione dell’IA per la produzione. Per automatizzare la generazione di immagini, il team ha sviluppato un’estensione basata su Omniverse Replicator, un kit di sviluppo software per la creazione di strumenti personalizzati di generazione di dati sintetici.

Come parte del team SORDI.ai, Boehmer utilizza Blender e Adobe Substance Painter per progettare asset 3D con elevati livelli di precisione fisica e fotorealismo, contribuendo a garantire che i dati sintetici possano essere utilizzati per addestrare in modo efficiente modelli di intelligenza artificiale.

Tutti gli asset creati da Boehmer vengono utilizzati per testare e simulare robot autonomi sulla piattaforma NVIDIA Isaac Sim, che fornisce agli sviluppatori una serie di funzionalità di generazione di dati sintetici che possono alimentare ambienti virtuali fotorealistici e fisicamente accurati.

Creazione di asset 3D realistici per l’addestramento dell’IA

Come stagista di design, i compiti principali di Boehmer sono l’animazione e la modellazione 3D. Il processo inizia scattando foto degli oggetti target. Successivamente, utilizza le foto 2D come riferimento allineandole ai modelli 3D in Blender.

Gli oggetti 3D possono essere composti da migliaia di poligoni, quindi Boehmer crea due versioni dell’asset: una con un numero ridotto di poligoni e un’altra con un numero maggiore di poligoni. I dettagli della versione ad alto poligono possono essere trasferiti sul modello a basso poligono, contribuendo a mantenere più dettagli in modo che l’asset sembri realistico.

Una volta creati gli asset 3D, Boehmer utilizza i modelli per iniziare ad assemblare le scene. Il suo aspetto preferito della piattaforma Omniverse è la flessibilità di USD, perché le consente di apportare facilmente modifiche ai modelli 3D.

I flussi di lavoro di USD hanno permesso ai team di design di BMW Group di creare molte scene diverse utilizzando gli stessi componenti, in quanto possono accedere facilmente a tutti i file USD archiviati su Omniverse Nucleus. Quando crea porzioni di una scena, Boehmer attinge a decine di modelli USD da SORDI.ai e li aggiunge alle scene che verranno utilizzate da altri designer per assemblare scene di fabbrica più ampie.

Boehmer deve solo aggiornare il file USD dell’asset originale per applicare automaticamente le modifiche a tutti i file di riferimento che lo contengono.

“È fantastico vedere il supporto USD sia per Blender che per Substance Painter”, ha detto. “Quando creo asset 3D utilizzando USD, posso essere sicura che avranno l’aspetto e il comportamento previsti nelle scene in cui verranno posizionati.”

Creazione di scene di fabbrica con dati sintetici

La piattaforma Isaac Sim è una parte fondamentale del flusso di lavoro del team SORDI.ai. Viene utilizzata per sviluppare pipeline che utilizzano l’IA generativa e algoritmi procedurali per la generazione di scene 3D. Il team ha anche sviluppato un’estensione basata su Omniverse Replicator che automatizza la randomizzazione all’interno di una scena durante la generazione di immagini sintetiche.

“Il ruolo degli stagisti di design come me è quello di modellare e dare texture in modo realistico agli asset utilizzati per le scene create in Isaac Sim”, ha detto Boehmer. “Più realistici sono gli asset, più reali possono essere le immagini sintetiche e più efficaci sono per addestrare modelli di intelligenza artificiale per scenari reali.”

L’annotazione dei dati – il processo di etichettatura dei dati come immagini, testo, audio o video con tag pertinenti – facilita la comprensione dei dati da parte dell’IA, ma il processo manuale può richiedere molto tempo, soprattutto per grandi quantità di contenuti. SORDI.ai affronta queste sfide utilizzando dati sintetici per addestrare l’IA.

Quando si importano risorse in Omniverse e si creano versioni USD dei file, Boehmer le etichetta con l’etichetta dati appropriata. Una volta che queste risorse sono state messe insieme in una scena, può utilizzare Omniverse Replicator per generare immagini che vengono automaticamente annotate utilizzando le etichette originali.

E utilizzando SORDI.ai, i designer possono configurare scene e generare migliaia di immagini annotate con un solo clic.

Boehmer sarà ospite di una trasmissione in diretta su Omniverse mercoledì 20 settembre, dove mostrerà come utilizza Blender e Substance Painter in Omniverse per le pipeline di generazione di immagini sintetiche.

Unisciti alla Creazione

Chiunque può creare la propria estensione o connettore Omniverse per migliorare i propri flussi di lavoro e strumenti 3D. Creatori e sviluppatori possono scaricare Omniverse gratuitamente, e i team aziendali possono utilizzare la piattaforma per i loro progetti 3D.

Scopri le opere d’arte degli altri “Omnivori” e invia progetti nella galleria. Vedi come i creatori stanno utilizzando OpenUSD per accelerare una varietà di flussi di lavoro 3D nell’ultima versione di OpenUSD All Stars. E collega i flussi di lavoro a Omniverse con software di Adobe, Autodesk, Blender, Epic Games, Reallusion e altro ancora.

Inizia con NVIDIA Omniverse scaricando la licenza standard gratuitamente, o scopri come Omniverse Enterprise può connettere il tuo team. Gli sviluppatori possono iniziare con le risorse di Omniverse e conoscere OpenUSD. Esplora l’ecosistema in crescita di strumenti 3D collegati a Omniverse.

Resta aggiornato sulla piattaforma iscrivendoti alla newsletter e seguendo NVIDIA Omniverse su Instagram, Medium e Twitter. Per ulteriori informazioni, unisciti alla community di Omniverse e visita i forum di Omniverse, il server Discord, Twitch e i canali YouTube di Omniverse.