Generazione di Asset 3D IA per lo sviluppo di giochi #3

'Generazione di Asset 3D IA per giochi #3'

Benvenuti a AI per lo sviluppo di giochi! In questa serie, useremo strumenti di intelligenza artificiale per creare un gioco di simulazione di agricoltura completamente funzionante in soli 5 giorni. Alla fine di questa serie, avrete imparato come incorporare una varietà di strumenti di intelligenza artificiale nel vostro flusso di lavoro di sviluppo di giochi. Vi mostrerò come utilizzare gli strumenti di intelligenza artificiale per:

1. Stile artistico
2. Design del gioco
3. Asset 3D
4. Asset 2D
5. Storia

Volete la versione video rapida? Potete guardarla qui . In caso contrario, se volete i dettagli tecnici, continuate a leggere!

Nota: Questo tutorial è destinato ai lettori che sono familiari con lo sviluppo di Unity e C#. Se siete nuovi a queste tecnologie, date un’occhiata alla serie Unity per principianti prima di continuare.

Giorno 3: Asset 3D

Nella parte 2 di questa serie di tutorial, abbiamo utilizzato AI per il design del gioco . Più specificamente, abbiamo utilizzato ChatGPT per generare idee per il design del nostro gioco.

• Optimum+ONNX Runtime – Allenamento più semplice e veloce per i tuoi modelli Hugging Face
• Cosa rende utile un agente di dialogo?
• Utilizzando LoRA per una messa a punto della diffusione stabile ed efficiente

In questa parte, parleremo di come è possibile utilizzare l’intelligenza artificiale per generare asset 3D. La risposta breve è: non è possibile. Questo perché la conversione da testo a 3D non è ancora arrivata al punto in cui può essere applicata in modo pratico allo sviluppo di giochi. Tuttavia, questo sta cambiando molto rapidamente. Continuate a leggere per scoprire lo stato attuale della conversione da testo a 3D, perché non è ancora utile e il futuro della conversione da testo a 3D.

Lo stato attuale della conversione da testo a 3D

Come discusso nella parte 1, gli strumenti di conversione da testo a immagine come Stable Diffusion sono estremamente utili nel flusso di lavoro dello sviluppo di giochi. Ma cosa succede con la conversione da testo a 3D, ovvero la generazione di modelli 3D a partire da descrizioni testuali? Ci sono state molte sviluppi molto recenti in questo campo:

• DreamFusion utilizza la diffusione 2D per generare asset 3D.
• CLIPMatrix e CLIP-Mesh-SMPLX generano mesh testurizzate direttamente.
• CLIP-Forge utilizza il linguaggio per generare modelli basati su voxel.
• CLIP-NeRF utilizza il testo e le immagini per guidare i NeRF.
• Point-E e Pulsar+CLIP utilizzano il linguaggio per generare nuvole di punti 3D.
• Dream Textures utilizza la conversione da testo a immagine per texturizzare automaticamente le scene in Blender.

Molte di queste approcci, escluse CLIPMatrix e CLIP-Mesh-SMPLX, si basano sulla sintesi delle visualizzazioni, ovvero la generazione di visualizzazioni nuove di un soggetto, rispetto al rendering 3D convenzionale. Questa è l’idea alla base dei NeRF o Neural Radiance Fields, che utilizzano reti neurali per la sintesi delle visualizzazioni.

Cosa significa tutto ciò se siete sviluppatori di giochi? Al momento, nulla. Questa tecnologia non ha ancora raggiunto il punto in cui è utile nello sviluppo di giochi. Parliamo del perché.

Perché non è ancora utile

Nota: Questa sezione è destinata ai lettori che sono familiari con le tecniche di rendering 3D convenzionali, come le mesh, la mappatura UV e la fotogrammetria.

Anche se la sintesi delle visualizzazioni è impressionante, il mondo del 3D si basa sulle mesh, che non sono la stessa cosa dei NeRF. Tuttavia, ci sono lavori in corso per convertire i NeRF in mesh. Nella pratica, questo è simile alla fotogrammetria, dove più foto di oggetti del mondo reale vengono combinate per creare asset 3D.

L’uso pratico degli asset generati utilizzando la pipeline da testo a NeRF a mesh è limitato in modo simile agli asset prodotti utilizzando la fotogrammetria. Vale a dire, la mesh risultante non è immediatamente pronta per il gioco e richiede un lavoro e una competenza significativi per diventare un asset pronto per il gioco. In questo senso, il NeRF-to-mesh può essere uno strumento utile così com’è, ma non raggiunge ancora il potenziale trasformativo del testo a 3D.

Dato che NeRF-to-mesh, come la fotogrammetria, attualmente è più adatto alla creazione di asset ad altissima fedeltà con significativa post-elaborazione manuale, non ha molto senso per creare un gioco di agricoltura in 5 giorni. In quel caso, ho deciso di utilizzare semplicemente cubi di colori diversi per rappresentare i raccolti nel gioco.

Le cose stanno cambiando rapidamente in questo settore, però, e potrebbe esserci una soluzione valida nel prossimo futuro. Successivamente, parlerò di alcune delle direzioni che il testo-in-3D potrebbe prendere.

Il futuro del testo-in-3D

Anche se il testo-in-3D ha fatto molti progressi di recente, c’è ancora una differenza significativa tra dove siamo adesso e ciò che potrebbe avere un impatto simile al testo-in-immagine. Posso solo speculare su come questa differenza sarà colmata. Ci sono due possibili direzioni che sono più evidenti:

1. Miglioramenti in NeRF-to-mesh e generazione di mesh. Come abbiamo visto, i modelli di generazione attuali sono simili alla fotogrammetria in quanto richiedono molto lavoro per produrre asset pronti per il gioco. Anche se questo è utile in alcuni scenari, come la creazione di asset ad alta fedeltà realistici, è comunque più tempo-consuming rispetto alla creazione di asset a bassa poligonatura da zero, specialmente se sei come me e usi uno stile artistico a ultra-bassa poligonatura.
2. Nuove tecniche di rendering che consentono ai NeRF di essere renderizzati direttamente nel motore di gioco. Anche se non ci sono annunci ufficiali, si potrebbe supporre che NVIDIA e Google, tra gli altri, potrebbero essere al lavoro su questo.

Ovviamente, solo il tempo dirà. Se vuoi rimanere aggiornato sugli sviluppi man mano che arrivano, sentiti libero di seguirmi su Twitter. Se ci sono nuovi sviluppi che ho perso, non esitare a contattarmi!

Clicca qui per leggere la Parte 4, in cui utilizziamo l’IA per gli asset 2D.

Attribuzione

Grazie a Poli @multimodalart per aver fornito informazioni sulle ultime novità nel testo-in-3D open source.