TECNOLOGIA: DanceNet3D, UN GENERATORE DI DANZA 3D CHE TRASFORMA I MOVIMENTI IN PARAMETRI

 

La generazione della danza dalla musica è un compito interessante ma impegnativo. Sebbene la maggior parte delle ricerche precedenti si concentri su questo compito come sequenza di parametri dello stato di movimento, la rappresentazione della curva può rendere l'animazione più fluida. Quindi, un recente documento di ricerca propone di modellare il problema della generazione della danza come la generazione di pose chiave e la generazione di curve di movimento.

Il framework si basa su architetture codificatore-decodificatore e su uno schema di addestramento antagonistico. Per il decoder, viene introdotta una nuova architettura su misura per la generazione della danza. Utilizza reti di catene cinematiche per modellare la correlazione spaziale tra le parti del corpo. Includere i vincoli fisici nel modello porta a risultati più naturali.

Il modulo sull'attenzione locale appresa viene utilizzato per introdurre la località temporale ed evitare il degrado alle azioni di media. Uno studio condotto da un utente ha dimostrato che il metodo suggerito genera balli migliori in termini di qualità delle prestazioni rispetto ad altri lavori.

In questo lavoro, proponiamo un nuovo framework di apprendimento profondo in grado di generare una vivida danza da un intero brano musicale. In contrasto con i lavori precedenti che definiscono il problema come generazione di fotogrammi di parametri di stato del movimento, formuliamo il compito come una previsione delle curve di movimento tra le pose chiave, che si ispira alla pratica dell'industria dell'animazione. Il framework proposto, denominato DanceNet3D, genera prima pose chiave sui battiti della musica data e quindi predice le curve di movimento intermedie. DanceNet3D adotta l'architettura encoder-decoder e gli schemi contraddittori per la formazione. I decoder in DanceNet3D sono costruiti su MoTrans, un trasformatore su misura per la generazione di movimento. In MoTrans introduciamo la correlazione cinematica tramite le reti a catena cinematica e proponiamo anche il modulo Learned Local Attention per prendere in considerazione la correlazione locale temporale del movimento umano. Inoltre, proponiamo PhantomDance, il primo dataset di danza su larga scala prodotto da animatori professionisti, con accurata sincronizzazione con la musica. Esperimenti approfonditi dimostrano che l'approccio proposto può generare danze 3D fluide, eleganti, performative e sincronizzate con il ritmo, che supera in modo significativo i lavori precedenti quantitativamente e qualitativamente.

Articolo originale: Technology

- Eyes Bio