Natural language control for 3D human motion synthesis
Contrôle en langage naturel pour la synthèse de mouvements humains en 3D
Résumé
3D human motions are at the core of many applications such as the film industry, healthcare, augmented reality, virtual reality and video games. However, these applications often rely on expensive and time-consuming motion capture data.The goal of this thesis is to explore generative models as an alternative route to obtain 3D human motions. More specifically, our aim is to allow a natural language interface as a means to control the generation process. To this end, we develop a series of models that synthesize realistic and diverse motions following the semantic inputs.In our first chapter, we address the challenge of generating human motion sequences conditioned on specific action categories. We introduce ACTOR, a conditional variational autoencoder (VAE) that learns an action-aware latent representation for human motions. We show significant gains over existing methods thanks to our new Transformer-based VAE formulation, encoding and decoding SMPL pose sequences through a single motion-level embedding.In the second chapter, we go beyond categorical actions, and dive into the task of synthesizing diverse 3D human motions from textual descriptions allowing a larger vocabulary and potentially more fine-grained control. Our work stands out from previous research by not deterministically generating a single motion sequence, but by synthesizing multiple, varied sequences from a given text.We propose TEMOS, building on our VAE-based ACTOR architecture, but this time integrating a pretrained text encoder to handle large-vocabulary natural language inputs.In the third chapter, we address the adjacent task of text-to-3D human motion retrieval, where the goal is to search in a motion collection by querying via text. We introduce a simple yet effective approach, named TMR, building on our earlier model TEMOS, by integrating a contrastive loss to enhance the structure of the cross-modal latent space. Our findings emphasize the importance of retaining the motion generation loss in conjunction with contrastive training for improved results. We establish a new evaluation benchmark and conduct analyses on several protocols.In the fourth chapter, we introduce a new problem termed as "multi-track timeline control" for text-driven 3D human motion synthesis. Instead of a single textual prompt, users can organize multiple prompts in temporal intervals that may overlap. We introduce STMC, a test-time denoising method that can be integrated with any pre-trained motion diffusion model. Our evaluations demonstrate that our method generates motions that closely match the semantic and temporal aspects of the input timelines.In summary, our contributions in this thesis are as follows: (i) we develop a generative variational autoencoder, ACTOR, for action-conditioned generation of human motion sequences, (ii) we introduce TEMOS, a text-conditioned generative model that synthesizes diverse human motions from textual descriptions, (iii) we present TMR, a new approach for text-to-3D human motion retrieval, (iv) we propose STMC, a method for timeline control in text-driven motion synthesis, enabling the generation of detailed and complex motions.
Les mouvements humains 3D jouent un rôle clé dans divers domaines, tels que le cinéma, le secteur médical, la réalité augmentée, la réalité virtuelle et l'industrie du jeu vidéo. Toutefois, ces utilisations reposent souvent sur des données de capture de mouvement coûteuses et chronophages.- L'objectif de cette thèse est d'explorer les modèles génératifs en tant que voie alternative pour obtenir des mouvements humains 3D. Plus spécifiquement, notre objectif est de contrôler le processus génératif par le biais d'une interface en langage naturel. Pour cela, nous développons une série de modèles qui synthétisent des mouvements réalistes et variés en suivant des entrées sémantiques. Dans notre premier chapitre, nous relevons le défi de générer des séquences de mouvements humains conditionnées par des catégories d'actions spécifiques. Nous présentons ACTOR, un autoencodeur variationnel conditionnel (VAE) qui apprend une représentation latente des mouvements humains tenant compte de l'action. Nous montrons des améliorations significatives par rapport aux méthodes existantes grâce à notre nouvelle formulation VAE basée sur un Transformer. Ce modèle code et décode des séquences de pose du corps humain paramétrisées par le modèle SMPL, en utilisant un vecteur de mouvement latent global.Dans le deuxième chapitre, nous allons au-delà des actions catégorielles et nous nous intéressons à la synthèse de divers mouvements humains 3D à partir de descriptions textuelles. Cela permet d'élargir le vocabulaire et d'obtenir un contrôle potentiellement plus fin. Notre travail se distingue des recherches précédentes en ne générant pas de manière déterministe une séquence de mouvement unique, mais en synthétisant des séquences multiples et variées à partir d'un texte donné.Nous proposons TEMOS, qui repose sur notre architecture ACTOR basée sur un VAE, mais qui intègre cette fois un encodeur de texte pré-entraîné pour traiter les entrées en langage naturel à large vocabulaire. Dans le troisième chapitre, nous abordons la tâche adjacente de la recherche de mouvements humains 3D à partir de texte, où l'objectif est, par le biais d'une requête textuelle, de rechercher à l'intérieur d'une collection de mouvements. Nous présentons une approche simple et efficace, appelée TMR, qui s'appuie sur notre modèle précédent TEMOS, en intégrant une fonction de coût contrastive pour améliorer la structure de l'espace latent multimodal. Nos résultats soulignent l'importance de conserver la génération de mouvement avec l'entraînement contrastif pour améliorer les résultats. Nous établissons un nouveau critère d'évaluation et effectuons des analyses sur plusieurs protocoles.Dans le quatrième chapitre, nous présentons un nouveau problème appelé "contrôle par chronologie multi-pistes" pour la synthèse de mouvements humains 3D pilotée par le texte. Au lieu d'une seule description textuelle, les utilisateurs organisent plusieurs textes dans des intervalles temporels qui peuvent se chevaucher. Nous présentons STMC, une méthode de débruitage en temps de test pouvant être intégrée à n'importe quel modèle de diffusion de mouvement humain pré-entraîné. Nos évaluations démontrent que notre méthode génère des mouvements qui correspondent étroitement aux aspects sémantiques et temporels de la chronologie d'entrée. En résumé, les contributions de cette thèse sont les suivantes : (i) nous développons un autoencodeur variationnel génératif, ACTOR, pour la génération de séquences de mouvements humains conditionnée par l'action, (ii) nous présentons TEMOS, un modèle génératif conditionné par le texte qui synthétise des mouvements humains diversifiés, (iii) nous présentons TMR, une nouvelle approche pour la recherche de mouvements humains 3D à partir de texte, (iv) enfin, nous proposons STMC, une méthode pour la génération de mouvements humains contrôlés par une chronologie à plusieurs pistes.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
