Learning multi-modal distributions and image editing with deep generative models - PASTEL - Thèses en ligne de ParisTech Access content directly
Theses Year : 2023

Learning multi-modal distributions and image editing with deep generative models

Apprentissage de distributions multi-modales et éditions d'image avec des modèles génératifs profonds

Thibaut Issenhuth
  • Function : Author
  • PersonId : 1320439
  • IdRef : 272961353

Abstract

The past years have seen a great progress of deep generative models, including Generative Adversarial Networks (GANs). Notably, they can synthesize high-resolution images, sometimes indistinguishable from real images. Deep generative models were also at the root of empirical successes such as music generation or molecular discovery. However, we lack a fundamental understanding of the capabilities and limitations of deep generative models. In this thesis, we first characterize a model misspecification of generative models with connected output distributions, such as GANs or normalizing flows. Indeed, such models can not perfectly fit a target distribution composed of several disconnected modes. We analyse theoretically their best achievable performance in the setting of disconnected target distribution, and which geometrical structure can allow them to achieve best performance. Moreover, we propose methods that the performance of GANs by making them more amenable for disconnected data modelling.In the second part of the thesis, we aim to improve image editing techniques thanks to deep generative models. First, we leverage a pre-trained unconditional generative model and show that it can perform a wide range of image editing tasks without re-training. Second, we build on adversarial learning to improve virtual try-on models, which consist in replacing the clothing item on an image of a person.
Les dernières années ont vu de grands progrès des modèles génératifs profonds, et notamment des Réseaux Adversaires Génératifs (GAN). Ils peuvent notamment synthétiser des images haute résolution indiscernables des images réelles. Les modèles génératifs profonds ont également été à l'origine de succès empiriques tels que la génération de musique ou la découverte moléculaire. Cependant, nous manquons d'une compréhension fondamentale des capacités et des limites des modèles génératifs profonds. Dans cette thèse, nous caractérisons d'abord une limitation des modèles génératifs modélisant une distribution connexe, tels que les GANs ou les flots normalisés. En effet, de tels modèles ne peuvent pas s'adapter parfaitement à une distribution cible composée de plusieurs modes déconnectés. Nous analysons théoriquement leur meilleure performance réalisable dans le cadre de distributions cible déconnectées, et nous présentons une structure géométrique leur permettant d'atteindre une performance optimale. De plus, nous proposons des méthodes pour améliorer les GANs en les rendant plus adaptés à la modélisation de données déconnectées.Dans la deuxième partie de la thèse, nous visons à améliorer les techniques d'édition d'images grâce aux modèles génératifs profonds. Tout d'abord, nous nous appuyons sur un modèle génératif non conditionnel et pré-entraîné, et montrons qu'il peut effectuer une large variété de tâches d'édition d'images sans réentraînement. Deuxièmement, nous nous appuyons sur l'apprentissage adversaire pour améliorer les modèles de cabine d'essayage virtuel, qui consistent à remplacer l'article vestimentaire sur une image d'une personne.
Fichier principal
Vignette du fichier
TH2023ENPC0025.pdf (31.98 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-04325869 , version 1 (06-12-2023)

Identifiers

  • HAL Id : tel-04325869 , version 1

Cite

Thibaut Issenhuth. Learning multi-modal distributions and image editing with deep generative models. Signal and Image Processing. École des Ponts ParisTech, 2023. English. ⟨NNT : 2023ENPC0025⟩. ⟨tel-04325869⟩
72 View
14 Download

Share

Gmail Facebook X LinkedIn More