Contributions to Roto-Translation Equivariance for Deep Learning in Image Processing
Contributions à l'Equivariance aux Roto-Translations pour l'Apprentissage Profond en Traitement d'Images
Résumé
The past decades have been golden years for the development of deep learning. This data oriented framework is now predominant in nearly all research fields among which image processing and computer vision communities have been active actors for this growth, specifically through convolutional neural networks. This kind of approach requires a training phase, using a fair amount of data, during which the parameters of the deep learning algorithm are iteratively modified to better fit a given task. The goal of group equivariant deep learning is to prevent a deep learning model to dedicate trainable parameters for learning irrelevant diversity. In this sense, an intrinsic equivariant model is more data efficient. This thesis focuses mainly on equivariance to roto-translations and two other common threads link the contributions of this thesis. The first is the alleviation of linearity which is a direct way to consider new solutions for roto-translation equivariance. The second common thread can be captured by the following maxim: “Old papers teach new deep learning tricks”. This document revisits i) the work of Heijmans, Ronse and Roerdink to propose Group Equivariant Morphological Networks, ii) the Harris corner detector proposed by Harris and Stephens into a deep learning framework leading to the GenHarris-ResNet model and iii) differential invariants introduced to image processing by Florack et al by proposing an adapted algebraic structure based on graph theory to describe operations and compositions of such differential invariants,leading to the proposition of the Florack Network.
Les dernières décennies ont mené à un fort développement de l'apprentissage profond. Cette approche orientée sur les données est désormais prédominante dans presque tous les domaines de recherche, parmi lesquels les communautés de traitement d'images et de vision par ordinateur ont été des acteurs de cette croissance, notamment grâce aux réseaux de neurones convolutifs. Ce type d'approche nécessite une phase d'entraı̂nement, pouvant demander une grande quantité de données, au cours de laquelle les paramètres de l'algorithme sont modifiés de manière itérative pour mieux s'adapter à la tâche voulue. L'objectif de l'apprentissage profond équivariant aux actions de groupes est d'éviter qu'un modèle d'apprentissage profond ne consacre des paramètres entraı̂nables à l'apprentissage d'une diversité, au sein des donnés, non pertinente. En ce sens, un modèle intrinsèquement équivariant est plus efficace dans son utilisation des données. Cette thèse se concentre principalement sur l'équivariance aux roto-translations. Deux autres fils rouges relient les contributions de cette thèse. Le premier est la suppression de l'hypothèse de linéarité, qui permet de sortir du cadre de la convolution et de considérer de nouvelles solutions pour l'équivariance aux roto-translations. Le deuxième fil conducteur peut être représenté par la maxime suivante : ”Les vieux articles donnent de nouvelles astuces pour l'apprentissage profond”. Ce document revisite et adapte i) le travail de Heijmans, Ronse et Roerdink pour proposer les réseaux morphologiques équivariants aux actions de groupes, ii) le détecteur de coins de Harris, proposé par Harris et Stephens, au cadre de l'apprentissage profond menant au modèle GenHarris-ResNet et iii) des invariants différentiels introduits au traitement d'images par Florack et al, en proposant une structure algébrique adaptée et basée sur la théorie des graphes pour décrire les opérations et les compositions de ces invariants différentiels, conduisant à la proposition du réseau Florack.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
