Learning-based algorithms for real-time visual localization of vehicles
Algorithmes d'apprentissage pour la localisation visuelle de véhicules en temps réel
Résumé
Autonomous driving is expected to revolutionize tomorrow’s transportation technologies. Positioning systems are a key component of self-driving vehicles in order to ensure a safe, smooth and reliable navigation. The precise ego position of a vehicle inside of its environment can be recovered by a wide range of sensors and algorithms, image-based localization is more acurate than GNSS and only needs camera sensors. This thesis aims to solve the map-based relocalization problem with machine learning methods. We build on recent advances on the deep learning area to develop algorithms which learn to relocalize from a large collection of images gathered in the area of interest. First, we study the capability of convolutional neural networks to be used as a vehicle localization system in autonomous driving scenarios. Then, we investigated in different ways the connection between implicit scene representations and visual localization algorithms. By their ability to represent continuously a complex scene in a neural network, these implicit representations can be used to generate photo-realistic synthetic data used to train better algorithms, but also to represent the map of the environment. We show that relevant information captured on roads of several kilometers can be encoded in few megabytes in order to achieve real-time vehicle localization, but also that local features can be learned, stored and rendered by a Neural Field to achieve centimeter-level camera pose estimation in a dense features matching pipeline. Overall, this work aims to rehabilitate direct learning-based formulations, which are considered to be less precise than classical features-based methods. In the end, the effectiveness of data-driven methods depends on the data and then can be beneficial in some situations, such as autonomous driving.
La conduite autonome est appelée à révolutionner les transports de demain. Les systèmes de localisation sont un élément clé des véhicules autonomes afin d’assurer une navigation sûre, fluide et fiable. La position d’un véhicule dans son environnement peut être déterminée à l’aide de différents capteurs, utiliser l’image permet de se localiser plus précisement qu’un GPS et requiert uniquement une caméra. Cette thèse vise à résoudre le problème de la relocalisation à l’aide de méthodes d’apprentissage automatique. Nous nous appuyons sur les avancées récentes dans le domaine de l’apprentissage profond pour développer des algorithmes qui apprennent à localiser la position de la caméra à partir d’une grande base de données d’images recueillies dans la zone d’intérêt. Tout d’abord, nous étudions la capacité des réseaux de neurones convolutionnels à être utilisées comme système de localisation de véhicules dans des scénarios de conduite autonome. Dans un second temps, nous avons exploré le lien entre les représentations implicites de scènes et les algorithmes de localisation visuelle. Ces représentations implicites génerent des images synthétiques utilisées pour entraîner de meilleurs algorithmes, mais aussi pour représenter la carte de l’environnement. Nous montrons que les informations pertinentes capturées sur des routes de plusieurs kilomètres peuvent être encodées en quelques mégabytes afin de réaliser la localisation de véhicules en temps réel. De plus, nous remplaçons les modèles 3D traditionnels par un Neural Radiance Field (NeRF) dans les méthodes de "features matching". Globalement, ce travail réhabilite les méthodes de regression, qui sont considérées comme moins précises que les méthodes classiques basées sur les features. Au final, l’efficacité des méthodes d’apprentissages dépend des données et peut donc être bénéfique dans certaines situations, comme la conduite autonome.
| Origine | Version validée par le jury (STAR) |
|---|