LiDAR-based domain generalization and unknown 3D object detection
Généralisation de domaine et détection 3D d'objets inconnus à partir de données LiDAR
Résumé
The development of robust perception systems is fundamental for the safe and efficient operation of autonomous vehicles. These systems perform essential tasks such as 3D object detection, enabling vehicles to identify and localize obstacles, including other vehicles, pedestrians, and various objects within their environment. Accurate detection is critical for effective decision-making and navigation through complex driving scenarios. However, 3D object detection presents significant challenges due to the diverse nature of real-world conditions, which encompass a broad range of sensor setups, geographic environments, and scene complexities. Firstly, this thesis work identifies and addresses the domain shifts that occur between different LiDAR datasets due to variations in sensor specifications, geographic environments, and dataset-specific attributes. These shifts often lead to significant performance gaps when models are transferred between datasets. To mitigate these issues, a multi-dataset training framework called MDT3D is introduced. MDT3D integrates data from various sources and employs novel augmentation and label harmonization techniques to create models that can generalize effectively across different conditions. Secondly, the thesis presents ParisLuco3D, a dataset captured in urban areas around the Luxembourg Garden in Paris, designed to test model robustness in complex real-world scenarios. This provides a dedicated dataset to test model generalization, which we benchmark to highlight the poor performance of baseline generalization methods. Lastly, the last axis of generalization explored is generalizing detection to novel unknown objects. We reframe the detection of unknown objects as an out-of-distribution (OOD) problem, allowing models to differentiate between known and previously unseen objects without compromising accuracy on familiar categories.
Le développement de systèmes de perception robustes est fondamental pour assurer le fonctionnement sûr et efficace des véhicules autonomes. Ces systèmes accomplissent des tâches essentielles telles que la détection d'objets en 3D, permettant aux véhicules d'identifier et de localiser des obstacles, notamment d'autres véhicules, des piétons et divers objets présents dans leur environnement. Une détection précise est cruciale pour une prise de décision efficace et une navigation sûre dans des scénarios de conduite complexes. Cependant, la détection d'objets en 3D pose des défis importants en raison de la diversité des conditions du monde réel, qui incluent une grande variété de configurations de capteurs, d'environnements géographiques et de complexités de scènes. Premièrement, ce travail de thèse identifie et aborde les différences de domaine (domain shifts) qui surviennent entre différents jeux de données LiDAR en raison de variations dans les spécifications des capteurs, les environnements géographiques et les attributs propres à chaque jeu de données. Ces différences entraînent souvent des écarts de performance importants lors du transfert de modèles entre jeux de données. Pour pallier ces problèmes, un cadre d'entraînement multi-dataset, nommé MDT3D, est introduit. MDT3D intègre des données provenant de diverses sources et applique des techniques novatrices d'augmentation et d'harmonisation des étiquettes, permettant de créer des modèles capables de se généraliser efficacement dans des conditions variées. Deuxièmement, la thèse présente ParisLuco3D, un jeu de données capturé dans les zones urbaines autour du Jardin du Luxembourg à Paris, conçu pour tester la robustesse des modèles dans des scénarios complexes du monde réel. Ce jeu de données offre une plateforme dédiée pour évaluer la généralisation des modèles, avec des benchmarks soulignant les performances limitées des méthodes classiques de généralisation. Enfin, le dernier axe de généralisation exploré concerne la détection d'objets inconnus. Nous reformulons la détection d'objets inconnus comme un problème hors distribution (Out-Of Distribution, OOD), permettant aux modèles de différencier les objets connus des objets inédits sans compromettre la précision sur les catégories connues.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
