Détection de points d’intérêts avec des caméras neuromorphiques - PASTEL - Thèses en ligne de ParisTech Access content directly
Theses Year : 2022

Détection de points d’intérêts avec des caméras neuromorphiques

Learning to Detect Keypoints with an Event-Based Camera

Philippe Chiberre
  • Function : Author
  • PersonId : 1248994
  • IdRef : 269283056

Abstract

Keypoint detection is a building block of many computer vision applications, such as augmented or virtual reality and robotics. On the other hand, event cameras, or neuromorphic cameras, have numerous advantages for mobile platforms such as low power consumption, high dynamic range and very fine temporal resolution (in the order of the microsecond). The goal of this thesis is to develop keypoint detection algorithms for event cameras and enable multiple computer vision applications to be easily use with events.The first part of the thesis focuses on how data can be generated for any data driven approach when using event while still leveraging the vast computer vision literature for frames. The second part of the thesis introduces our approach of detecting keypoints using an intermediate representation. We predict image gradients from events with a convolutional recurrent neural network and detect keypoints using the Harris formula directly on the predicted gradients. Our approach maintains similar reprojection error to the state-of-the-art while improving significantly the track lifetime of the detected keypoints. The last contribution of this thesis is to predict keypoints directly from events without any intermediate step. We reduce the state-of-the-art reprojection error and triple the track lifetime using a data driven approach of predicting multiple heatmaps of keypoint localization’s and improving our training pipeline for better coherence of the keypoints through time.
Les points clés sont à l’origine de multiples applications de vision par ordinateur telles que la réalité virtuelle ou augmentée et la robotique. Les caméras par événements, ou caméras neuromorphiques, ont par ailleurs de nombreux avantages pour les plateformes mobiles : une très faible consommation d’énergie, une grande plage dynamique et une résolution temporelle très faible (de l’ordre de la microseconde). L’objectif de cette thèse et de développer des algorithmes de détection de points clés pour les caméras par événements et permettre le transfère des algorithmes de vision historiques pour les images vers cette nouvelle plateforme. La première partie de la thèse présente les différentes approches possibles pour générer des données de points clés dans des flux d’événements tout en utilisant la vaste littérature de vision par ordinateur existante pour les images. La deuxième partie de la thèse présente un nouvel algorithme permettant de détecter des points d’intérêts en utilisant une représentation intermédiaire. En effet nous utilisons un réseau de neurones convolutionels et récurrent pour prédire les gradients de l’image correspondante aux événements. Nous utilisons ensuite le score de Harris qui utilise les gradients de l’image pour détecter des points d’intérêts. Cet algorithme obtient une erreur de reprojection de l’ordre de l’état de l’art tout en augmentant le temps de vie des trajectoires. Notre dernière contribution est un algorithme qui prédit directement les points d’intérêts depuis les événements sans représentation intermédiaire. Cette méthode, basée sur les données, réduit l’erreur de rerojection de l’état de l’art tout en multipliant par trois la longueur des trajectoires. Ces améliorations proviennent de deux éléments clés: une amélioration de la plateforme d’entraînement pour une meilleure cohérence temporelle des points d’intérêts et une prédiction de plusieurs cartes de chaleur simultanément pour une meilleure précision.
Fichier principal
Vignette du fichier
TH2022ENPC0046.pdf (54.18 Mo) Télécharger le fichier
Origin Version validated by the jury (STAR)

Dates and versions

tel-04076187 , version 1 (20-04-2023)

Identifiers

  • HAL Id : tel-04076187 , version 1

Cite

Philippe Chiberre. Détection de points d’intérêts avec des caméras neuromorphiques. Signal and Image Processing. École des Ponts ParisTech, 2022. English. ⟨NNT : 2022ENPC0046⟩. ⟨tel-04076187⟩
124 View
13 Download

Share

Gmail Mastodon Facebook X LinkedIn More