Class-Incremental Learning in an Exemplar-Free setup - PASTEL - Thèses en ligne de ParisTech Accéder directement au contenu
Thèse Année : 2023

Class-Incremental Learning in an Exemplar-Free setup

Apprentissage incrémental par classes en environnement sans exemples passés

Grégoire Petit
  • Fonction : Auteur
  • PersonId : 1365225
  • IdRef : 276248988

Résumé

This thesis explores the challenges and strategies associated with Class-Incremental Learning (CIL), a branch of machine learning that focuses on the efficient integration of new classes into existing models. The work addresses key difficulties, including catastrophic forgetting and the trade-off between stability and plasticity, especially in scenarios where past class data is not storable. A number of innovative methods are proposed, ranging from strategic management of the model parameter distribution to the creation of a pseudo-feature generator for improved stability-plasticity balance. The study also provides a thorough experimental analysis of various factors influencing CIL performance, such as initial training strategies, neural architecture selection, and CIL algorithm choice. The research culminates in the provision of practical guidelines for effective incremental learning to facilitate the real-world application of CIL. In summary, the thesis contributes significant insights and methods to the field of machine learning, fostering a better understanding and use of Class-Incremental Learning.
Cette thèse explore les défis et les stratégies associés à l'apprentissage incrémental de classe (CIL), une branche de l'apprentissage automatique qui se concentre sur l'intégration efficace de nouvelles classes dans les modèles existants. Le travail aborde les principales difficultés, y compris l'oubli catastrophique et le compromis entre la stabilité et la plasticité, en particulier dans les scénarios où les données sur les classes passées ne sont pas stockables. Un certain nombre de méthodes innovantes sont proposées, allant de la gestion stratégique de la distribution des paramètres du modèle à la création d'un générateur de pseudo-caractéristiques pour un meilleur équilibre entre stabilité et plasticité. L'étude fournit également une analyse expérimentale approfondie des divers facteurs influençant les performances du CIL, tels que les stratégies d'entrainements initiaux, la sélection de l'architecture neuronale et le choix de l'algorithme du CIL. La recherche aboutit à la fourniture de lignes directrices pratiques pour un apprentissage incrémental efficace afin de faciliter l'application du CIL dans le monde réel. En résumé, cette thèse apporte significativement des idées et des méthodes au domaine de l'apprentissage automatique, en favorisant une meilleure compréhension et une meilleure utilisation de l'apprentissage incrémental par classe.
Fichier principal
Vignette du fichier
TH2023ENPC0040.pdf (4.85 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04511333 , version 1 (19-03-2024)

Identifiants

  • HAL Id : tel-04511333 , version 1

Citer

Grégoire Petit. Class-Incremental Learning in an Exemplar-Free setup. Machine Learning [cs.LG]. École des Ponts ParisTech, 2023. English. ⟨NNT : 2023ENPC0040⟩. ⟨tel-04511333⟩
65 Consultations
5 Téléchargements

Partager

Gmail Facebook X LinkedIn More