Enabling Dynamic Interactions between Natural Language and Structured Knowledg Bases
Faciliter les interactions dynamiques entre langage naturel et les Bases de connaissances structurées
Résumé
Natural language has always been the most straightforward way of communication and documenting information in terms of books and messages. Alternatively and intuitively the humanity discovered the strength of statistics and structured information, in which information is displayed in more complex structures that allow better visual comprehension and facilitateoperations over the information of the same type. The complementary nature between these two types of information representation has inspired a lot of applications that involve interactions between natural language and structured information such as Information Extraction, Question Answering and Natural Language Generation from structured information. However, many of the natural language processing (NLP) models responsible for those interactions are usually designed in a static way. Thus, in the information explosion era, the abundance of continuously published new information requires a tedious process of maintaining those systems and continuously adapting them. In the course of this thesis, we identify three major limitations that prehend the robustness of Question Answering systems to adapt to new information namely, Knowledge Bases limitations, Training and Evaluation Datasets limitations, and information display limitations.We make several contributions to tackle each of the previously identified problems: Firstly, we propose new methods for relation discovery that are able to automatically identify new relation types from text corpora with precision and recall surpassing current state-of-the-art methods. Secondly, we present a new architecture for automatically generating alignment datasets between natural language and structured knowledge bases alongside with the largest available dataset of the same kind. Thirdly, we propose a new encoder-decoder neural network architecture for question generation from knowledge base triples in a zero-shot setup; this model occupied with novel part-of-speech tag copy actions has proven its capacity of generating questions for unseen relation and entity types during test time, and hence has a large potential of being used in data-augmentation techniques for training Question Answering systems in an evolving way. Finally, we propose an encoder-decoder architecture equipped with several delexicalization techniques to generate entity descriptions from structured triples, our method has proven efficiency to generate entity summaries in an under-served multilingual setup with limited training datasets.
Le langage naturel a toujours été le moyen le plus simple pour communiquer et documenter l'information sous forme de livres et de messages. Alternativement, et de manière intuitive, l'humanité a découvert la force des statistiques et de l'information structurée, c’est-à-dire organisée dans des structures plus complexes qui permettent une meilleure compréhension visuelle et facilitent les opérations sur les données de même type. La complémentarité de ces deux formes de représentation de l'information a inspiré de nombreuses applications impliquant des interactions entre le langage naturel et l'information structurée telles que l'extraction d'informations (Information Extraction, IE), les systèmes de questions-réponses (Question Answering, QA) ou la génération automatique de texte (Natural Language Generation, NLG) à partir de données structurées.Cependant, les modèles de Traitement Automatique des Langues (TAL) responsables de ces interactions sont souvent conçus de façon statique. À l'ère de l'explosion informationnelle, l'abondance de nouvelles informations publiées chaque jour impose un processus fastidieux d'entretien de ces systèmes et leur adaptation continue. Dans cette thèse, nous identifions trois limitations majeures à la robustesse des systèmes de questions-réponses pour s'adapter aux nouvelles informations : la faible évolutivité des bases de connaissances, la faible couverture des jeux de données d'entraînement et de validation, et les limites de la présentation de l’information. Nous apportons plusieurs contributions pour traiter chacun de ces problèmes.Tout d'abord nous proposons de nouvelles méthodes de découverte de relations (relation discovery) capables d'identifier automatiquement de nouveaux types de relations à partir de corpus de textes, avec une précision et un rappel améliorant l’état de l’art. Ensuite, nous présentons une nouvelle architecture permettant de générer automatiquement des jeux de données d'alignement entre le langage naturel et des bases de connaissances structurées. Notre jeu de données est le plus grand disponible dans la littérature. Nous proposons aussi une nouvelle architecture encodeur-décodeur de réseaux de neurones pour la génération de questions à partir d’une base de connaissances dans une configuration de type "zero-shot". Ce modèle, doté d’actions de copie d’étiquettes morpho-syntaxiques, a prouvé sa capacité à générer des questions pour des relations et des types d'entités non rencontrés dans la phase d’apprentissage a donc un grand potentiel pour augmenter les volumes des jeux de données lors de l'entraînement de systèmes de questions-réponses de façon évolutive.Enfin nous proposons une architecture encodeur-décodeur dotée de plusieurs techniques de dé-lexicalisation pour générer des descriptions d'entités à partir de triplets structurés. Notre méthode a prouvé son efficacité pour générer des résumés d'entités dans une configuration multilingue et pour des langues ayant peu de contributeurs, et ce même avec des jeux de données d’apprentissage limités.
| Origine | Version validée par le jury (STAR) |
|---|