Towards Controllable and Factual Data-to-Text Generation Models
Vers des modèles contrôlables et factuels pour la génération de texte à partir de données structurées
Résumé
Data-to-Text Generation (DTG) consists in describing complex data using Natural Language such that humans can better understand it. Automated systems for DTG traditionally consist in a collection of complex rules, crafted using domain expertise. Recently, approaches based on Neural Networks (NNs) have been proposed. NNs alleviate the need for costly domain expertise and are able to produce fluent and in-domain descriptions. Unfortunately, descriptions written by NNs tend to include incorrect statements, a behaviour called hallucination. This is mostly due to noisy data, where training descriptions do not completely align with their associated inputs, causing NNs to learn spurious alignments and including fasle information in their outputs. This PhD tackles this issue along three axes. We've proposed 1) hierarchical models that better handle complex data; 2) training frameworks, so models can learn from noisy examples; 3) an automated metric for semantic evaluation in DTG.
La génération de données en texte (DTG) consiste à décrire des données complexes à l'aide d'un langage naturel afin que les humains puissent mieux les comprendre. Les systèmes automatisés de DTG consistent traditionnellement en une collection de règles complexes, élaborées à partir d'une expertise du domaine. Récemment, des approches basées sur les réseaux de neurones (RNs) ont été proposées. Les réseaux neuronaux évitent le recours à une expertise coûteuse du domaine et sont capables de produire des descriptions fluides et adaptées au domaine. Malheureusement, les descriptions écrites par les réseaux neuronaux ont tendance à inclure des déclarations incorrectes, un comportement appelé hallucination. Ceci est principalement dû à des données bruyantes, où les descriptions d'entraînement ne sont pas complètement alignées sur leurs entrées associées, ce qui amène les RNs à apprendre des alignements erronés et donc à inclure des informations erronées dans leurs sorties. Cette thèse aborde ce problème selon trois axes. Nous avons proposé 1) des modèles hiérarchiques qui gèrent mieux les données complexes ; 2) des frameworks d'entrainement afin que les modèles puissent apprendre à partir d'exemples bruités ; 3) une métrique automatisée pour l'évaluation sémantique de la DTG.