Oubli Catastrophique et Modèles Neuronaux de Recherche d'Information - Sorbonne Université
Conference Papers Year : 2021

Oubli Catastrophique et Modèles Neuronaux de Recherche d'Information

Abstract

In this paper, we study in what extent neural ranking models catastrophically forget old knowledge acquired from previously observed domains after acquiring new knowledge (i.e.on new datasets), leading to performance decrease on those domains. Our experiments carried out on 4 datastes and 5 neural IR ranking models show that catastrophic forgetting is prevalentand that a lifelong learning strategy mitigates the problem. Using an explanatory approach builton a regression model, we also identify domain characteristics that can predict catastrophic for getting .Note: this paper is a summary of the ECIR 2021 paper (Lovón-Melgarejoet al., 2021).
Dans cet article, nous nous plaçons dans le cadre d’une tâche de recherche d’information (RI) ad hoc dans un flux de corpus caractérisés par des distributions de don-nées significativement différentes, cas des corpus de différents domaines. Nous étudions précisément dans quelle mesure les modèles neuronaux de RI souffrent du problème de l’oubli catastrophique : l’apprentissage à partir d’un nouveau corpus dans le flux provoque un oubli des connaissances préalablement acquises conduisant à la dégradation des performances du modèle sur les corpus antérieurs du flux. Des expérimentations sur 4 corpus de différents domaines montrent que les 5 modèles d’ordonnancement neuronaux que nous avons évalués souffrent de cet oubli, et qu’une stratégie d’apprentissage tout au long de la vie (lifelong learning) peut atténuer le problème. A travers une approche exploratoire basée sur un modèle de régression, nous avons également identifié les caractéristiques des corpus qui pourraient servir de prédicteurs d’un oubli catastrophique. Note: Cet article est une traduction résumée de l’article (Lovón-Melgarejoet al., 2021) publié à ECIR 2021.
Fichier principal
Vignette du fichier
main (1).pdf (205.14 Ko) Télécharger le fichier
Origin Files produced by the author(s)

Dates and versions

hal-03309985 , version 1 (30-07-2021)

Licence

Identifiers

  • HAL Id : hal-03309985 , version 1

Cite

Jesus Lovon, Laure Soulier, Karen Pinel-Sauvagnat, Lynda Tamine. Oubli Catastrophique et Modèles Neuronaux de Recherche d'Information. 17ème conférence francophone en Recherche d’Information et Application (CORIA 2021), ARIA : Association Francophone de Recherche d’Information (RI) et Applications; Equipe MRIM du Laboratoire d’Informatique de Grenoble., Apr 2021, Grenoble (virtuel), France. pp.1-5. ⟨hal-03309985⟩
153 View
84 Download

Share

More