Oubli Catastrophique et Modèles Neuronaux de Recherche d'Information
Abstract
In this paper, we study in what extent neural ranking models catastrophically forget old knowledge acquired from previously observed domains after acquiring new knowledge (i.e.on new datasets), leading to performance decrease on those domains. Our experiments carried out on 4 datastes and 5 neural IR ranking models show that catastrophic forgetting is prevalentand that a lifelong learning strategy mitigates the problem. Using an explanatory approach builton a regression model, we also identify domain characteristics that can predict catastrophic for getting .Note: this paper is a summary of the ECIR 2021 paper (Lovón-Melgarejoet al., 2021).
Dans cet article, nous nous plaçons dans le cadre d’une tâche de recherche d’information (RI) ad hoc dans un flux de corpus caractérisés par des distributions de don-nées significativement différentes, cas des corpus de différents domaines. Nous étudions précisément dans quelle mesure les modèles neuronaux de RI souffrent du problème de l’oubli catastrophique : l’apprentissage à partir d’un nouveau corpus dans le flux provoque un oubli des connaissances préalablement acquises conduisant à la dégradation des performances du modèle sur les corpus antérieurs du flux. Des expérimentations sur 4 corpus de différents domaines montrent que les 5 modèles d’ordonnancement neuronaux que nous avons évalués souffrent de cet oubli, et qu’une stratégie d’apprentissage tout au long de la vie (lifelong learning) peut atténuer le problème. A travers une approche exploratoire basée sur un modèle de régression, nous avons également identifié les caractéristiques des corpus qui pourraient servir de prédicteurs d’un oubli catastrophique. Note: Cet article est une traduction résumée de l’article (Lovón-Melgarejoet al., 2021) publié à ECIR 2021.
| Origin | Files produced by the author(s) |
|---|
