MeLaSSS : Metric in the Latent Space on Simplified Sentences
MeLaSSS : Métrique dans l’espace latent sur les phrases simplifiées
Résumé
This article explores a new approach to evaluating text summaries based on sentence simplification
and the comparison of vector representations in the latent space. Drawing on existing metrics such
as BERTScore and QuestEval, the MeLaSSS (Metric in the Latent Space on Simplified Sentences)
method proposes to use CLS representations and sentence simplification techniques to improve
the correlation between automatic evaluations and human judgements, although the results show
that sentence simplification does not bring significant benefits due to the current limitations of the
language models used for this task.
Cet article explore une nouvelle approche d’évaluation des résumés de textes basée sur la simplification
des phrases et la comparaison des représentations vectorielles dans l’espace latent. En s’inspirant
de métriques existantes telles que BERTScore et QuestEval, la méthode MeLaSSS (Metric in the
Latent Space on Simplified Sentences) propose d’utiliser des représentations CLS et des techniques
de simplification de phrases pour améliorer la corrélation entre les évaluations automatiques et les
jugements humains, bien que les résultats montrent que la simplification de phrases n’apporte pas de
bénéfices significatifs en raison des limitations actuelles des modèles de langue utilisés pour cette
tâche.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|