(R) Sera-t-il toujours vrai demain? Classification des questions à feuilles persistantes multilingues pour améliorer la QA de confiance

Page

Github

Arxiv

Avez-vous déjà remarqué que Chatgpt recherche parfois les réponses sur le Web – et parfois ce n’est pas le cas? Vous êtes-vous déjà demandé comment fonctionne cette «boîte noire»? Dans notre dernier article «Ce sera toujours vrai demain?»nous avons décidé de répondre à cette question.

Voyons un exemple: «Qui est le président des États-Unis?» La réponse à cette question dépend du moment exact que vous lui demandez. Mais si vous demandez: «Qui a été le premier président des États-Unis?» La réponse est toujours la même, quel que soit le timing ou le contexte. Les LLM ont souvent du mal avec le premier type de question – appelées questions «mutables» – parce que pendant la pré-formation, ils ont vu du texte indiquant que Barack Obama, puis Donald Trump, puis Joe Biden, puis Donald Trump était président. Alors, quand vous demandez: «Qui est le président des États-Unis?» La réponse n’est pas toujours simple. Cependant, les LLMs excellent au deuxième type de question, car la réponse est un fait historique fixe qui ne change pas. Dans notre nouvel article, nous explorons le phénomène des questions de jeu. Pour distinguer les questions à feuilles persistantes et mutables, nous avons affiné le Par exemple E5 Classificateur sur l’ensemble de données Evergreenqa, qui contient 4 757 Questions de l’utilisateur réel dans 7 langues.

Nos résultats montrent:

✔️ La probabilité à feuilles persistantes améliore systématiquement l’estimation et l’étalonnage de la connaissance de soi.

✔️ Evergreen-ness est le prédicteur le plus fort du comportement de récupération de GPT-4O, suggérant que la récupération est étroitement liée à la temporalité.

✔️ La probabilité à feuilles persistantes est très efficace pour identifier lorsque le modèle connaît la réponse. En d’autres termes, si une question est à feuilles persistantes, le modèle est susceptible de y répondre correctement, mais si une question n’est pas à feuilles persistantes, le résultat est plus difficile à prévoir.

Si vous aimez l’idée, veuillez voter notre papier sur Documents de câlins

L’exemple clair des questions à feuilles persistantes vs non evergreen