(R) Interprétation de la personnalité des modèles de grande langue grâce à l’analyse des événements critiques
- Intelligence Artificielle
Noesis News- 0
- 6 minutes de lecture
|
Ravi de partager notre nouveau travail, "Ensemble de données d’événements Supernova: interprétation de la personnalité des modèles de grande langue à travers une analyse d’événements critiques" accepté à l’atelier d’interprétation exploitable @ ICML 2025. Présentation de l’ensemble de données d’événements Supernova Nous présentons une nouvelle référence construite à partir d’articles Wikipedia du monde réel, y compris des biographies, des jalons historiques, des nouvelles mondiales et des découvertes scientifiques (y compris des articles de Google Deep Research). Cet ensemble de données introduit une nouvelle tâche: analyse des événements critiques pour interpréter le modèle comportemental, ou «personnalité» des LLM. Plutôt que de regarder à l’intérieur du modèle (activations, traces), nous demandons à un LLM distinct de juger quels événements sont les plus critiques et utilisons cette perspective externe pour décoder les valeurs et les traits de raisonnement du modèle. Quelques premières idées: ORCA2 a tendance à hiérarchiser les événements émotionnels et interpersonnels. PHI-4 et QWEN2.5 se concentrent sur les jalons stratégiques. Dans Scientific Discovery, O3 met en évidence les percées causales, Gemini 2.5 Pro favorise les innovations méthodologiques et Claude Sonnet 3.7 met l’accent sur la clarté conceptuelle. Bien qu’il s’agisse de résultats précoces (toujours sans évaluation humaine), la diversité des modèles d’événements critiques est frappante. Nous croyons attribuer des LLM "personnalités" pourrait les rendre plus relatables et dignes de confiance, ce qui permet une collaboration humaine plus fluide, en particulier dans des domaines comme la découverte scientifique. Papier: arXiv.org/abs/2506.12189 Gazouillement: https://x.com/pranav_al/status/1939681069554655382 Page web: http://supernova-event.ai Démo: supernova-event.ai/#your-story Code: https://github.com/pranaval/supernova-ovent-dataset Nous travaillons à étendre cela en un produit réel, et nous recherchons actuellement les bonnes ressources et le bon soutien pour aller plus loin. Si vous êtes intéressé par ce que nous construisons et voyons un potentiel d’impact, nous serions ravis de vous entendre. Nous atteindre à (hello@supernova-event.ai) (mailto:hello@supernova-event.ai)); Nous sommes ouverts aux conversations, aux collaborations et à toute forme de soutien qui peut aider à faire avancer cette idée. soumis par / u / personnel_click_6502 |
