LLMS s’inclinera à la pression, à changer les réponses lorsqu’il est remis en question: DeepMind Study – Computerworld

Les modèles de grandes langues (LLM) tels que GPT-4O et Gemma de Google peuvent sembler confiants, mais de nouvelles recherches suggèrent que leur raisonnement peut se décomposer sous pression, ce qui soulève des préoccupations pour les applications d’entreprise qui reposent sur les interactions IA multi-tours.

UN étude Par des chercheurs de Google Deepmind et du University College de Londres, ont révélé que les LLM ont affiché une tendance humaine à s’en tenir obstinément à leurs réponses initiales lorsqu’ils les rappellent, mais deviennent considérablement sous-confidentiels et enclins à changer d’avis lorsqu’ils sont présentés avec des conseils opposés, même lorsque ces conseils sont incorrects.

« Nous montrons que les LLMS – Gemma 3, GPT4O et O1-Preview – présentent un biais de choix de choix prononcé qui renforce et renforce leur estimation de la confiance dans leur réponse, ce qui a entraîné une résistance marquée pour changer d’avis », ont déclaré les chercheurs dans le document. «Nous démontrons en outre que les LLM sont nettement en surpoids incohérentes par rapport à des conseils cohérents, d’une manière qui s’écarte qualitativement de la mise à jour bayésienne normative.»