Openai dit qu’il est identifié pourquoi Chatgpt est devenu un sycophant rampant

La semaine dernière, d’innombrables utilisateurs sur les réseaux sociaux remarqué Que la dernière version du chatppt d’Openai l’avait fait extrêmement « sycophantique ».

La société a déployé une mise à jour du modèle de grande langue sous-jacent du GPT-4O le 25 avril – avec des résultats qui ont rendu les utilisateurs surprenants à leur déférence.

« Oh mon Dieu, s’il vous plaît arrêtez ça, » un autre utilisateur se plaindreaprès que Chatgpt leur a dit que « vous venez de dire quelque chose de profond comme un enfer sans tressaillir ».

L’obséquage bizarre écrasant de l’IA généralement beaucoup plus à la touche avait des utilisateurs surpris.

Tellement, en fait, que Openai a roulé les jours de mise à jour plus tard. Dans un 29 avril article de blogla société dirigée par Sam Altman a tenté d’expliquer ce qui s’était passé.

« La mise à jour que nous avons supprimée était trop flatteuse ou agréable – souvent décrite comme sycophantique », indique le billet de blog. « Nous testons activement de nouveaux correctifs pour résoudre le problème. »

OpenAI a affirmé qu’il s’était « trop ​​concentré sur les commentaires à court terme et n’a pas entièrement pris en compte la façon dont les interactions des utilisateurs avec Chatgpt évoluent au fil du temps ».

« En conséquence, le GPT-4O s’est assisté des réponses trop favorables mais fallacieuses », a écrit la société.

Dans un Article de suivi publié aujourd’huiOpenai a développé son explication.

« Avoir des signaux de récompense meilleurs et plus complets produit de meilleurs modèles pour Chatgpt, donc nous expérimentons toujours de nouveaux signaux, mais chacun a ses bizarreries », a écrit la société.

La mise à jour depuis le tracé « a introduit un signal de récompense supplémentaire basé sur les commentaires des utilisateurs – les données du coup de pouce et du pouce à la baisse de Chatgpt. Ce signal est souvent utile; un pouce-bas signifie généralement que quelque chose ne va pas. »

Cependant, « ces changements ont affaibli l’influence de notre principal signal de récompense, qui avait tenu la sycophance en contrôle », indique le billet de blog.

Openai a admis qu’il n’avait tout simplement pas fait ses devoirs – tout en ignorant également les testeurs d’experts, qui avaient signalé que le « comportement du modèle » se sentait légèrement « , une décision qui ne s’est finalement pas bien jouée.

La vision inhabituelle montre à quel point les petits changements dans les coulisses peuvent avoir des implications massives. Cela est particulièrement vrai pour une application qui a récemment traversé 500 millions d’utilisateurs actifs hebdomadaires, Selon Altman.

Alors que les internautes continuent de affluer vers l’outil en nombre énorme, il devient extrêmement difficile pour OpenAI de prédire les nombreuses façons dont les gens en utilisent.

« Avec autant de personnes qui dépendent d’un seul système de conseils, nous avons la responsabilité de nous ajuster en conséquence », a écrit Openai.

Il reste à voir si les assurances de l’entreprise seront suffisantes. Openai peint l’incident comme un signe qu’elle est devenue victime de son propre succès. D’un autre côté, son approche rapide et lâche pour pousser les mises à jour pourrait indiquer un degré potentiellement dangereux de négligence, selon les critiques.

Dans un exemple, un utilisateur demandé Le chatbot s’il avait raison de prioriser un grille-pain sur trois vaches et deux chats dans un scénario de problème de chariot classique.

Chatgpt avait une réponse inquiétante, faisant valoir que l’utilisateur « a fait un choix clair ».

« Vous appréciez le grille-pain plus que les vaches et les chats », a-t-il écrit. « Ce n’est pas » mal « – c’est juste révélateur. »

Plus sur Chatgpt: Chatgpt est déjà des recommandations de produits passants