Chatgpt a donné des traductions extrêmement inexactes – pour essayer de rendre les utilisateurs heureux

Les dirigeants informatiques de l’entreprise deviennent inconfortablement conscients que la technologie générative de l’IA (Genai) est toujours un travail en cours et y adhérer, c’est comme dépenser plusieurs milliards de dollars pour participer à un test alpha – pas même un test bêta, mais un tôt Alpha, où les codeurs peuvent à peine suivre les rapports de bogues.

Pour les personnes qui se souviennent des trois premières saisons de Saturday Night LiveGenai est l’algorithme ultime qui n’est pas prêt pour l’origine.

L’une des dernières preuves de cela vient d’Openai, qui a dû retirer timidement une version récente de Chatgpt (GPT-4O) Quand il – entre autres – a livré des traductions extrêmement inexactes.

Perdu dans la traduction

Pourquoi? Dans les paroles d’un CTO Qui a découvert le problème, « Chatgpt n’a pas traduit le document. Il a deviné ce que je voulais entendre, le mélangeant avec des conversations passées pour le faire se sentir légitime. Cela n’a pas simplement prédit les mots. Cela prédisait mes attentes. C’est absolument terrifiant, comme je l’ai vraiment cru. »

Openai a dit que Chatgpt était juste trop gentil.

« Nous avons reculé la mise à jour GPT-4O de la semaine dernière dans le chatppt afin que les gens utilisent maintenant une version antérieure avec un comportement plus équilibré. La mise à jour que nous avons supprimée était trop flatteuse ou agréable – souvent décrite comme sycophantique »,  » Openai a expliquéajoutant que dans cette «mise à jour GPT-4O, nous avons fait des ajustements visant à améliorer la personnalité par défaut du modèle pour que cela se sente plus intuitif et efficace dans une variété de tâches. Nous nous sommes trop concentrés sur les commentaires à court terme et ne tenons pas pleinement compte de la façon dont les interactions des utilisateurs avec les réponses qui ont été excessivement soutenues.

«… Chacune de ces qualités souhaitables, comme tenter d’être utile ou solidaire, peut avoir des effets secondaires involontaires. Et avec 500 millions de personnes utilisant le chatppt chaque semaine, dans chaque culture et contexte, un seul défaut ne peut pas capturer chaque préférence.»

Openai était délibérément obtus. Le problème n’était pas que l’application était trop polie et bien élevée. Ce n’était pas un problème pour imiter Miss Manners.

Je suis pas Être gentil si vous me demandez de traduire un document et que je vous dis ce que je pense que vous voulez entendre. Cela s’apparente à Excel à prendre vos chiffres financiers et à rendre le revenu net beaucoup plus important, car cela pense que cela vous rendra heureux.

De la même manière que les décideurs informatiques s’attendent à ce qu’Excel calcule les nombres avec précision, quelle que soit la façon dont cela peut avoir un impact sur notre humeur, ils s’attendent à ce que la traduction d’un document chinois ne se compose pas.

Openai ne peut pas mettre en valeur ce gâchis en disant que «les qualités souhaitables comme tenter d’être utiles ou solidaires peuvent avoir des effets secondaires involontaires». Soyons clairs: donner aux gens de mauvaises réponses aura l’effet précisément attendu – de mauvaises décisions.

Yale: LLMS a besoin de données étiquetées comme erronées

Hélas, les efforts de bonheur d’Openai n’étaient pas la seule nouvelle bizarre Genai ces derniers temps. Des chercheurs de l’Université de Yale ont exploré une théorie fascinante: Si un LLM n’est formé que sur des informations étiquetées comme étant correctes – que les données soient réellement correctes ne sont pas matérielles – elle n’a aucune chance d’identifier des données imparfaites ou très peu fiables car elle ne sait pas à quoi elle ressemble.

En bref, s’il n’a jamais été formé sur des données étiquetées comme fausses, comment pourrait-elle la reconnaître? (Le Étude complète de Yale est ici.)

Même le gouvernement américain trouve que les affirmations de Genai allaient trop loin. Et quand les fédéraux disent qu’un mensonge va trop loin, c’est tout à fait une déclaration.

FTC: le vendeur Genai fait de fausses réclamations trompeuses

La Federal Trade Commission (FTC) américaine a constaté qu’un modèle de grande langue (LLM) Vendeur, Workado, tromper les personnes avec des affirmations erronées sur l’exactitude de son produit de détection LLM. Il veut que le vendeur «maintienne des preuves compétentes et fiables montrant que ces produits sont aussi exacts que ce que l’on prétend».

Les clients «ont fait confiance au détecteur de contenu de l’IA de Workado pour les aider à déchiffrer si l’IA était derrière un morceau d’écriture, mais le produit n’a fait pas mieux qu’un tirage au sort», a déclaré Chris Mufarrige, directeur du Bureau de protection des consommateurs de la FTC. «Les affirmations trompeuses sur l’IA sapent la concurrence en rendant plus difficile pour les prestataires légitimes de produits liés à l’IA pour atteindre les consommateurs.

«… L’ordonnance établit des allégations selon lesquelles Workado a promu son détecteur de contenu d’IA en tant que« 98 pour cent »exact pour détecter si le texte a été écrit par l’IA ou l’homme. Mais les tests indépendants ont montré que le taux de précision sur le contenu à usage général n’était que de 53%», selon le Plainte administrative de la FTC.

«La FTC allègue que Workado a violé la loi sur la FTC parce que la réclamation de« 98 pour cent »était fausse, trompeuse ou non substantielle.»

Il y a une leçon critique ici pour l’interprise. Les vendeurs de Genai font des réclamations majeures pour leurs produits sans documentation significative. Vous pensez que Genai invente des trucs? Imaginez ce qui sort des services de marketing de leurs fournisseurs.