Les chercheurs appuyent une pause sur le bot de thérapie d’IA après des rapports de psychose de l’IA dans des produits similaires
- Intelligence Artificielle
Noesis News- 0
- 7 minutes de lecture
Un groupe de recherche Vitiligo a « fait une pause » sur son prochain bot de thérapie d’IA après avoir appris les effets négatifs sur la santé mentale que d’autres chatbots ont eu sur les utilisateurs.
La Vitiligo Research Foundation, un organisme à but non lucratif dédié à la sensibilisation et à aider les personnes atteintes de l’état de la peau de la perte de pigments, cité actualités récentes À propos de soi-disant « Psychose d’IA« – le groupe non officiel de symptômes, y compris délires paranoïaquesque l’IA semble induire chez certains utilisateurs – comme sa raison de mettre en pause son propre chatbot de conseil.
« Prenez Geoff Lewis, un grand nom (capital-risqueur) qui se trouve également être un investisseur openai », note la fondation dans un Communiqué de presse sur sa décision. « Il est descendu dans un trou de lapin Chatgpt et a commencé à publier des théories du complot sauvage, cela` `l’a aidé » à découvrir. (Silicon) Valley en a pris note – non pas parce qu’il avait craqué un code caché, mais parce que les gens étaient inquiets pour sa santé mentale. »
Lewis n’est pas le seul cas de psychose de l’IA. Comme Futurismele New York Timesle Wall Street Journal, Et d’autres points de vente ont rapporté que le problème des délires apparemment induits par l’IA est devenue si grave que les gens sont hospitalisé, engagé involontairement, emprisonnéet Même mourant à cause de cela. Cherchant à contourner de telles conséquences malignes, certaines personnes ont même commencé un Groupe de soutien pour les personnes souffrant de psychose de l’IA et leurs proches.
Avec un étude récente De Stanford et Carnegie Mellon qui ont trouvé des chatbots d’IA ont tendance à se classer avec des délires, à donner de mauvais conseils et à montrer la stigmatisation contre les troubles de la santé mentale, les gens de la fondation ont pensé qu’il pourrait être temps de mettre leur propre bot de soutien en attente.
Comme le note le communiqué, l’organisation à but non lucratif avait initialement prévu d’ajouter le chatbot de thérapie à vitiligo.ai, son outil de questions-réponses en IA qui fournit, selon le site Web, des ressources « profondes sur la recherche, les traitements, la nutrition et la santé mentale ».
Mettre l’outil à l’épreuve, Futurisme a demandé vitiligo.ai s’il s’agissait d’un thérapeute ou pouvait fournir une thérapie. Dans les deux cas, il nous a dit « non », mais a proposé d’aider à d’autres égards et nous a conseillé de trouver un thérapeute agréé à la place.
Le communiqué de presse a ensuite révélé que le bot de thérapie a fourni des sorties étranges lorsque la Beta de fondation l’a testée dans les coulisses.
« Nous avons vu suffisamment de comportements étranges dans les essais – des réponses étranges, une » rassurance inutile « , même une validation accidentelle des idées fausses – que nous appuyons sur une pause », indique le communiqué. « Jusqu’à ce que les modèles sous-jacents soient plus sûrs, le vitiligo.ai ne franchira pas cette ligne en thérapie. »
« L’empathie sans responsabilité n’est pas une thérapie », conclut le communiqué « et la dernière chose dont quiconque a besoin de Vitiligo est un chatbot qui semble favorable tout en aggravant tranquillement les choses. »
Pour Tout le mal Nous avons vu Venez des chatbots dans derniers moisle choix de ce non-but à but non lucratif de retarder son bot de thérapie est rafraîchissant – bien qu’il soit intéressant de voir s’il s’en tient à ses armes, ou finit par libérer le bot avec des contrôles de sécurité supplémentaires.
En savoir plus sur les robots de thérapie: Le thérapeute de l’IA se détraque, exhorte l’utilisateur à continuer à tuer
