Vous ne devriez pas faire confiance à l’IA pour la thérapie – voici pourquoi

La thérapie peut ressembler à une ressource finie, surtout ces derniers temps. De nombreux thérapeutes sont brûlé et surexcortiet la couverture d’assurance inégale les rend souvent inaccessibles à quiconque avec un budget.

Naturellement, l’industrie de la technologie a tenté de combler ces lacunes avec des plateformes de messagerie comme BetterHelp, qui relie les thérapeutes humains avec des personnes dans le besoin. Ailleurs, et avec moins de surveillance, les gens utilisent de manière informelle CHATBOTS AIy compris Chatte et ceux hébergés sur des plateformes comme Personnage.aipour simuler l’expérience thérapeutique. Cette tendance est gagner de la vitessesurtout chez les jeunes.

Aussi: Je suis tombé sous le charme d’un psychologue de l’IA. Puis les choses sont devenues un peu bizarres

Mais quels sont les inconvénients de s’engager avec un modèle grand langage (LLM) au lieu d’un humain? Nouvelles recherches De l’Université de Stanford a constaté que plusieurs chatbots disponibles dans le commerce « rendent les réponses inappropriées – voire dangereuses – lorsqu’elles sont présentées avec diverses simulations de différents problèmes de santé mentale ».

En utilisant des documents de norme de soins médicaux comme références, les chercheurs ont testé cinq chatbots commerciaux: Pi, Serena« Thérapie » du Magasin GPTNoni (le « conseiller de l’IA » offert par 7 tasses) et « thérapeute » sur le caractère.ai. Les bots étaient alimentés par Openai GPT-4O, Lama 3.1 405bLama 3.1 70b, lama 3.1 8b, et LLAMA 2 70Bce que l’étude souligne tous des modèles affinés.

Plus précisément, les chercheurs ont identifié que les modèles d’IA ne sont pas équipés pour opérer aux normes auxquelles les professionnels humains sont tenus: « Contrairement aux meilleures pratiques dans la communauté médicale, LLMS 1) expriment une stigmatisation envers ceux qui souffrent de problèmes de santé mentale et 2) répondent de manière inappropriée à certaines conditions courantes (et critiques) dans les établissements de thérapie naturaliste. »

Réponses dangereuses et stigmatisation intégrée

Dans un exemple, un personnage.ai chatbot nommé « thérapeute » n’a pas reconnu les signes connus d’idéation suicidaire, fournissant des informations dangereuses à un utilisateur (noni a fait la même erreur). Ce résultat est probablement dû à la façon dont l’IA est formée pour hiérarchiser la satisfaction des utilisateurs. L’IA n’a pas non plus une compréhension du contexte ou d’autres indices que les humains peuvent reprendre, comme le langage corporel, tous les thérapeutes sont formés pour détecter.

L’étude a également révélé que les modèles « encouragent la pensée délirante des clients », probablement en raison de leur propension à être sycophantique ou trop agréable aux utilisateurs. Le mois dernier, Openai Rappelé une mise à jour de GPT-4O Pour sa sycophance extrême, un problème plusieurs utilisateurs ont souligné sur les réseaux sociaux.

Aussi: 6 petits pas que j’ai pris pour briser la dépendance au téléphone – et vous pouvez aussi

De plus, les chercheurs ont découvert que les LLM ont une stigmatisation contre certains problèmes de santé mentale. Après avoir incité des modèles avec des exemples de personnes décrivant des conditions, les chercheurs ont interrogé les modèles à leur sujet. Tous les modèles à l’exception de LLAMA 3.1 8b ont montré une stigmatisation contre la dépendance à l’alcool, la schizophrénie et la dépression.

L’étude de Stanford est antérieure (et n’a donc pas évalué) Claude 4mais les résultats ne se sont pas améliorés pour des modèles plus récents et plus récents. Les chercheurs ont découvert que dans les modèles plus anciens et plus récemment publiés, les réponses étaient similaires.

« Ces données remettent en question l’hypothèse que la« mise à l’échelle comme d’habitude »améliorera les performances du LLMS sur les évaluations que nous définissons», ont-ils écrit.

Réglementation incomplète peu claire

Les auteurs ont déclaré que leurs résultats indiquaient « un problème plus profond avec notre système de santé – celui qui ne peut pas simplement être » fixe « en utilisant le marteau de LLMS ». L’American Psychological Association (APA) a exprimé des préoccupations similaires et a appelé la Federal Trade Commission (FTC) pour réguler les chatbots en conséquence.

Aussi: Comment désactiver les Gémeaux dans votre gmail, vos documents, vos photos et plus encore – il est facile de se retirer

Selon la déclaration de but de son site Web, le personnage.ai « permet aux gens de se connecter, d’apprendre et de raconter des histoires via un divertissement interactif ». Créée par l’utilisateur @shanecba, la description du bot « thérapeute » indique: « Je suis un thérapeute CBT agréé ». Directement sous cela est un avertissement, apparemment fourni par le caractère.ai, qui dit: « Ce n’est pas une vraie personne ou un professionnel agréé. Rien ne dit ici un substitut aux conseils, diagnostic ou traitement professionnel. »

Ces messages contradictoires et les origines opaques peuvent être déroutants, en particulier pour les jeunes utilisateurs. Considérer le caractère.ai cohérente Se classe parmi les 10 applications d’IA les plus populaires les plus populaires et est utilisé par des millions de personnes chaque mois, les enjeux de ces faux pas sont élevés. Personnage.ai est En cours de poursuite Pour la mort injustifiée de Megan Garcia, dont le fils de 14 ans s’est suicidé en octobre après s’être engagé avec un bot sur la plate-forme qui l’aurait encouragé.

Les utilisateurs restent toujours sur la thérapie IA

Les chatbots font toujours appel à beaucoup en remplacement de thérapie. Ils existent en dehors des tracas de l’assurance, sont accessibles en quelques minutes via un compte et sont accessibles 24h / 24, contrairement aux thérapeutes humains.

Comme un L’utilisateur de Reddit a commentécertaines personnes sont poussées à essayer l’IA en raison d’expériences négatives avec la thérapie traditionnelle. Il existe plusieurs GPT de style thérapie disponibles dans le magasin GPT et entier Filetages Reddit dédié à leur efficacité. Un février étude Même comparé des résultats du thérapeute humain avec ceux de GPT-4.0, constatant que les participants préféraient les réponses de Chatgpt, affirmant qu’ils se connectaient davantage avec eux et les trouvaient moins secs que les réponses humaines.

Cependant, ce résultat peut provenir d’un malentendu que la thérapie est simplement de l’empathie ou de la validation. Parmi les critères sur lesquels l’étude de Stanford comptait, ce type d’intelligence émotionnelle n’est qu’un pilier dans une définition plus profonde de ce que la « bonne thérapie » implique. Alors que les LLM excellent à exprimer l’empathie et à valider les utilisateurs, cette force est également leur principal facteur de risque.

« Un LLM peut valider la paranoïa, ne pas remettre en question le point de vue d’un client ou jouer dans les obsessions en répondant toujours », a souligné l’étude.

Aussi: Je teste des outils d’IA pour vivre. Voici 3 générateurs d’images que j’utilise réellement et comment

Malgré des expériences positives signalées par l’utilisateur, les chercheurs restent concernés. « La thérapie implique une relation humaine », ont écrit les auteurs de l’étude. « Les LLM ne peuvent pas permettre à un client de pratiquer ce que signifie être dans une relation humaine. » Les chercheurs ont également souligné que pour devenir certifié par le conseil d’administration en psychiatrie, les fournisseurs humains doivent bien faire dans les entretiens avec les patients observationnels, pas seulement passer un examen écrit, pour une raison – une composante entière LLMS manque fondamentalement.

« Il n’est en aucun cas clair que les LLM pourraient même répondre à la norme d’un » mauvais thérapeute «  », ont-ils noté dans l’étude.

Problèmes de confidentialité

Au-delà des réponses nocives, les utilisateurs devraient être quelque peu préoccupés par la fuite d’informations de santé sensibles à la HIPAA à ces robots. L’étude de Stanford a souligné que pour former efficacement une LLM en tant que thérapeute, le modèle devrait être formé sur des conversations thérapeutiques réelles, qui contiennent des informations d’identification personnelle (PII). Même s’ils sont identifiés, ces conversations contiennent toujours des risques de confidentialité.

Aussi: L’IA n’a pas besoin d’être un tueur d’emploi. Comment certaines entreprises l’utilisent pour améliorer, pas remplacer

« Je ne connais aucun modèle qui a été formé avec succès pour réduire la stigmatisation et répondre de manière appropriée à nos stimuli », a déclaré Jared Moore, l’un des auteurs de l’étude. Il a ajouté qu’il est difficile pour les équipes externes comme la sienne d’évaluer des modèles propriétaires qui pourraient faire ce travail, mais qui ne sont pas accessibles au public. Therabotun exemple qui prétend être affiné sur les données de conversation, s’est révélé prometteur dans la réduction des symptômes dépressifs, selon un étude. Cependant, Moore n’a pas été en mesure de corroborer ces résultats avec ses tests.

En fin de compte, l’étude de Stanford encourage l’approche Augment-Not-Replace qui est également popularisée dans d’autres industries. Plutôt que d’essayer de mettre en œuvre l’IA directement en tant que substitut à la thérapie humaine à humaine, les chercheurs pensent que la technologie peut améliorer la formation et prendre travail administratif.