La recherche psychiatre avertit qu’il voit une vague de psychose de l’IA

Les experts en santé mentale continuent de sonner alarme cloches À propos des utilisateurs de chatbots d’IA qui se déchaînent dans des crises de santé mentale graves caractérisées par la paranoïa et les délires, une tendance qu’ils ont commencé à appeler «psychose de l’IA».

Lundi, Université de Californie, psychiatre de recherche de San Francisco Keith Sakata pris sur les réseaux sociaux Dire qu’il a vu une douzaine de personnes s’hospitaliser après avoir «perdu le contact avec la réalité à cause de l’IA».

Dans un fil de filetage X-Formerly TwitterSakata a précisé que la psychose est caractérisée par une personne qui se casse de la « réalité partagée » et peut apparaître de différentes manières – y compris des « fausses croyances » ou des délires, ainsi que par des hallucinations visuelles ou auditives et des modèles de pensée désorganisés. Notre cerveau, explique le chercheur, travaille sur une base prédictive: nous faisons efficacement une supposition éclairée sur la réalité, puis effectuons une vérification de la réalité. Enfin, nos cerveaux mettent à jour nos croyances en conséquence.

« La psychose se produit lorsque la » mise à jour « échoue », a écrit Sakata, avertissant que des chatbots de grande langue alimentés par modèle comme Chatgpt « glissent directement dans cette vulnérabilité ».

Dans ce contexte, Sakata a comparé les chatbots à un « miroir hallucinatoire » par conception. En termes simples, les LLM fonctionnent en grande partie pour prédire le mot suivant, en s’appuyant sur les données de formation, apprentissage du renforcementet les réponses de l’utilisateur lorsqu’ils formulent de nouvelles sorties. De plus, car les chatbots sont également incités à l’engagement et au contentement des utilisateurs, ils ont tendance à se comporter sycophantiques; En d’autres termes, ils ont tendance à être trop agréable et validant aux utilisateurs, même dans les cas où un utilisateur est incorrect ou mal.

Les utilisateurs peuvent ainsi se faire prendre dans Version de boucles récursives avec l’IAalors que le modèle double, triple et quadruple sur des récits délirants, quelle que soit leur base en réalité ou conséquences réelles Que l’utilisateur humain puisse vivre en conséquence.

Cette description du « miroir hallucinatoire » est une caractérisation cohérente avec Notre reportage sur la psychose de l’IA. Nous avons enquêté sur des dizaines de cas de relations avec Chatgpt et d’autres chatbots qui cèdent la place à de graves crises en santé mentale après l’entrée des utilisateurs dans des trous récursifs de lapin alimenté par l’IA.

Ces relations humaines-ai et le Les crises qui suivent avoir conduit à angoisse mentale, divorce, sans-abrisme, engagement involontaire, incarcérationet comme Le New York Times signalé pour la première foismême la mort.

Plus tôt ce mois-ci, en réponse au nombre croissant de rapports reliant Chatgpt à des spirales et à la psychose délirantes nocives, OpenAI publié un article de blog Admettant que Chatgpt, dans certains cas, « n’a pas réussi à reconnaître les signes d’illusion ou de dépendance émotionnelle » chez les utilisateurs. Il a déclaré avoir embauché de nouvelles équipes d’experts en la matière pour explorer le problème et installé une notification de temps de type Netflix – bien que Futurisme Trouvé rapidement que le chatbot n’arrivait toujours pas à reprendre signes évidents de crises en santé mentale chez les utilisateurs.

Et pourtant, lorsque GPT-5 – La dernière itération du LLM phare d’Openai, sorti la semaine dernière à Beaucoup de déception et de controverse – s’est avéré émotionnellement plus froid et moins personnalisé que GPT-4O, les utilisateurs ont plaidé avec l’entreprise pour ramener leur modèle bien-aimé de la produit du cimetière de produit.

En une journée, Openai a fait exactement ça.

« Ok, nous vous entendons tous sur 4O; merci pour le temps de nous donner les commentaires (et la passion!) » Openai PDG Sam Altman écrit sur reddit en réponse aux utilisateurs en détresse.

Dans le fil, Sakata a pris soin de noter que la liaison de l’IA aux ruptures à la réalité n’est pas la même chose que l’attribution de la cause, et que les LLM ont tendance à être l’un des nombreux facteurs – notamment « la perte de sommeil, les drogues, les épisodes d’humeur », selon le chercheur – qui mène à une rupture psychotique.

« L’IA est le déclencheur », écrit le psychiatre, « mais pas le pistolet. »

Néanmoins, le scientifique poursuit, la « vérité inconfortable » ici est que « nous sommes tous vulnérables », comme les mêmes traits qui rendent les humains « brillants » – comme l’intuition et la pensée abstraite – sont les traits mêmes qui peuvent nous pousser sur le rebord psychologique.

Il est également vrai que la validation et la sycophance, par opposition au frottement et au stress impliqués dans le maintien de relations réelles, sont profondément séduisantes. Il en va de même pour la plupart des spirales délirantes que les gens entrent, ce qui renforce souvent que l’utilisateur est « spécial » ou « choisi » d’une manière ou d’une autre. Ajoutez des facteurs tels que la maladie mentale, le chagrin et même juste les facteurs de stress quotidiens, ainsi que le Eliza Effetet ensemble, c’est une concoction dangereuse.

« Bientôt, les agents de l’IA vous connaîtront mieux que vos amis », écrit Sakata. « Vont-ils vous donner des vérités inconfortables? Ou continuer à vous valider pour ne jamais partir? »

« Les entreprises technologiques sont désormais confrontées à un choix brutal », a-t-il ajouté. « Gardez les utilisateurs heureux, même si cela signifie renforcer les fausses croyances. Ou risquez de les perdre. »

En savoir plus sur la psychose de l’IA: Le groupe de soutien lance pour les personnes souffrant de « psychose de l’IA »