Le juge gifle la tentative de rejeter le procès en affirmant que l’IA a provoqué le suicide d’un adolescent de 14 ans

Avertissement de contenu: cette histoire comprend une discussion sur l’automutilation et le suicide. Si vous êtes en crise, veuillez appeler, envoyer un SMS ou discuter avec la ligne de vie Suicide and Crisis au 988, ou contactez la ligne de texte de crise en envoyant un texto à 741741.

Un juge en Floride vient de rejeter une requête en rejet d’une action en justice alléguant que le personnage de démarrage de Chatbot.ai – et son bienfaiteur étroitement liéGoogle – a causé le décès par le suicide d’un utilisateur de 14 ans, ouvrant la voie à la première action en son genre à avancer devant le tribunal.

La poursuite, déposée en octobre, affirme que les chatbots ont été imprudents. Les chatbots a abusé sexuellement et émotionnellement d’un utilisateur adolescent, Sewell Setzer III, entraînant une utilisation obsessionnelle de la plate-forme, des souffrances mentales et émotionnelles, et finalement son suicide en février 2024.

En janvier, les défendeurs dans l’affaire – personnage.ai, Google, et personnages.ai cofondateurs Noam Shazeer et Daniel de Freitas – ont déposé une requête en rejet de l’affaire principalement pour les motifs du premier amendement, arguant que les résultats de chatbot générés par l’AI-AI sont considérés comme un discours, et que « la parole prétendument nuisible, y compris la parole qui résulte du suicide, » est protégé sous la première amendement.

Mais cet argument ne l’a pas tout à fait coupé, a jugé le juge, du moins pas à ce stade précoce. En elle avisla juge de district américaine, Anne Conway, a déclaré que les sociétés ne montraient pas suffisamment que les résultats générés par l’IA produits par des modèles de grande langue (LLM) sont plus que de simples mots – par opposition à la parole, qui dépend de l’intention.

Les défendeurs «ne parviennent pas à s’articuler», a écrit Conway dans sa décision: «Pourquoi les mots réprimés par un LLM sont un discours».

La requête en licenciement a connu un certain succès, Conway rejetant des allégations spécifiques concernant «l’infliction intentionnelle de détresse émotionnelle» ou IIED. (Il est difficile de prouver que la personne qui l’aurait souffert, dans ce cas, n’est plus en vie.)

Pourtant, la décision est un coup dur pour les accusés de grande puissance de la Silicon Valley qui avaient cherché à faire en sorte que le costume soit entièrement jeté.

De manière significative, l’opinion de Conway permet à Megan Garcia, la mère de Setzer et le demandeur dans l’affaire, pour poursuivre le caractère.ai, Google, Shazeer et De Freitas pour des raisons de responsabilité du fait des produits. Garcia et ses avocats soutiennent que le personnage.ai est un produit et qu’il a été déployé imprudemment au public, les adolescents inclus, malgré risques.

Aux yeux de la loi, les entreprises technologiques préfèrent généralement voir leurs créations comme servicescomme l’électricité ou Internet, plutôt que produitscomme voitures ou Soules de friture antiadhésives. Les services ne peuvent pas être tenus responsables des réclamations en responsabilité du fait des produits, y compris les réclamations de négligence, mais les produits le peuvent.

Dans un communiqué, le directeur du projet de judiciaire de la technologie de la technologie et fondatrice Metalin Jain, qui est coconseil de Garcia aux côtés du fondateur du Centre des victimes de médias sociaux, Matt Bergman, a célébré la décision comme une victoire – non seulement pour ce cas particulier, mais pour les défenseurs de la politique technologique.

« Avec la décision d’aujourd’hui, un juge fédéral reconnaît le droit d’une mère en deuil d’accéder aux tribunaux pour détenir de puissantes entreprises technologiques – et leurs développeurs – responsables de la commercialisation d’un produit défectueux qui a entraîné la mort de son enfant », a déclaré Jain.

« Cette décision historique permet non seulement à Megan Garcia de rechercher la justice que sa famille mérite », a ajouté Jain, « mais établit également un nouveau précédent pour la responsabilité juridique à travers l’IA et l’écosystème technologique. »

Le personnage.ai a été fondé par Shazeer et De Freitas en 2021; Le duo avait travaillé ensemble sur des projets d’IA chez Google et est parti ensemble pour lancer sa propre startup Chatbot. Google a fourni le caractère.ai avec son infrastructure nuageuse essentielle et en 2024 les sourcils levés quand il caractère payant.ai 2,7 milliards de dollars Pour obtenir une licence sur les données de l’entreprise de chatbot – et amener ses cofondateurs, ainsi que 30 autres employés de caractère. Shazeer, en particulier, occupe désormais une position extrêmement influente chez Google Deepmind, où il sert de vice-président et codirigeant pour Gemini LLM de Google.

Google n’a pas répondu à une demande de commentaires au moment de la publication, mais un porte-parole du géant de la recherche dit Reuters que google et caractère.ai sont « entièrement séparés » et que Google « n’a pas créé, conçu ou géré » l’application de caractères.ai « ou une partie composante de celui-ci ».

Dans un communiqué, un porte-parole de Character.ai a mis l’accent sur les récentes mises à jour de sécurité publiées à la suite de la nouvelle du procès de Garcia, et a déclaré qu’il « attendait avec impatience » sa défense continue:

Il est vrai depuis longtemps que la loi prend du temps pour s’adapter aux nouvelles technologies, et l’IA n’est pas différente. Dans l’ordonnance d’aujourd’hui, le tribunal a clairement indiqué qu’il n’était pas prêt à régner sur tout le caractère.

Nous nous soucions profondément de la sécurité de nos utilisateurs et de notre objectif est de fournir un espace engageant et sûr. Nous avons lancé un certain nombre de fonctionnalités de sécurité qui visent à atteindre cet équilibre, y compris une version distincte de notre modèle de modèle de grand langage pour les utilisateurs de moins de 18 ans, des informations parentales, des caractères filtrés, une notification de temps passé, des avertissements proéminents mis à jour et plus encore.

De plus, nous avons un certain nombre de protections techniques visant à détecter et à prévenir les conversations sur l’automutilation sur la plate-forme; Dans certains cas, cela comprend la refonte d’un pop-up spécifique qui dirige les utilisateurs vers le Suicide et la Crisis Lifeline National.

Toute modification axée sur la sécurité, cependant, a été apportée des mois après la mort de Setzer et après le dépôt éventuel du procès, et ne peut s’appliquer à la décision ultime de la Cour dans l’affaire.

Pendant ce temps, les journalistes et les chercheurs continuer pour trouver trous Dans les protocoles de sécurité Upxexatés du site Chatbot. Des semaines après l’annonce de la nouvelle du procès, par exemple, nous avons continué à trouver des chatbots expressément dédiés à l’automutilation, toilettage et pédophilie, troubles de l’alimentationet violence massive. Et une équipe de chercheurs, y compris des psychologues à Stanford, récemment trouvé que l’utilisation d’une caractéristique vocale de personnage appelé « appels de caractère » fait efficacement tout semblant de gardiens – et a déterminé qu’aucun enfant de moins de 18 ans ne devrait utiliser des compagnons AI, y compris le caractère.ai.

Plus sur le personnage.ai: Les chercheurs de Stanford disent qu’aucun enfant de moins de 18 ans ne devrait utiliser des compagnons de chatbot AI