Les législateurs de Californie s’attaquent aux dangers potentiels des chatbots de l’IA après que les parents aient soulevé des problèmes de sécurité

Lorsque son fils de 14 ans s’est suicidé après avoir interagi avec des chatbots d’intelligence artificielle, Megan Garcia a transformé son chagrin en action.

L’année dernière, la maman de Floride a poursuivi le personnage.ai, une plate-forme où les gens peuvent créer et interagir avec des personnages numériques qui imitent les gens réels et fictifs.

Garcia a allégué dans un procès fédéral Le fait que les chatbots de la plate-forme ont nui à la santé mentale de son fils, Sewell Setzer III, et de la société Menlo Park, en Californie, n’ont pas réussi à l’informer ou à offrir de l’aide lorsqu’il a exprimé des pensées suicidaires à ces personnages virtuels.

Maintenant, Garcia soutient la législation de l’État qui vise à protéger les jeunes des chatbots « compagnon » qu’elle dit « sont conçus pour engager des utilisateurs vulnérables dans des conversations romantiques et sexuelles inappropriées » et « encourager l’automutilation ».

« Au fil du temps, nous aurons besoin d’un cadre réglementaire complet pour faire face à tous les méfaits, mais en ce moment, je suis reconnaissant que la Californie soit à l’avant-garde de ce terrain », a déclaré Garcia lors d’une conférence de presse mardi avant une audience à Sacramento pour revoir le projet de loi.

Alors que les entreprises se déplacent rapidement pour faire progresser les chatbots, les parents, les législateurs et les groupes de défense des enfants craignent qu’il ne soit pas suffisamment de garanties en place pour protéger les jeunes des dangers potentiels de la technologie.

Pour résoudre le problème, les législateurs de l’État ont présenté un projet de loi qui obligerait les opérateurs de compagnon chatbot Plateformes pour rappeler aux utilisateurs au moins toutes les trois heures que les personnages virtuels ne sont pas humains. Les plateformes devraient également prendre d’autres mesures telles que la mise en œuvre d’un protocole pour lutter contre les idées suicidaires, le suicide ou l’automutilation exprimés par les utilisateurs. Cela comprend la démonstration des ressources de prévention du suicide des utilisateurs.

Dans le cadre du projet de loi 243 du Sénat, l’exploitant de ces plateformes rapporterait également le nombre de fois qu’un chatbot compagnon a évoqué des idées ou des actions de suicide avec un utilisateur, ainsi que d’autres exigences.

La législation, qui a nettoyé le comité judiciaire du Sénat, n’est qu’une façon dont les législateurs de l’État tentent de lutter contre les risques potentiels posés par l’intelligence artificielle alors que les chatbots augmentent en popularité auprès des jeunes. Plus de 20 millions de personnes utilisent du personnage.ai chaque mois et les utilisateurs ont créé des millions de chatbots.

Les législateurs disent que le projet de loi pourrait devenir un modèle national pour les protections de l’IA et que certains des partisans du projet de loi incluent le groupe de défense des enfants Common Sense Media et l’American Academy of Pediatrics, en Californie.

« L’innovation technologique est cruciale, mais nos enfants ne peuvent pas être utilisés comme cobayes pour tester la sécurité des produits. Les enjeux sont élevés », a déclaré le sénateur Steve Padilla, D-Chula Vista, l’un des législateurs qui a présenté le projet de loi, lors de l’événement assisté par Garcia.

Mais industrie technologique et groupes d’affairesy compris Technet et la Chambre de commerce de Californie, s’opposent à la législation, en disant aux législateurs qu’il imposerait des « exigences inutiles et lourdes aux modèles d’IA à usage général ». La Electronic Frontier Foundation, un groupe de défense des droits numériques à but non lucratif basé à San Francisco, affirme que la législation soulève des questions de premier amendement.

« Le gouvernement a probablement un intérêt impérieux à prévenir le suicide. Mais ce règlement n’est pas étroitement adapté ou précis », a écrit Eff aux législateurs.

Le personnage.ai a également fait surface des préoccupations du 1er amendement concernant le procès de Garcia. Ses avocats ont demandé à un tribunal fédéral en janvier de rejeter l’affaire, déclarant qu’une conclusion en faveur des parents violerait le droit constitutionnel des utilisateurs à la liberté d’expression.

Chelsea Harrison, porte-parole de personnage.ai, a déclaré dans un e-mail que l’entreprise prend au sérieux la sécurité des utilisateurs et son objectif est de fournir « un espace engageant et sûr ».

« Nous travaillons toujours à parvenir à cet équilibre, tout comme de nombreuses entreprises utilisant l’IA dans toute l’industrie. Nous nous réjouissons de travailler avec les régulateurs et les législateurs alors qu’ils commencent à considérer la législation pour cet espace émergent », a-t-elle déclaré dans un communiqué.

Elle a cité de nouvelles fonctionnalités de sécurité, y compris un outil qui permet aux parents de voir combien de temps leurs adolescents passent sur la plate-forme. La société a également cité ses efforts pour modérer le contenu potentiellement nocif et diriger certains utilisateurs vers la ligne de vie nationale du suicide et de la crise.

Les sociétés de médias sociaux, dont Snap et la société mère de Facebook Meta, ont également publié des chatbots AI dans leurs applications pour rivaliser avec le chatppt d’Openai, que les gens utilisent pour générer du texte et des images. Bien que certains utilisateurs aient utilisé Chatgpt pour obtenir des conseils ou un travail complet, certains se sont également tournés vers ces chatbots pour jouer le rôle d’un petit ami ou d’un ami virtuel.

Les législateurs sont également aux prises avec la façon de définir le «chatbot compagnon». Certaines applications telles que Replika et Kindroid commercialisent leurs services en tant que compagnons IA ou amis numériques. La facture ne s’applique pas aux chatbots conçus pour le service client.

Padilla a déclaré lors de la conférence de presse que la législation se concentre sur la conception des produits « intrinsèquement dangereuse » et est destinée à protéger les mineurs.

2025 Los Angeles Times. Distribué par Tribune Content Agency, LLC.