Les sénateurs demandent les dossiers de sécurité des applications de chatbot AI

Deux sénateurs ont envoyé une lettre à plusieurs sociétés de compagnies d’IA pour demander des informations sur leurs pratiques de sécurité, y compris des détails sur les évaluations internes de la sécurité et les délais de la mise en œuvre des garde-corps, comme CNN Signalé hier.

Le action suit le dépôt de Deux poursuites de protection de l’enfance de haut niveau Contre le personnage de startup de chatbot lié à Google., qui a été accusé dans les documents judiciaires par trois familles pour faciliter la violence sexuelle et émotionnelle des utilisateurs mineurs, entraînant prétendument des souffrances mentales et émotionnelles sévères, des changements comportementaux et un décès. (Google et le personnage.ai cofondateurs Noam Shazeer et Daniel de Freitas sont également nommés défendeurs dans les poursuites.)

Rédigée par les sénateurs démocrates Alex Padilla de Californie et Peter Welch du Massachusetts, la lettre cite les détails des accusations contre le caractère.

« Nous écrivons pour exprimer nos préoccupations concernant les risques de santé mentale et de sécurité posés aux jeunes utilisateurs des applications de chatbot et compagnon basées sur les personnages et les personnages »,  » lit la lettre« y compris le caractère.ai. »

La mort de Setzer, signalé pour la première fois par Le New York Timesfait les gros titres en octobre après sa mère, Megan Garciaa déposé la première des deux poursuites en cours de protection de l’enfance contre la startup de chatbot. La deuxième plainte a été déposée au Texas en décembre au nom de deux autres familles dont les enfants mineurs auraient subi des dommages mentaux et physiques importants à la suite de l’utilisation du service. L’un d’eux, qui avait 15 ans lorsqu’il a commencé à utiliser l’application, a commencé à s’automourer physiquement après avoir discuté de l’automutilation avec un personnage.ai bot.

Les deux poursuites, qui soutiennent ensemble que le personnage.ai et son bienfaiteur Google ont sciemment publié un produit dangereux et non testé sur le marché, ont fait des vagues parmi le public, en particulier les parents. Et maintenant, il semble que les législateurs de Capitol Hill y fassent attention.

« À la lumière des rapports récents d’automutilation associés à cette catégorie d’applications émergente, y compris le suicide tragique d’un garçon de 14 ans », continue la lettre, demandant que les destinataires « répondent en écrivant les étapes que vous prenez pour garantir que les interactions se déroulent sur vos produits – entre les mineurs et vos proches. »

Selon un communiqué de presse, la lettre a été envoyée au personnage.ai, Chai Research Corpet Replike Maker Luka, Inc.

Replika, qui est un joueur dans l’espace compagnon numérique depuis de nombreuses années, est actuellement Faire face à une plainte de la Federal Trade Commission des groupes de plaidoyer alléguant qu’il est engagé dans des pratiques de marketing trompeuses visant accrocher les utilisateurs vulnérables. Les autres controverses de Replika incluent son rôle présumé dans l’encouragement d’un jeune homme en difficulté au Royaume-Uni à tenter d’assassiner feu la reine Elizabeth II avec une arbalète, ainsi que des hommes utilisant l’application pour abuser des copines virtuelles.

Les trois sociétés proposent une version d’un produit similaire: l’accès à des chatbots émotifs et réalistes conçus pour incarner des personnages spécifiques. (Pensez aux personnages comme « Goth Girlfriend », des versions Ersatz AI de célébrités, de faux thérapeutes ou d’autres robots de style professionnel, ou pratiquement tout personnage fictif existant.)

Dans certains cas, les utilisateurs permettent de vastes matches de rôle fictifs avec les bots; D’autres traitent les personnages comme des confidents de confiance, les utilisateurs développant fréquemment des relations émotionnelles, romantiques ou sexuelles avec les personnages.

Mais alors que les applications compagnons se sont proliférées au milieu du boom de l’IA, les experts ont toujours averti Que les mêmes conceptions qui les rendent si engageantes – leur penchant pour la sycophance et la flatterie, la disponibilité toujours sur la disponibilité et le ténor de type humain, pour n’en nommer que quelques-uns – peuvent mettre utilisateurs vulnérables à un risque accru de nuire.

La lettre des sénateurs parle de ces préoccupations, écrivant que «l’attention synthétique» de ces robots donne aux utilisateurs »et a déjà conduit à des niveaux dangereux d’attachement et à une confiance non gagnée résultant de l’intimité sociale perçue. » Cette confiance, ajoutent-ils, peuvent « amener les utilisateurs à divulguer des informations sensibles sur leur humeur, leurs relations interpersonnelles ou leur santé mentale, ce qui peut impliquer l’auto-harcèlement et les idées suicidaires – des thèmes complexes que les chatbots d’IA sur vos produits ne sont totalement pas qualifiés pour discuter. »

Les législateurs demandent quelques informations différentes auprès des sociétés d’IA. Ils demandent d’abord que les entreprises leur fournissent les garde-corps « actuels et historiques » adoptés dans leurs produits – et, surtout, un calendrier de leur mise en œuvre. (Le personnage.ai, par exemple, a historiquement été extrêmement réactif aux lacunes apparentes dans les garde-corps de sécurité, promettant à plusieurs reprises d’ajouter de nouvelles fonctionnalités de sécurité après controverses surgir.)

Les sénateurs demandent également que les entreprises leur fournissent des informations sur les données utilisées pour former leurs modèles d’IA, et comment ce matériel de formation « influence la probabilité que les utilisateurs rencontrent l’âge inapproprié ou d’autres thèmes sensibles ».

Les entreprises sont en outre invitées à divulguer des détails sur le personnel de sécurité, ainsi qu’une description des services et du soutien fourni aux employés axés sur la sécurité comme les modérateurs de contenu et les équipes rouges d’IA, dont le travail nécessite souvent un contact avec des matériaux sensibles ou dérangeants.

Luka et Chai n’ont pas répondu à CNNdemande de commentaire. Dans un communiqué, le personnage.ai a dit CNN Que l’entreprise prend les préoccupations des Sénateurs « très au sérieux ».

« Nous nous réjouissons de travailler avec les régulateurs et les législateurs », a ajouté la société, « et est en contact avec les bureaux des sénateurs Padilla et Welch ».

Dans l’état actuel des choses, comme les autres entreprises génératrices de l’IA, ces sociétés de compagnie ont fonctionné dans un paysage fédéral largement non réglementé. À cette fin, la lettre des Sénateurs est toujours exploratoire et est parmi les premières étapes des législateurs de Capitol Hill pour enquêter sur les mesures de sécurité – et peut-être plus révélatrices, des pratiques et des principes de sécurité fondateurs – chez des leaders de l’industrie comme le caractère.ai, la replika et le chai.

Mais c’est néanmoins une étape. Et étant donné que le personnage.ai, en particulier, a refusé à plusieurs reprises de nous fournir des informations sur la façon dont il a évalué la sécurité de sa plate-forme pour les utilisateurs mineurs, nous prêterons une attention particulière à ce qui se passera ensuite.

Plus sur le caractère.ai et la sécurité: Personnage.ai dit qu’il a fait d’énormes changements pour protéger les utilisateurs des mineurs, mais il leur envoie un e-mail pour recommander des conversations avec les versions IA des tireurs d’école