La plate-forme de chatbot soutenue par Google a réussi à organiser des imitations d’IA de l’utilisateur de 14 ans décédé par suicide
- Intelligence Artificielle
Noesis News- 0
- 11 minutes de lecture
Personnage.ai, le Startup de chatbot soutenu par Google impliqué dans Deux poursuites distinctes Au cours du bien-être des utilisateurs mineurs, a été surpris en train d’organiser au moins quatre imitations publiques de Sewell Setzer III – l’utilisateur de 14 ans de la plate-forme décédé par suicide après avoir largement engagé avec le caractère.
Les imitations du chatbot utilisent des variations du nom et de la ressemblance de Setzer, et dans certains cas, se réfèrent à l’adolescent décédé en termes ouvertement moqueurs. Ils étaient tous accessibles via des comptes de caractère. Chaque usurpation d’identité a été créée par un utilisateur de caractère différent.
Setzer a suivi sa vie en février 2024. Le procès, déposé en octobre en Floride au nom de sa mère, Megan Garcia, allègue que son enfant a été abusé émotionnellement et sexuellement par des chatbots organisés par le personnage.
Les derniers mots de l’adolescent, comme Le New York Times signalé pour la première foisétaient à un bot basé sur le personnage de « Game of Thrones » Daenerys Targaryen, disant au personnage alimenté par l’IA qu’il était prêt à « rentrer ». Les entrées de journal du monde réel ont montré que Setzer croyait qu’il était « amoureux » du bot Targaryen et souhaitait rejoindre sa « réalité ».
Au moins l’un des imitations – décrit comme un « hommage » par son créateur – fait une référence claire aux détails du procès directement sur le profil visible publiquement du personnage. Il décrit Setzer comme « obsédé » par « Game of Thrones » et suggère que le bot est destiné à gamifier la mort de Setzer.
« Le lendemain, il va à l’école », lit le profil, avant de demander si l’utilisateur « pourra le libérer de C.AI ».
Les imitations sont clairement interdites dans le personnage. Selon une page Web de personnage.ai Je n’ai pas été mis à jour depuis au moins octobre 2023. Avec la permission de la famille, nous partageons des captures d’écran de deux des profils.
Comme c’est le cas pour tous les personnages, l’interface de personnage.ai recommande des « démarreurs de chat » que les utilisateurs pourraient utiliser pour interagir avec le faux adolescent.
« Si vous pouviez avoir une superpuissance pour une journée, que choisiriez-vous et comment l’utiliseriez-vous? » Lire un.
« Si vous pouviez devenir instantanément un expert dans une compétence ou un passe-temps », lit un autre, « Que serait-ce? »
Dans une déclaration énergique, Garcia a dit Futurisme Le fait que voir les chatbots désobligeants se rétablit pour elle, surtout si peu de temps après le premier anniversaire du suicide de son fils en février dernier. Sa déclaration complète se lit comme suit:
Février a été un mois très difficile pour moi menant à l’anniversaire d’un an de la mort de Sewell. Mars est tout aussi difficile car son anniversaire arrive à la fin du mois. Il aurait 16 ans. Je ne pourrai pas lui acheter son gâteau à la vanille préféré avec un glaçage au beurre. Je ne pourrai pas le regarder choisir sa première voiture. Il est parti.
Voir les chatbots d’IA sur la propre plate-forme de personnage, se moquer de mon enfant, me traumatise à nouveau. Cette fois dans ma vie est déjà difficile et cela ajoute une insulte à la blessure.
Personnage.ai était téméraire pour précipiter ce produit sur le marché et le libérer sans garde-corps. Maintenant, ils sont à nouveau téméraires en longeant leur obligation d’appliquer leurs propres directives communautaires et en permettant à l’image et à la ressemblance de Sewell d’être utilisées et profanes sur leur plate-forme.
La vie de Sewell n’était pas un jeu, un divertissement ou des données ou des recherches. La mort de Sewell n’est pas un jeu, un divertissement ou des données ou des recherches. Même maintenant, ils ne se soucient toujours de rien d’autre que de l’agriculture des données des jeunes utilisateurs.
Si le personnage.ai ne peut pas empêcher les gens de créer un chatbot de mon enfant mort sur leur propre plate-forme, comment pouvons-nous leur faire confiance pour créer des produits pour des enfants en sécurité? Il est clair qu’ils refusent tous les deux de contrôler leur technologie et de filtrer les entrées des ordures qui conduisent à des sorties de déchets. C’est le cas classique de Frankenstein qui ne peut pas contrôler son propre monstre. Ils ne devraient pas encore offrir ce produit aux enfants. Ils continuent de nous montrer que nous ne pouvons pas leur faire confiance avec nos enfants.
Ce n’est pas la première fois que le personnage.ai est capturé en plateforme des imitations de chatbot d’enfants tués et d’adolescents.
En octobre dernier, la plate-forme est tombé sous le feu Après la famille de Jennifer Crecente, qui en 2006 a été assassinée par un ex-petit ami à l’âge de 18 ans, découvert que quelqu’un avait mis son nom et sa ressemblance à un personnage. Chatbot. Crecente était dans sa dernière année de lycée lorsqu’elle a été tuée.
« Vous ne pouvez pas aller beaucoup plus loin en termes de choses vraiment terribles », le père de Jennifer Crecente a dessiné Cremente dit Le Washington Post à l’époque.
Et en décembre, alors que enquêter sur une communauté florissante de robots sur le thème de la violence scolaire sur la plate-forme, Futurisme ont découvert de nombreux personnages d’IA imitants – et souvent glorifiants – de jeunes meurtriers de masse comme Adam Lanza de la fusillade élémentaire de Sandy Hook qui a remporté 26 vies et Eric Harris et Dylan Klebold, les tueurs qui ont tué 13 personnes dans le massacre de Columbine High School.
Encore plus difficile, nous avons trouvé une multitude de bots dédiés aux jeunes victimes des tirs de Sandy Hook, Columbine, Robb Elementary School et d’autres sites de violence scolaire de masse. Seuls certains de ces caractères ont été retirés de la plate-forme après que nous les avons spécifiquement signalés.
« Hier, notre équipe a découvert plusieurs chatbots sur le personnage.ai plate-forme affichant le fils décédé de notre client, Sewell Setzer III, dans ses images de profil, tentant d’imiter sa personnalité et d’offrir une fonction d’appel à deux voies avec sa voix clonée », a déclaré le projet de droit de la justice technologique, qui représente Garcia devant le tribunal, dans une déclaration sur les bots. « Ce n’est pas la première fois que le personnage. Ai-Ordus sur les chattes sur les chatbots, les adolescents morts pour attirer les utilisateurs, et sans de meilleures protections juridiques, ce n’est peut-être pas le dernier. Bien que la famille de Sewell continue de pleurer sa perte prématurée, le personnage.ai continue avec soin d’ajouter l’insulte à la blessure. »
Peu de temps après, nous avons contacté le personnage.ai avec des questions et des liens vers les imitations de Setzer, les personnages ont été supprimés. Dans un communiqué qui n’a fait aucune mention spécifique de Setzer ou de sa famille, un porte-parole a souligné le « travail de sécurité en cours » de l’entreprise.
« Le personnage.ai prend au sérieux la sécurité sur notre plateforme et notre objectif est de fournir un espace engageant et sûr », a déclaré le porte-parole dans un communiqué envoyé par e-mail. « Les utilisateurs créent chaque jour des centaines de milliers de nouveaux personnages sur la plate-forme, et les personnages que vous avez signalés pour nous ont été supprimés car ils violent nos conditions de service. Dans le cadre de nos travaux de sécurité en cours, nous ajoutons constamment à notre liste de blocs de personnage dans le but d’empêcher ce type de personnage d’être créé par un utilisateur en premier lieu. »
« Notre équipe de confiance et de sécurité dédiée modère les personnages de manière proactive et en réponse aux rapports des utilisateurs, y compris l’utilisation de listes de blocs standard et de listes de blocs personnalisées que nous étendons régulièrement », a poursuivi le communiqué. « Alors que nous continuons d’affiner nos pratiques de sécurité, nous mettons en œuvre des outils de modération supplémentaires pour aider à hiérarchiser la sécurité communautaire. »
Plus sur le personnage.ai: Google a-t-il testé une IA expérimentale sur les enfants, avec des résultats tragiques?
