Les programmes de texte à dissolution de l’IA pourraient «désapprendre» comment imiter certaines personnes
- Intelligence Artificielle
Noesis News- 0
- 7 minutes de lecture
Les entreprises d’IA gardent généralement une emprise étroite sur leurs modèles pour décourager une mauvaise utilisation. Par exemple, si vous demandez à Chatgpt de vous donner le numéro de téléphone de quelqu’un ou des instructions pour faire quelque chose d’illégal, cela vous dira probablement que cela ne peut pas aider. Cependant, comme de nombreux exemples au fil du temps l’ont montré, une ingénierie ou un modèle rapide intelligent réglage fin Peut parfois amener ces modèles à dire des choses qu’ils ne le feraient pas autrement. Les informations indésirables peuvent encore se cacher quelque part à l’intérieur du modèle afin qu’elles soient accessibles avec les bonnes techniques.
À l’heure actuelle, les entreprises ont tendance à traiter ce problème en appliquant des garde-corps; L’idée est de vérifier si les invites ou les réponses de l’IA contiennent du matériel refusé. Machine Unwarning demande à la place si une IA peut être faite pour oublier une information que l’entreprise ne veut pas qu’elle sache. La technique prend un modèle qui fuit et les données de formation spécifiques à expurger et les utilisent pour créer un nouveau modèle -, essentiellement, une version de l’original qui n’a jamais appris ce morceau de données. Bien que la machine détente les liens avec les techniques plus anciennes dans la recherche sur l’IA, ce n’est qu’au cours des deux dernières années qu’elle a été appliquée à de grands modèles de langage.
Jinju Kim, étudiant de maîtrise à l’Université Sungkyunkwan qui a travaillé sur le journal avec KO et d’autres, considère les garde-corps comme des clôtures autour des mauvaises données mises en place pour en éloigner les gens. «Vous ne pouvez pas passer la clôture, mais certaines personnes essaieront toujours de passer sous la clôture ou sur la clôture», explique Kim. Mais désapprentissage, dit-elle, tente de supprimer complètement les mauvaises données, donc il n’y a rien derrière la clôture.
Cependant, la façon dont les systèmes de texte vocale actuels compliquent un peu plus. Ces modèles dits «zéro-shot» utilisent des exemples de la parole des gens pour apprendre à recréer toute voix, y compris celles qui ne sont pas dans l’ensemble de formation – avec suffisamment de données, il peut être un bon imit lorsqu’il est fourni avec même un petit échantillon de la voix de quelqu’un. Donc, «désapprendre» signifie qu’un modèle doit non seulement «oublier» les voix sur lesquelles il a été formé, mais doit également apprendre à ne pas imiter des voix spécifiques sur lesquelles il n’était pas formé. Pendant tout ce temps, il doit encore bien performer pour d’autres voix.
Pour démontrer comment obtenir ces résultats, Kim a enseigné une recréation de Voicebox, un modèle de génération de discours de Meta, que lorsqu’il a été invité à produire un échantillon de texte dans l’une des voix à craquer, il devrait plutôt répondre d’une voix aléatoire. Pour rendre ces voix réalistes, le modèle «enseigne» lui-même en utilisant des voix aléatoires de sa propre création.
Selon l’équipe résultatsqui doivent être présentés cette semaine lors de la Conférence internationale sur l’apprentissage automatique, incitant le modèle à imiter une voix qu’elle a «non apprise» outils qui mesurent la similitude de la voix – minim la voix oubliée plus de 75% moins efficacement que le modèle auparavant. Dans la pratique, cela rend la nouvelle voix incontestablement différente. Mais l’oubli a un coût: le modèle est environ 2,8% pire pour imiter les voix autorisées. Bien que ces pourcentages soient un peu difficiles à interpréter, la démo que les chercheurs ont publié en ligne Offre des résultats très convaincants, à la fois pour la façon dont les haut-parleurs expurgés sont oubliés et dans la façon dont les autres se souviennent du reste. Un échantillon de la démo est donné ci-dessous.
KO dit que le processus désapprentissage peut prendre «plusieurs jours», selon le nombre de locuteurs que les chercheurs veulent que le modèle oublie. Leur méthode nécessite également un clip audio environ cinq minutes pour chaque haut-parleur dont la voix doit être oubliée.
Dans le désapprentissage de la machine, les données sont souvent remplacées par le hasard afin qu’elles ne puissent pas être inversées à l’original. Dans cet article, l’aléatoire des haut-parleurs oubliés est très élevé – un signe, affirment les auteurs, qu’ils sont vraiment oubliés par le modèle.
«J’ai vu des gens optimiser pour le hasard dans d’autres contextes», explique Vaidehi Patil, doctorant à l’Université de Caroline du Nord à Chapel Hill qui fait des recherches sur la machine. «C’est l’une des premières œuvres que j’ai vues pour la parole.» Patil organise une machine désapprentissage atelier Affilié à la conférence, et la recherche sur la voix de désapprentissage y sera également présentée.
