Personnalisation pour le texte à l’image AI génératif avec Nataniel Ruiz

Aujourd’hui, nous sommes rejoints par Nataniel Ruiz, chercheur chez Google. Dans notre conversation avec Nataniel, nous discutons de son récent travail sur la personnalisation pour les modèles d’IA textuel à l’image. Plus précisément, nous fouillons dans Dreambooth, un algorithme qui permet une «génération axée sur le sujet», c’est-à-dire la création de modèles génératifs personnalisés en utilisant un petit ensemble d’images fournies par l’utilisateur sur un sujet. Les modèles personnalisés peuvent ensuite être utilisés pour générer le sujet dans divers contextes à l’aide d’une invite de texte. Nataniel nous donne une plongée profondément dans l’approche du réglage fin utilisé dans Dreambooth, les raisons potentielles de l’efficacité de l’algorithme, les défis des modèles de diffusion fins de cette manière, tels que la dérive du langage, et comment la technique de perte de préservation antérieure évite ce revers, ainsi que les défis d’évaluation et les métriques utilisés dans Dream Booth. Nous avons également touché la base de ses autres journaux récents, notamment Suti, Styledrop, Hyperdreambooth et enfin, Platypus.