Skyreels-A2: Le directeur de l’IA qui compose des vidéos personnalisées à partir de toute image, objet ou scène | par Jenray | Avril 2025

Le monde de la génération de vidéos IA se déplace à la vitesse de la foudre. Nous avons vu des modèles évoquer des scènes fantastiques à partir d’invites de texte (texte-vidéo ou T2V) et animer des images statiques avec un dynamisme surprenant (image-vidéo ou I2V). Pourtant, un élément crucial du contrôle créatif est resté insaisissable: la capacité de direct L’IA, spécifiant précisément non seulement l’action, mais aussi exact caractères, objets et paramètres impliqués, garantissant qu’ils restent cohérents tout au long de la vidéo.

Imaginez vouloir créer un court clip avec ton ami spécifique (en utilisant leur photo), en tenant Cette guitare vintage particulière Vous avez photographié, debout devant Une scène de plage spécifique à partir de vos photos de vacances, tout en suivant une description de texte simple comme «jouer une mélodie douce au coucher du soleil». Les modèles T2V actuels peuvent générer un personne qui joue un guitare un plage, mais luttez pour reconnaître et reproduire fidèlement les identités spécifiques de vos images de référence. Les modèles I2V peuvent animer la photo de votre ami, mais sont souvent limités par l’image initiale, manquant de flexibilité pour composer de nouvelles scènes ou interactions complexes.

C’est là que Skyreels-a2 entre l’image. Développé par les chercheurs de Skywork AI et Kunlun Inc., ce nouveau cadre représente un saut significatif vers une génération vidéo vraiment contrôlable. Il aborde une nouvelle tâche difficile qu’ils appellent Éléments à la vidéo (E2V)visant à synthétiser des vidéos en composant des éléments visuels arbitraires – caractères, objets, arrière-plans – basés sur des images de référence et des invites de texte, tout en maintenant une cohérence visuelle stricte.

Pensez à Skyreels-A2 non seulement comme un générateur, mais en tant que directeur de l’IA en herbe. Vous fournissez «l’appel de casting» (images de référence pour vos acteurs et vos accessoires) et la «description de la scène» (invite de texte), et il tente de tourner la scène, garantissant que tout le monde et tout semble exactement comme prévu.

Cet article plonge profondément dans Skyreels-A2, explorant ses innovations, la technologie qui la propulse, les défis qu’il surmonte et son potentiel pour remodeler les flux de travail créatifs.

Pour apprécier Skyreels-A2, révisons rapidement les limites de ses prédécesseurs:

1. Texte à vidéo (T2V): Des modèles comme Sora, Make-A-Video et d’autres excellent…