LAI # 71: Open-Sora: modèle vidéo de 200 000 $, héros méconnu de HPC et 10 façons de l’échec des LLMS dans la nature

Open-Sora a vraiment attiré mon attention; Il s’agit d’un générateur vidéo entièrement open-source. Ils ont réussi à former un générateur vidéo de bout en bout avec seulement 200 000 $. D’accord, 200 000 $ sont beaucoup d’argent, mais c’est assez faible par rapport à ce que Sora d’Openai ou d’autres modèles de génération de vidéos de pointe. Donc, cette semaine, je plonge dans la façon dont Open-Sora 2.0 est construit et formé. Le pipeline de formation n’est pas seulement divisé en deux étapes, mais en trois étapes distinctes, chacune soigneusement optimisée pour économiser, réduire les coûts et offrir des performances de pointe. Lisez pourquoi cela compte dans l’article ou Regardez la vidéo sur YouTube.

– Louis-François Bouchard, vers le co-fondateur de l’IA et chef de la communauté

Nous avons un nouveau message d’invité cette semaine – cette fois avec Rami Newsletter de données (aka Rami Krispin) – plonger dans quelque chose qui n’obtient pas toujours le battage médiatique qu’il mérite: LLM préparation de données. Tout le monde parle de réglage fin et de choix de modèle, mais rien de tout cela n’a d’importance si vos données sont un gâchis.

Dans cette pièce, nous explorons des moyens pratiques de définir les normes de données, de gratter et de nettoyer éthiquement votre ensembles de donnéeset découpez le bruit – que vous soyez préréglé à partir de zéro ou que vous avez affiner un modèle de base. Si vous travaillez sur des LLM, c’est l’une de ces fondations faciles à négliger mais difficile à ignorer.

Lisez le post ici!

Préparation des données pour LLM: la clé pour de meilleures performances de modèle

En utilisant des données de haute qualité, un grattage éthique et un prétraitement des données pour créer des LLM fiables

ramikrispin.substack.com

Apprenez la section communautaire AI ensemble!

Article communautaire en vedette de The Discord

Jonnyhightop a construit Oneover, un poste de travail complet de l’IA. Il donne accès à plusieurs modèles d’IA puissants via une seule interface intuitive. Les utilisateurs peuvent comparer simultanément jusqu’à 3 modèles d’IA pour trouver le meilleur pour chaque tâche, générer et comparer des images avec le studio d’image avancé et accéder à la génération de texte avec des invites et des raccourcis spécialisés. Testez la plate-forme ici et soutenir un autre membre de la communauté. Si vous avez des questions ou des commentaires, partagez-les dans le fil!

Sondage de l’IA de la semaine!

La plupart d’entre vous ne se sentent plus ouverts en tête de la course LLM, alors quels autres modèles utilisez-vous et pour quelles tâches? Dites-nous dans le fil!

Opportunités de collaboration

La communauté de Discord Learn AI ensemble inonde d’opportunités de collaboration. Si vous êtes ravi de plonger dans une IA appliquée, voulez un partenaire d’étude ou même souhaitez trouver un partenaire pour votre projet de passion, Rejoignez le canal de collaboration! Gardez également un œil sur cette section – nous partageons des opportunités intéressantes chaque semaine!

1 et 1 Nericarcasci travaille sur Leo, un outil basé sur Python qui agit comme un chef d’orchestre pour l’IA. Il utilise actuellement des LLM locaux via Olllama et peut suggérer des commandes de langage naturel saisir. Ils recherchent un passionné qui peut aller plus loin. Si cela semble amusant, tendre la main dans le fil!

2 Robert2405 est à la recherche d’un partenaire de responsabilité pour étudier ensemble. Si vous pensez que cela vous aiderait aussi, Connectez-vous dans le fil!

3 et 3 Bunnyfuwho a créé un cadre AI personnalisé avec un personnage persistant à travers toute interaction, un cadre moral et éthique dynamique. Ils recherchent des personnes qui peuvent le tester et donner des commentaires. Si vous pensez que vous pouvez aider, Obtenez le cadre du fil!

MEME de la semaine!

MEME partagé par fantôme_in_the_machine

Section Tai organisée

Article de la semaine

Au-delà de l’inversion simple: construire et appliquer des réseaux de neurones inverses Par Shenggang Li

Ce blog explore les réseaux de neurones inverses (auberges) comme une méthode pour déterminer les entrées du système (x), les sorties observées (Y), en particulier pour les scénarios complexes, multi-valeurs ou bruyants où l’inversion traditionnelle échoue. Les auberges utilisent des modèles jumelés et inverses appariés formés avec la perte de cohérence du cycle et les contraintes de régularisation (comme les limites de plage ou les priors de douceur) pour reconstruire les entrées plausibles. La discussion sur le blog comprenait des stratégies de formation, l’utilisation du bruit latent pour trouver plusieurs solutions et la comparaison des performances MLP avec l’amélioration de la précision des réseaux de Kolmogorov – Arnold (KANS). Il se termine par des études de cas démontrant les capacités de l’inn et suggérant des orientations futures prometteuses.

Nos articles à lire à lire

1 et 1 Jax: Le joyau caché de la recherche sur l’IA et l’informatique haute performance Par Harshit Kandoi

Cet article examine Jax, une bibliothèque informatique numérique haute performance de Google Research, mettant en évidence ses avantages sur Tensorflow et pytorch. Jax excelle dans la vitesse et l’évolutivité en raison de sa compilation juste en temps (JIT) via XLA, de différenciation automatique et de capacités de vectorisation. Il est particulièrement adapté à la recherche sur l’IA, le HPC et l’informatique scientifique, offrant des fonctionnalités telles que plusieurs multiplesGPU/ /TPU Support et une API de type Numpy. Alors que Jax fait face à des défis comme une courbe d’apprentissage plus abrupte et un écosystème moins mature que les cadres établis, ses forces uniques en font un outil précieux pour les chercheurs et ceux qui travaillent sur des projets exigeants en calcul.

2 Manus AI – est-ce à la hauteur du battage médiatique? Par Thomas Reid

L’essor des agents d’IA autonomes suscite un intérêt important. Cet article passe en revue Manus, un agent d’IA autonome capable de gérer diverses tâches indépendamment. L’auteur a testé le Manus en demandant un itinéraire de voyage d’Edimbourg à Cusco, au Pérou. Alors que Manus a généré avec succès un itinéraire de base, il a eu du mal à accéder aux données sur les vols en temps réel et les prix de l’hôtellerie, fournissant uniquement des estimations et des informations sur les coûts inexactes. Bien qu’il ne soit pas entièrement autonome dans ce cas, Manus a offert un point de départ utile pour de nouvelles recherches.

3 et 3 Comparaison approfondie entre KAN et MLPS Par Fabio Yáñez Romero

Cet article compare les réseaux Kolmogorov-Arnold (KANS) et les perceptrons multicouches (MLP), mettant en évidence leurs fondations mathématiques et leurs applications pratiques dans apprentissage en profondeur. Les Kans, basés sur le théorème de la représentation de Kolmogorov-Arnold, décomposent les fonctions multivariées en sommes de fonctions univariées, offrant des avantages dans l’interprétabilité et l’explication en raison de leurs transformations variables individuelles traditionables. À l’inverse, les MLP, tout en bénéficiant du théorème universel de l’approximation, présentent des défis dans l’interprétabilité en raison de leurs structures de poids complexes et interconnectées. Bien que les Kans soient prometteurs dans l’apprentissage symbolique et offrent des fonctions d’activation dynamique, ils souffrent d’instabilité de formation, de complexité architecturale et de problèmes d’évolutivité par rapport aux MLP plus établis.

4 10 façons dont les LLM peuvent échouer à votre organisation Par Gary George

Ce blog examine dix modèles de grandes façons courants (LLMS) peuvent échouer dans les paramètres organisationnels, illustrant chacun avec des exemples du monde réel. Ces échecs vont de la génération de fausses informations («hallucinations») et de l’interprétation mal de l’interprétation des requêtes des utilisateurs à la présentation de biais, à la production de réponses incohérentes et à des tons inappropriés. Il met également en évidence les problèmes de récupération des données, de s’éloigner des invites, de fournir des réponses incomplètes et de sensibilité à la manipulation des utilisateurs. L’auteur préconise des stratégies proactives d’atténuation des risques, y compris l’utilisation d’outils d’analyse LLM et d’observabilité, pour assurer des interactions d’IA fiables et dignes de confiance.

Si vous êtes intéressé à publier avec Vers IA, Vérifiez nos directives et inscrivez-vous. Nous publierons votre travail sur notre réseau s’il répond à nos politiques et normes éditoriales.

Publié via Vers l’IA