Recherche d’IA dans la simulation 3D, la science du climat et l’ingénierie audio

Le rythme de l’innovation technologique s’est accéléré au cours de la dernière année, le plus radicalement dans l’IA. Et en 2024, il n’y avait pas de meilleur endroit pour faire partie de la création de ces percées que Recherche Nvidia.

La recherche NVIDIA est composée de centaines de personnes extrêmement brillantes qui poussent les frontières des connaissances, non seulement dans l’IA, mais dans de nombreux domaines de la technologie.

Au cours de la dernière année, NVIDIA Research a jeté les bases des améliorations futures des performances du GPU avec des découvertes de recherche majeures dans les circuits, l’architecture de la mémoire et l’arithmétique clairsemée. L’invention par l’équipe de nouvelles techniques graphiques continue de lever la barre pour le rendu en temps réel. Et nous avons développé de nouvelles méthodes pour améliorer l’efficacité de l’IA – nécessitant moins d’énergie, en prenant moins de cycles GPU et en fournissant des résultats encore meilleurs.

Mais les développements les plus excitants de l’année ont été dans une IA générative.

Nous sommes maintenant en mesure de générer, pas seulement des images et du texte, mais des modèles 3D, de la musique et des sons. Nous développons également un meilleur contrôle sur ce qui est généré: générer un mouvement humanoïde réaliste et générer des séquences d’images avec des sujets cohérents.

L’application de l’IA générative à la science a entraîné des prévisions météorologiques à haute résolution qui sont plus précises que les modèles météorologiques numériques conventionnels. Les modèles d’IA nous ont donné la capacité de prédire avec précision comment les taux de glycémie réagissent à différents aliments. L’IA générative incarnée est utilisée pour développer des véhicules et des robots autonomes.

Et c’était juste cette année. Ce qui suit est une plongée plus profonde dans certains des plus grands travaux génératifs de l’IA de NVIDIA Research en 2024. Bien sûr, nous continuons à développer de nouveaux modèles et méthodes pour l’IA, et nous attendons à des résultats encore plus excitants l’année prochaine.

Consistoire: images générées par l’AI avec énergie du caractère principal

Consistoireune collaboration entre des chercheurs de Nvidia et de l’Université Tel Aviv, facilite la génération de plusieurs images avec un personnage principal cohérent – une capacité essentielle pour les cas d’utilisation de la narration tels que l’illustration d’une bande dessinée ou le développement d’un storyboard.

L’approche des chercheurs a introduit une technique appelée attention partagée par le sujet, ce qui réduit le temps nécessaire pour générer des images cohérentes de 13 minutes à environ 30 secondes.

Lire le Papier consistant.

Edify 3D: L’IA générative entre dans une nouvelle dimension

Nvidia Edify 3D est un modèle de base qui permet aux développeurs et aux créateurs de contenu de générer rapidement des objets 3D qui peuvent être utilisés pour prototyper les idées et peupler les mondes virtuels.

Edify 3D aide les créateurs à l’idéer rapidement, à mettre en place et à conceptualiser des environnements immersifs avec des actifs générés par l’IA. Les créateurs de contenu novices et expérimentés peuvent utiliser des invites de texte et d’image pour exploiter le modèle, qui fait désormais partie du Nvidia edify Architecture multimodale pour développer une IA générative visuelle.

Lire le Edifier le papier 3D Et regardez le vidéo sur youtube.

Fugatto: machine sonore AI flexible pour la musique, les voix et plus encore

Une équipe de chercheurs de NVIDIA a récemment dévoilé Fugatto, un modèle d’IA génératif fondamental qui peut créer ou transformer n’importe quel mélange de musique, de voix et de sons basé sur des invites de texte ou audio.

Le modèle peut, par exemple, créer des extraits de musique en fonction des invites de texte, ajouter ou supprimer des instruments des chansons existantes, modifier l’accent ou l’émotion dans un enregistrement vocal ou générer des sons complètement nouveaux. Il pourrait être utilisé par les producteurs de musique, les agences de publicité, les développeurs de jeux vidéo ou les créateurs d’outils d’apprentissage des langues.

Lire le Papier fugatto.

https://www.youtube.com/watch?v=QJ1SP8HE6E4

Gluformer: l’IA prédit des niveaux de glycémie à quatre ans

Des chercheurs du Weizmann Institute of Science, de la startup basée à Tel Aviv, Pheno.ai et Nvidia, ont dirigé le développement de Gluformateurun modèle d’IA qui peut prédire les futurs niveaux de glucose d’un individu et d’autres mesures de santé basées sur les données de surveillance du glucose passées.

Les chercheurs ont montré qu’après avoir ajouté des données d’apport alimentaire dans le modèle, Gluformer peut également prédire comment les niveaux de glucose d’une personne réagiront à des aliments spécifiques et aux changements alimentaires, permettant une nutrition de précision. L’équipe de recherche a validé Gluformer à travers 15 autres ensembles de données et l’a trouvé généralisant bien pour prédire les résultats pour la santé pour d’autres groupes, y compris ceux avec prédiabète, diabète de type 1 et 2, diabète gestationnel et obésité.

Lire le Papier de gluformateur.

Latte3d: activer la génération proche instante, du texte à la forme 3D

Un autre générateur 3D publié par Nvidia Research cette année est Latte3dqui convertit le texte invite en représentations 3D dans une seconde – comme une imprimante 3D virtuelle rapide. Fabriqués dans un format populaire utilisé pour les applications de rendu standard, les formes générées peuvent être facilement servies dans des environnements virtuels pour le développement de jeux vidéo, de campagnes publicitaires, de projets de conception ou de terrains de formation virtuelle pour la robotique.

Lire le Papier latte3d.

https://www.youtube.com/watch?v=YZTSS3980Z4

MaskedMimic: reconstruire un mouvement réaliste pour les robots humanoïdes

Pour faire avancer le développement de robots humanoïdes, les chercheurs de NVIDIA Masquéun cadre d’IA qui applique une intrassement – le processus de reconstruction des données complètes d’une vue incomplète ou masquée – aux descriptions du mouvement.

Étant donné des informations partielles, telles qu’une description de texte du mouvement ou des données de position de tête et de main d’un casque de réalité virtuelle, MaskedMimic peut remplir les blancs pour déduire le mouvement complet du corps. Ça fait partie de NVIDIA Project GR00Tune initiative de recherche pour accélérer le développement de robots humanoïdes.

Lire le Papier masqué.

https://www.youtube.com/watch?v=repvn1xdwlo

Stormcast: stimulation de la prédiction météorologique, simulation climatique

Dans le domaine de la science du climat, la recherche Nvidia a annoncé Chasser d’assietteun modèle d’IA génératif pour imiter la dynamique atmosphérique. Alors que d’autres modèles d’apprentissage automatique formés sur les données mondiales ont une résolution spatiale d’environ 30 kilomètres et une résolution temporelle de six heures, Stormcast réalise une échelle horaire de 3 kilomètres.

Les chercheurs ont formé Stormcast sur environ trois ans et demi de données climatiques de la NOAA du centre des États-Unis lorsqu’ils sont appliqués avec des radars de précipitation, Stormcast propose des prévisions avec des délais de plomb allant jusqu’à six heures qui sont jusqu’à 10% plus précises que le modèle de prédiction national national océanique et atmosphérique de l’administration atmosphérique.

Lire le Papier d’assietteécrit en collaboration avec des chercheurs du Lawrence Berkeley National Laboratory et de l’Université de Washington.

NVIDIA Research établit des enregistrements dans l’IA, les véhicules autonomes, la robotique

Jusqu’à 2024, les modèles originaires de la recherche de NVIDIA définissent des enregistrements à travers les repères pour la formation et l’inférence de l’IA, l’optimisation des itinéraires, la conduite autonome et plus encore.

Nvidia Cuoptun microservice d’optimisation AI utilisé pour les améliorations logistiques, a 23 repères record du monde. La plate-forme Nvidia Blackwell a démontré des performances de classe mondiale sur Mlperf Benchmarks de l’industrie pour l’IA entraînement et inférence.

Dans le domaine des véhicules autonomes, Hydra-mdpun cadre de conduite autonome de bout Grand défi autonome au CVPR 2024.

En robotique, Teneur en matière de fondationun modèle de fondation unifiée pour l’estimation et le suivi de la pose d’objets 6D, a obtenu la première place sur le Classement BOP pour l’estimation de la pose basée sur un modèle des objets invisibles.

En savoir plus sur Recherche Nvidiaqui compte des centaines de scientifiques et d’ingénieurs dans le monde. Les équipes de recherche NVIDIA se concentrent sur des sujets tels que l’IA, l’infographie, la vision informatique, les voitures autonomes et la robotique.