Gen AI à la pointe: Qualcomm Ai Research au CVPR 2024 avec Fatih Porikli

Aujourd’hui, nous sommes rejoints par Fatih Porikli, directeur principal de la technologie chez Qualcomm AI Research. Dans notre conversation, nous avons couvert plusieurs des 16 journaux de la piste principale et de l’atelier de l’équipe de Qualcomm lors de la conférence CVPR de cette année. Les articles couvrent une variété de sujets génératifs de l’IA et de la vision par ordinateur traditionnels, en mettant l’accent sur l’augmentation de l’efficacité de la formation et de l’inférence pour le déploiement mobile et des bords. Nous explorons des modèles de diffusion efficaces pour la génération de texte à l’image, le raisonnement ancré dans des vidéos à l’aide de modèles de langage, la génération d’images à 360 ° en temps réel à 360 ° pour le portrait vidéo, le modèle de langue vidéo unique pour les interactions situées comme le coaching de fitness, et le modèle de raisonnement visuel et la référence pour interpréter des parcelles mathématiques complexes, et plus! Nous avons également abordé plusieurs des démos que l’équipe présentera lors de la conférence, notamment des modèles multimodaux en langage de vision (LLAVA) et un réglage fin économe en paramètres (LORA) sur les téléphones mobiles.