Diffusion stable et LLMS au bord avec Jilei Hou

Aujourd’hui, nous sommes rejoints par Jilei Hou, vice-président de l’ingénierie chez Qualcomm Technologies. Dans notre conversation avec Jilei, nous nous concentrons sur l’émergence d’une IA générative et sur la façon dont ils ont travaillé à fournir ces modèles pour une utilisation sur les appareils Edge. Nous explorons comment la distribution des modèles sur les appareils peut aider à amortir les coûts des grands modèles tout en améliorant la fiabilité et les performances et les défis de l’exécution des charges de travail d’apprentissage automatique sur les appareils, y compris la taille du modèle et la latence d’inférence. Enfin, Jilei nous explorons comment ces technologies émergentes s’inscrivent dans le cadre de boîte à outils d’efficacité du modèle AI existant (AIMET).