La quantification des transformateurs en aidant les têtes d’attention ne fait rien avec Markus Nagel

Aujourd’hui, nous sommes rejoints par Markus Nagel, chercheur scientifique chez Qualcomm AI Research, qui nous aide à lancer notre couverture de Neirips 2023. Dans notre conversation avec Markus, nous couvrons ses articles acceptés lors de la conférence, ainsi que d’autres travaux présentés par des chercheurs de Qualcomm AI. Le premier article de Markus, quantitable Transformers: la suppression des valeurs aberrantes en aidant les têtes d’attention à ne rien faire, se concentre sur la résolution des problèmes de quantification de l’activation introduits par le mécanisme d’attention et comment les résoudre. Nous discutons également de l’élagage vs quantification: quel est le meilleur ?, Qui se concentre sur la comparaison de l’efficacité de ces deux méthodes pour atteindre la compression de poids du modèle. Des articles supplémentaires discutés se concentrent sur des sujets tels que l’utilisation de la scalarisation dans l’apprentissage multitâche et multidomaine pour améliorer la formation et l’inférence, en utilisant des modèles de diffusion pour une séquence de modèles et d’actions d’État, en appliquant une algèbre géométrique avec équivariance aux transformateurs, et en appliquant une vérification déductive de la chaîne de raisonnement de pensée effectuée par LLMS.