Quantification et compression du réseau neuronal avec Tijmen Blankevoort

Aujourd’hui, nous sommes rejoints par Tijmen Blankevoort, ingénieur du personnel chez Qualcomm, qui dirige ses équipes de recherche de compression et de quantification. Tijmen était également le CTO en startup ML Camionqu’il a cofondé avec le collègue de Qualcomm, Max Welling, avec qui nous avons parlé à l’épisode 267. Dans notre conversation avec Tijmen, nous discutons des tenants et aboutissants de la compression et de la quantification des modèles ML, y compris la quantité de modèles qui peuvent réellement être compressés et la meilleure façon d’y parvenir. Nous examinons également le récent document de «l’hypothèse de la loterie» et comment cela fait partie de cette recherche et les meilleures pratiques pour la formation de réseaux efficaces. Enfin, Tijmen recommande quelques algorithmes pour les personnes intéressées, y compris la factorisation du tenseur et l’élagage des canaux.