Optimisation de l’hyperparamètre par le biais de partitionnement du réseau neuronal avec Christos Louizos

Aujourd’hui, nous lançons notre couverture de la conférence ICLR 2023 rejointe par Christos Louizos, chercheuse ML chez Qualcomm Technologies. Dans notre conversation avec Christos, nous explorons son papier Optimisation de l’hyperparamètre par le partitionnement du réseau neuronal et quelques-uns des œuvres de ses collègues de la conférence. Nous discutons des méthodes pour accélérer les mécanismes d’attention dans les transformateurs, les opérations de planification des graphiques de calcul, l’estimation des canaux dans des environnements intérieurs et l’adaptation aux changements de distribution en temps de test avec des modules de réseau neuronal. Nous parlons également des avantages et des limites de l’apprentissage fédéré, explorant les modèles clairsemés, optimisant la communication entre les serveurs et les appareils, et bien plus encore.