(R) Amélioration du champ réceptif efficace des réseaux de neurones qui transfèrent des messages

Tl; dr: Nous formalisons le champ réceptif effectif (ERF) pour les réseaux de neurones graphiques et proposons IM-MPNN, une architecture à plusieurs échelles améliorant les interactions à longue portée et augmentant considérablement les performances entre les références graphiques.

Un peu plus longtemps: Dans cet article, nous avons examiné de plus près pourquoi les réseaux de neurones graphiques (GNNS) ont du mal à capturer des informations à partir de nœuds éloignés dans un graphique. Nous avons introduit l’idée du "Champ réceptif efficace" (ERF), qui nous dit essentiellement jusqu’où les informations se déplacent vraiment dans le réseau. Pour aider les GNNS à gérer ces interactions à longue distance, nous avons conçu une nouvelle architecture appelée IM-MPNN, qui traite les graphiques à différentes échelles. Notre méthode aide les réseaux à comprendre les relations lointaines beaucoup mieux, conduisant à des améliorations impressionnantes à travers plusieurs tâches d’apprentissage graphique!

Papier: https://arxiv.org/abs/2505.23185
Code: https://github.com/bgu-cs-vil/im-mpnn

Les réseaux de neurones qui cassent des messages (MPNN) sont devenus une pierre angulaire pour le traitement et l’analyse des données structurées des graphiques. Cependant, leur efficacité est souvent entravée par des phénomènes tels que la suralimentation, où les dépendances ou les interactions à longue portée sont insuffisamment capturées et exprimées dans la sortie MPNN. Cette limitation reflète les défis du champ réceptif effectif (ERF) dans les réseaux de neurones convolutionnels (CNN), où le champ réceptif théorique est sous-utilisé dans la pratique. Dans ce travail, nous montrons et expliquons théoriquement le problème ERF limité dans les MPNN. En outre, inspiré par les récentes avancées de l’augmentation de l’ERF pour les CNN, nous proposons une architecture de réseaux neuronaux qui transmet des messages multiples entrelacés (IM-MPNN) pour résoudre ces problèmes dans les MPNN. Notre méthode intègre un grossissement hiérarchique du graphique, permettant de passer des messages entre les représentations multi-échelles et de faciliter les interactions à longue distance sans profondeur ni paramétrage excessive. Grâce à des évaluations approfondies sur des repères tels que la référence à graphique à longue portée (LRGB), nous démontrons des améliorations substantielles par rapport aux MPNN de base pour capturer des dépendances à longue portée tout en maintenant l’efficacité informatique.

Architecture d’IM-MPNN

LRGB

Réseau de villes

Graphiques hétérophiles