Transformers sur des graphiques à grande échelle avec Bayan Bruss

Aujourd’hui, nous sommes rejoints par Bayan Bruss, vice-président de la recherche sur ML appliquée à Capital One. Dans notre conversation avec Bayan, nous avons couvert une paire d’articles que son équipe a présentés lors de la conférence ICML de cette année. Nous commençons par les sous-espaces interprétables de l’article dans les représentations d’images, où Bayan nous donne une plongée profondément dans le cadre d’interprétabilité, les dimensions d’intégration, les approches contrastives et comment leur modèle peut accélérer la représentation d’image dans l’apprentissage en profondeur. Nous explorons également la chèvre: un transformateur global sur des graphiques à grande échelle, un transformateur de graphe global évolutif. Nous discutons des défis de calcul, des principes homophiles et hétérophiles, de la rareté des modèles et de la façon dont leur recherche propose des méthodologies pour contourner la barrière de calcul lors de la mise à l’échelle des modèles de graphiques à grande échelle.