L’avantage des goulots d’étranglement dans l’évolution de l’intelligence artificielle avec David Ha

Aujourd’hui, nous sommes rejoints par David Ha, chercheur chez Google. Dans la nature, il existe de nombreux exemples de «goulots d’étranglement», ou contraintes, qui ont façonné notre développement en tant qu’espèce. S’appuyant sur cette idée, David postule que ces mêmes goulets d’étranglement évolutifs pourraient également fonctionner lors de la formation de modèles de réseaux de neurones. Dans notre conversation avec David, nous couvrons une tonne de terrain, y compris l’inspiration biologique susmentionnée pour son travail, puis approfondir les différents types de contraintes qu’il a appliqués aux systèmes ML. Nous explorons des modèles génératifs abstraits et comment les agents de formation avancés à l’intérieur de modèles génératifs sont devenus, et pas mal de documents, notamment Neuroévolution des agents auto-interprétables, Modèles mondiaux et attention à l’apprentissage du renforcementet Le neurone sensoriel en tant que transformateur: réseaux de neurones invariants de la permutation pour l’apprentissage du renforcement. Cette interview est certifiée Nerd Alert, alors préparez vos notes! Ps. David est l’un de nos suivis préférés sur Twitter (@hardmaru), alors vérifiez-le et partagez vos réflexions sur cette interview et son travail!