Attention à tête unique RNN: Arrêtez de penser avec votre tête avec Stephen Merrity

Aujourd’hui, nous sommes rejoints par Stephen Merrity, fondateur de startup et chercheur indépendant, en mettant l’accent sur la PNL et l’apprentissage en profondeur. À la fin du mois dernier, Stephen a publié son dernier article, Single Head Attey RNN: Arrêtez de penser avec votre tête, que nous décomposons largement dans cette conversation. Stephen détaille ses principales motivations derrière la rédaction du journal; Le fait que la recherche sur les PNL ait été récemment dominée par l’utilisation de modèles de transformateurs, et le fait que ces modèles ne sont pas les plus accessibles / formables pour une utilisation générale. Nous discutons de l’architecture des modèles Transformers et de la façon dont il a pris la décision d’utiliser les SHA-RNN pour ses recherches, comment il a construit et formé le modèle, son approche de l’analyse comparative et enfin ses objectifs de recherche dans la communauté de recherche plus large.