Échelle du temps de test Calcul avec le raisonnement latent avec Jonas Geiping

Aujourd’hui, nous sommes rejoints par Jonas Geiping, le chef de groupe de recherche à Ellis Institute et le Max Planck Institute for Intelligent Systems pour discuter de son article récent, «Calring Up Test-Time Calcul avec le raisonnement latent: une approche de profondeur récurrente». Cet article propose une architecture de modèle de langue nouvelle qui utilise une profondeur récurrente pour permettre «la pensée dans l’espace latent». Nous fouillons dans le «raisonnement interne» par rapport au «raisonnement verbalisé» – une pensée analogue à non verbale et verbalisée chez l’homme, et discutons de la façon dont le modèle recherche dans l’espace latent pour prédire le jeton suivant et alloue dynamiquement plus de calcul en fonction de la difficulté à jeton. Nous explorons également comment l’architecture de profondeur récurrente simplifie les LLMS, les parallèles aux modèles de diffusion, les performances du modèle sur les tâches de raisonnement, les défis de la comparaison des modèles avec des budgets de calcul variables et des avantages architecturaux tels que les sorties adaptatives zéro et le décodage spéculatif naturel.