Localité des données de formation et raisonnement de la chaîne de pensées dans les LLM avec Ben Prystawski

Aujourd’hui, nous sommes rejoints par Ben Prystawski, un Doctorant au Département de psychologie de l’Université de Stanford à l’intersection des sciences cognitives et de l’apprentissage automatique. Notre conversation se concentre sur le récent article de Ben, «Pourquoi penser pas à pas? Le raisonnement émerge de la localité de l’expérience», qu’il a récemment présenté à Neirips 2023. Dans cette conversation, nous commençons par explorer des questions de base sur le raisonnement LLM, y compris si elle existe, comment nous pouvons la définir. Nous fouillons ensuite dans les détails de l’article de Ben, qui vise à comprendre pourquoi la réflexion étape par étape est efficace et démontre que la structure locale est la propriété clé des données de formation LLM qui le permettent.