Essayez notre démo interactive de résolution de labyrinthe: https://pub.sakana.ai/ctm/

Machines de pensée continue

• arXiv: https://arxiv.org/abs/2505.05522
• Site Web interactif: https://pub.sakana.ai/ctm/
• Billet de blog: https://sakana.ai/ctm/
• GitHub Repo: https://github.com/sakanaai/continuous-thought-machines

Hé r / machinesearning!

Nous sommes ravis de partager nos nouvelles recherches sur Machines de pensée continues (CTMS)une nouvelle approche visant à combler l’écart entre l’efficacité informatique et la plausibilité biologique dans l’intelligence artificielle. Nous partageons ce travail ouvertement avec la communauté et nous adorons entendre vos pensées et vos commentaires!

Que sont les machines à pensée continue?

La plupart des architectures d’apprentissage en profondeur simplifient l’activité neuronale en abstraction de la dynamique temporelle. Dans notre article, nous remettant ce paradigme en réintroduisant le timing neural en tant qu’élément fondamental. La machine à pensée continue (CTM) est un modèle conçu pour tirer parti de la dynamique neuronale comme représentation de base.

Innovations de base:

Le CTM a deux principales innovations:

1. Traitement temporel au niveau des neurones: Chaque neurone utilise des paramètres de poids uniques pour traiter une histoire de signaux entrants. Cela dépasse les fonctions d’activation statique pour cultiver la dynamique des neurones plus riche.
2. Synchronisation neuronale comme représentation latente: Le CTM utilise la synchronisation neuronale comme une représentation latente directe pour observer les données (par exemple, par l’attention) et faire des prédictions. Il s’agit d’un type de représentation fondamentalement nouveau distinct des vecteurs d’activation traditionnels.

Pourquoi est-ce excitant?

Nos recherches démontrent que cette approche permet au CTM de:

• Effectuer une gamme diversifiée de tâches difficiles: Y compris la classification de l’image, la résolution de labyrinthes 2D, le tri, le calcul de parité, les tâches de réponses de questions et RL.
• Exposer des représentations internes riches: Offrant une avenue naturelle pour l’interprétation en raison de son processus interne.
• Effectuez des tâches nécessitant un raisonnement séquentiel.
• Tirer parti du calcul adaptatif: Le CTM peut s’arrêter plus tôt pour des tâches plus simples ou continuer à calculer pour des instances plus difficiles, sans avoir besoin de fonctions de perte complexes supplémentaires.
• Créer des cartes internes: Par exemple, lors de la résolution de labyrinthes 2D, le CTM peut s’occuper de données d’entrée spécifiques sans incorporer de position en formant de riches cartes internes.
• Stocker et récupérer des souvenirs: Il apprend à synchroniser la dynamique neuronale pour stocker et récupérer des souvenirs au-delà de son historique d’activation immédiate.
• Atteindre un étalonnage fort: Par exemple, dans les tâches de classification, le CTM a montré un étalonnage étonnamment fort, une fonctionnalité qui n’a pas été explicitement conçue.

Notre objectif:

Il est crucial de noter que notre approche préconise des concepts d’emprunt à la biologie plutôt que d’insister sur une plausibilité stricte et littérale. Nous nous sommes inspirés d’un aspect critique de l’intelligence biologique: que La pensée prend du temps.

L’objectif de ce travail est de partager le CTM et ses innovations associées, plutôt que de pousser uniquement à de nouveaux résultats de pointe. Nous pensons que le CTM représente une étape importante vers le développement de systèmes d’intelligence artificielle plus plausibles et puissants plus biologiquement. Nous nous engageons à poursuivre les travaux sur le CTM, compte tenu des avenues potentielles des travaux futurs que nous pensons que cela permet.

Nous vous encourageons à consulter le journal, Démos interactifs sur notre page de projetet l’ouverture open référentiel de code. Nous sommes impatients de voir ce que la communauté construit avec elle et de discuter du potentiel de la dynamique neuronale dans l’IA!