(R) Panda: un modèle pré-présélectionné pour la représentation universelle de la dynamique chaotique
- Intelligence Artificielle
Noesis News- 0
- 4 minutes de lecture
|
Résumé: Les systèmes chaotiques sont intrinsèquement sensibles aux petites erreurs, ce qui est difficile pour construire des modèles prédictifs basés sur les données de systèmes dynamiques du monde réel tels que les flux de liquide ou l’activité neuronale. Les efforts antérieurs comprennent soit des modèles spécialisés formés séparément sur des séries chronologiques individuelles, soit des modèles de fondation formés sur de vastes bases de données de séries chronologiques avec peu de structure dynamique sous-jacente. Motivés par la théorie des systèmes dynamiques, nous présentons Panda, patchée à l’attention pour la dynamique non linéaire. Nous formons le panda sur un nouveau ensemble de données synthétique et extensible de systèmes dynamiques chaotiques 2 × 10 ^ 4 que nous découvrons en utilisant un algorithme évolutif. Formé uniquement sur les données simulées, le panda présente des propriétés émergentes: prévision zéro-shot de systèmes chaotiques réels invisibles et schémas de résonance non linéaire dans les têtes d’attention inter-canaux. Bien qu’il ait été formé uniquement sur des équations différentielles ordinaires de faible dimension, Panda développe spontanément la capacité de prédire des équations différentielles partielles sans recyclage. Nous démontrons une loi d’échelle neurale pour les équations différentielles, soulignant le potentiel des modèles pré-entraînés pour sonder des domaines mathématiques abstraits comme la dynamique non linéaire. Papier: https://arxiv.org/abs/2505.13755 Code: https://github.com/abao1999/panda Points de contrôle: https://huggingface.co/gilpinlab/panda soumis par / u / wil3 |
