(P) Hill Space: réseaux de neurones qui font de l’arithmétique parfaite (10⁻¹⁶ précision)

Trébuché dans cela tout en ajoutant un sens du nombre à mes agents PPO – il s’avère que la contrainte de Nalu W = Tanh (ŵ) ⊙ σ (M̂) crée une topologie mathématique où vous pouvez calculer des poids optimaux au lieu de s’entraîner pour eux.

Résultats clés qui m’ont surpris: – Arithmétique de précision de la machine (frapper les limites à virgule flottante) – Division qui fonctionne réellement de manière fiable (enfin!) – 1000x + extrapolation au-delà des gammes d’entraînement – Convergence en moins de 60 secondes sur le CPU

Les démos interactives vous permettent de voir des configurations de poids discrètes produisant des mathématiques parfaites en temps réel. Construit primitives pour l’arithmétique + trigonométrie.

Papier: "L’espace de colline est tout ce dont vous avez besoin" Démos: https://hillspace.justindujardin.com Code: https://github.com/justindujardin/hillspace

Trois semaines dans ce terrier de lapin. Curieux de ce que vous pensez tous – surtout si vous avez déjà combattu avec l’arithmétique neuronale.