(P) J’ai construit un outil 3D pour visualiser comment les optimisateurs (SGD, Adam, etc.) traversent une surface de perte – m’a enfin aidé à comprendre comment ils se comportent!

Hé tout le monde! J’ai appris sur les algorithmes d’optimisation dans l’apprentissage automatique, et j’ai continué à lutter pour comprendre intuitivement à quel point les différents se comportent – comme pourquoi Adam converge plus rapidement ou comment l’élan aide dans les paysages délicats.

Alors j’ai construit un Visualiseur 3D Cela montre comment ces optimisateurs se déplacent sur une surface de perte personnalisée. Tu peux:

• Entrez votre propre fonction de perte
• Choisissez un optimiseur (SGD, Momentum, RMSProp, Adam, etc.)
• Régler le taux d’apprentissage, l’élan, etc.
• Cliquez pour supprimer un point de départ et regardez l’optimiseur déplacer en 3D

Il est entièrement interactif et peut être très utile pour comprendre la dynamique.

Voici une courte démo (site Web):

https://i.redd.it/c69gnqn9md0f1.gif

J’adorerais les commentaires ou les pensées des autres apprenant l’optimisation. GitHub Repo: – https://github.com/yasharote/gradient-descent-visualizer