(D) Relation entre la perte et le calendrier LR

Je forment un réseau neuronal sur un grand ensemble de données de vision par ordinateur. Au cours de mes expériences, j’ai remarqué quelque chose d’étrange: peu importe comment je planifie le taux d’apprentissage, la perte le suit toujours. Voir les images comme des exemples, la perte en bleu et LR est rouge. La perte est basée sur Softmax. Cela est même vrai pour quelque chose comme un taux d’apprentissage cyclique (dernier terrain).

Quelqu’un a-t-il déjà remarqué quelque chose comme ça? Et comment dois-je gérer cela pour trouver la configuration optimale pour la formation?

Remarque: l’axe x n’est pas directement comparable car ses valeurs dépendent de certains paramètres de l’environnement. Toutes les formations ont été effectuées pour environ le même nombre d’époches.