(D) L’efficacité des autoencodeurs de paramètres latents uniques: une observation intéressante

Au cours d’une de mes expériences, j’ai réduit la dimension latente de mon autoencodeur à 1, ce qui a donné des reconstructions étonnamment bonnes des données d’entrée. (Voir l’exemple ci-dessous)

Reconstruction (bleu) des données d’entrée (orange) avec dim (z) = 1

J’ai été surpris par cela. Le premier soupçon était que l’autoencoder avait entré l’un de ses modes de défaillance: c’est-à-dire qu’il s’agissait de données d’indexation et "mémorisation" c’est en quelque sorte. Mais un balayage rapide à travers l’espace latent révèle que le paramètre latent singulier capturait des fonctionnalités dans les données de manière fluide et significative. (Voir GIF ci-dessous) Je pensais que c’était une observation quelque peu intéressante!

Les données reconstruites avec le paramètre latent Z prenant des valeurs de -10 à 4. Les valeurs réelles / codées de Z ont une moyenne = -0,59 et STD = 0,30.