Exemples contradictoires Les chercheurs doivent étendre ce que l’on entend par «robustesse»
- Intelligence Artificielle
Noesis News- 0
- 23 minutes de lecture
L’hypothèse dans Ilyas et. al. est un cas particulier d’un principe plus général qui est bien accepté dans la littérature sur la robustesse de la distribution – les modèles manquent de robustesse au changement de distribution car ils s’accrochent à des corrélations superficielles dans les données. Naturellement, le même principe explique également des exemples contradictoires car ils découlent d’une analyse du pire des cas du décalage de distribution. Pour obtenir une compréhension plus complète de la robustesse, des exemples contradictoires des chercheurs devraient relier leur travail au problème plus général de la robustesse de la distribution plutôt que de rester uniquement fixé sur les petites perturbations de gradient.
Réponse détaillée
L’hypothèse principale de Ilyas et al. (2019) se trouve être un cas particulier d’un principe plus général qui est généralement accepté dans la robustesse à la littérature sur la distribution
démontre que les modèles peuvent se généraliser aux exemples de test en apprenant des informations à haute fréquence qui sont à la fois naturelles et également discrètes. Concrètement, les modèles ont été formés et testés avec un filtre passe-haut extrême appliqué aux données. Les caractéristiques à haute fréquence qui en résultent apparaissent complètement en niveaux de gris aux humains, mais les modèles sont capables d’obtenir une précision top-1 de 50% sur ImageNet-1 uniquement à partir de ces caractéristiques naturelles qui sont généralement «invisibles». Ces fonctionnalités difficiles à nuire peuvent être rendues visibles en normalisant l’image filtrée pour avoir des statistiques de pixels de variance unitaire dans la figure ci-dessous.
Les modèles peuvent atteindre une grande précision en utilisant des informations de l’entrée qui seraient méconnaissables pour l’homme. Les modèles ci-dessus sont formés et testés avec un filtrage de passes élevé et bas agressif appliqué aux entrées. Avec un filtrage passe-bas agressif, le modèle est toujours supérieur à 30% sur ImageNet lorsque les images semblent être de simples globs de couleur. Dans le cas du filtrage de passe-passe élevé (HP), les modèles peuvent atteindre une précision supérieure à 50% en utilisant des fonctionnalités dans l’entrée qui sont presque invisibles pour l’homme. Comme indiqué sur le côté droit, les images filtrées à passe élevé doivent être normalisées afin de visualiser correctement les caractéristiques haute fréquence.
Étant donné la pléthore de corrélations utiles qui existent dans les données naturelles, nous devons nous attendre à ce que nos modèles apprennent à les exploiter. Cependant, les modèles s’appuyant sur des statistiques superficielles peuvent mal généraliser si ces mêmes statistiques se corrompent après le déploiement. Pour obtenir une compréhension plus complète de la robustesse du modèle,
La sensibilité du modèle au bruit additif aligné avec différents vecteurs de base de Fourier sur CIFAR-10. Nous réparons le bruit additif pour avoir Norm 4 et évaluer trois modèles: un modèle formé naturellement, un modèle formé adversarien et un modèle formé avec l’augmentation des données gaussiennes. Les taux d’erreur sont en moyenne de plus de 1000 images échantillonnées au hasard à partir de l’ensemble de tests. Dans la rangée inférieure, nous montrons des images perturbées de bruit le long du vecteur de base de Fourier correspondant. Le modèle à forages naturellement est très sensible au bruit additif dans toutes les fréquences sauf les plus basses. La formation contradictoire et l’augmentation des données gaussiennes améliorent considérablement la robustesse dans les fréquences les plus élevées tout en sacrifiant la robustesse du modèle naturalement formé dans les fréquences les plus basses (c’est-à-dire dans les deux modèles, la zone bleue au milieu est plus petite par rapport à celle du modèle naturellement formé).
Comment, alors, la communauté de recherche peut-elle créer des modèles qui se généralisent de manière robuste dans le monde réel, étant donné que la formation contradictoire peut nuire à la robustesse du changement de distribution? Pour ce faire, la communauté de recherche doit avoir une vision plus large de la robustesse et accepter que La robustesse adversaire est très limitée et principalement détachée de la sécurité et de la robustesse du monde réel
Résumé de la réponse: La démonstration de modèles qui apprennent des composants à haute fréquence des données est intéressante et s’aligne bien avec nos résultats. Maintenant, même si la sensibilité au bruit pourrait en effet résulter de caractéristiques utiles non-Robust, ce type de fragilité (semblable à des exemples adversaires) de modèles ML a été jusqu’à présent considéré comme une conséquence de «bugs» de modèle qui seront éliminés par des modèles «meilleurs». Enfin, nous convenons que nos modèles doivent être robustes à un ensemble beaucoup plus large de perturbations – l’élargissement de l’ensemble des perturbations pertinentes aidera à identifier encore plus de fonctionnalités et distiller les fonctionnalités utiles sur lesquelles nous voulons réellement que nos modèles comptent.
Réponse: Le fait que les modèles puissent apprendre à classer correctement en fonction de la composante haute fréquence de l’ensemble de formation est soigné! Cela complète bien l’un de nos plats à emporter: Les modèles s’appuieront sur des fonctionnalités utiles même si ces fonctionnalités semblent incompréhensibles pour les humains.
De plus, bien que la non-rappel au bruit puisse être un indicateur de modèles utilisant des caractéristiques utiles non-Robust, ce n’est pas ainsi que le phénomène a été visiblement visualisé. Plus souvent qu’autrement, la fragilité des modèles ML au bruit était plutôt considérée comme une lacune innée des modèles, par exemple, en raison de mauvaises marges. (Ce point de vue est encore plus répandu dans la communauté de la robustesse contradictoire.) Ainsi, il était souvent prévu que les progrès vers des modèles «meilleurs» / «sans bug» les conduiront à être plus robustes au bruit et aux exemples adversaires.
Enfin, nous convenons entièrement que l’ensemble de -Les perturbations liées sont un très petit sous-ensemble des perturbations auxquelles nous voulons que nos modèles soient robustes. Notez cependant que l’objectif de notre travail est d’alignement humain – à cette fin, nous démontrons que les modèles reposent sur des caractéristiques sensibles aux modèles imperceptibles pour l’homme. Ainsi, l’existence d’autres familles de caractéristiques incompréhensibles mais utiles fournirait encore plus de soutien à notre thèse – identifier et caractériser de telles caractéristiques est un domaine intéressant pour les recherches futures.
Références
- La robustesse du réseau neuronal récompense aux corruptions et perturbations courantes(PDF)
Hendrycks, D. et Dietterich, TG, 2019. Corr, Vol ABS / 1903.12261. - Mesurer la tendance des CNN à apprendre les régularités statistiques de surface(PDF)
Jo, J. et Bengio, Y., 2017. Corr, Vol ABS / 1711.11561. - Cauchemar à l’heure du test: apprentissage robuste par délétion des fonctionnalités(lien)
Globerson, A. et Roweis, S., 2006. Actes de la 23e Conférence internationale sur l’apprentissage automatique, pp. 353–360. ACM. Doi: 10.1145 / 1143844.1143889 - Une approche minimax robuste de la classification(lien)
Lanckriet, GR, Ghaoui, LE, Bhattacharyya, C. et Jordan, MI, 2003. J. Mach. Apprendre. Res., Vol 3, pp. 555–582. Jmlr.org. Doi: 10.1162 / 153244303321897726 - Généralisation chez l’homme et les réseaux de neurones profonds(PDF)
Geirhos, R., Temme, CRM, Rauber, J., Sch {\ « {U}} TT, HH, Bethge, M. et Wichmann, FA, 2018. Corr, Vol ABS / 1808.08750. - Une perspective de Fourier sur la robustesse du modèle dans la vision informatique(PDF)
Yin, D., Lopes, RG, Shlens, J., Cubuk, Ed et Gilmer, J., 2019. Corr, Vol ABS / 1906.08988. - Motiver les règles du jeu pour une recherche sur les exemples contradictoires(PDF)
Gilmer, J., Adams, RP, Goodfellow, IJ, Andersen, D. et Dahl, GE, 2018. Corr, Vol ABS / 1807.06732. - Les exemples contradictoires sont une conséquence naturelle de l’erreur de test dans le bruit(PDF)
Ford, N., Gilmer, J., Carlini, N. et Cubuk, Ed, 2019. Corr, Vol ABS / 1901.10513. - Robustesse des classificateurs: de l’adversariat au bruit aléatoire(PDF)
Fawzi, A., Moosavi-Dezfooli, S. et Frossard, P., 2016. Advances in Neural Information Processing Systems 29, pp. 1632–1640. Curran Associates, Inc. - Exemples contradictoires naturels(PDF)
Hendrycks, D., Zhao, K., Basart, S., Steinhardt, J. et Song, D., 2019. ICML 2019 Workshop on Comprends and Amélioration de la généralisation de l’apprentissage en profondeur. - {MNIST-C:} {A} Benchmark de robustesse pour la vision de l’ordinateur(PDF)
Mu, N. et Gilmer, J., 2019. Corr, Vol ABS / 1906.02337. - {Nico:} {A} Ensemble de données vers la classification des images non IIID(PDF)
HE, Y., Shen, Z. et Cui, P., 2019. Corr, Vol ABS / 1906.02899. - Les classificateurs ImageNet se généralisent-ils à ImageNet?(PDF)
Recht, B., Roelofs, R., Schmidt, L. et Shankar, V., 2019. Corr, Vol ABS / 1902.10811. - L’éléphant dans la pièce(PDF)
Rosenfeld, A., Zemel, RS et Tsotsos, JK, 2018. Corr, Vol ABS / 1808.03305. - Utilisation de vidéos pour évaluer la robustesse du modèle d’image(PDF)
Gu, K., Yang, B., Ngiam, J., LE, QV et Shlens, J., 2019. Corr, Vol ABS / 1904.10076.
Mises à jour et corrections
Si vous voyez des erreurs ou souhaitez suggérer des modifications, veuillez Créer un problème sur Github.
Réutilisation
Les diagrammes et le texte sont sous licence Creative Commons Attribution CC-BY 4.0 avec Source disponible sur githubsauf indication contraire. Les chiffres qui ont été réutilisés à partir d’autres sources ne relèvent pas de cette licence et peuvent être reconnus par une note dans leur légende: «figure de…».
Citation
Pour l’attribution dans des contextes académiques, veuillez citer ce travail comme
Gilmer & Hendrycks, "A Discussion of 'Adversarial Examples Are Not Bugs, They Are Features': Adversarial Example Researchers Need to Expand What is Meant by 'Robustness'", Distill, 2019.
Citation bibtex
@article{gilmer2019a,
author = {Gilmer, Justin and Hendrycks, Dan},
title = {A Discussion of 'Adversarial Examples Are Not Bugs, They Are Features': Adversarial Example Researchers Need to Expand What is Meant by 'Robustness'},
journal = {Distill},
year = {2019},
note = {https://distill.pub/2019/advex-bugs-discussion/response-1},
doi = {10.23915/distill.00019.1}
}
