Deux exemples de fonctionnalités utiles et non robustes

Ilyas et al. définir un fonctionnalité en fonction $f$ qui prend $x$ de distribution de données $(x, y) \ sim \ mathcal {d}$ en un nombre réel, limité à avoir une variance moyenne et unitaire moyenne. Une fonctionnalité est censée être utile S’il a une forte corrélation avec l’étiquette. Mais en présence d’un adversaire Ilyas et al. soutient la métrique qui compte vraiment est une fonctionnalité utilité robuste,

sa corrélation avec l’étiquette lors de l’attaque. Ilyas et al.
suggère qu’en plus des fonctionnalités piétonnes et robustes que nous connaissons et aimons (comme la couleur du ciel), nos modèles peuvent également profiter de caractéristiques utiles et non robustes, dont certaines peuvent même se situer au-delà du seuil de l’intuition humaine. Cela soulève la question: à quoi pourrait ressembler ces fonctionnalités non-Robust?

Fonctionnalités non-Robust dans les modèles linéaires

Notre recherche est simplifiée lorsque nous réalisons les éléments suivants: les fonctionnalités non-Robust ne sont pas uniques aux modèles complexes non linéaires rencontrés dans l’apprentissage en profondeur. Comme Ilyas et al
Observez, ils surviennent même dans les modèles les plus humbles – celui linéaire. Ainsi, nous limitons notre attention aux caractéristiques linéaires de la forme:

L’utilité robuste d’une caractéristique linéaire admet une décomposition élégante
Ce

\ begin {aligned} \ mathbf {e} \ Left (\ inf _ {\ | \ delta \ | \ leq \ epsilon} yf (x + \ delta) \ right) & = \ mathbf {e} \ Left (yf (x) + \ inf _ {\ | \ delta \ | \ leq \ epsilon} yf (\ delta) \ droite) = \ mathbf {e} \ Left (yf (x) + \ inf _ {\ | \ delta \ | \ leq \ epsilon} y \ frac {a ^ {t} \ delta} {\ | a \ | _ {\ sigma}} \ droit) \\ & = \ mathbf {e} \ Left (yf (x) + \ frac {\ inf _ {\ | \ delta \ | \ leq \ epsilon} a ^ {t} \ delta} {\ | a \ | _ {\ s igma}} \ reight) = \ mathop {\ mathbf {e} (yf (x))} – \ epsilon \ frac {\ | a \ | _ {*}} {\ | a \ | _ {\ sigma}} \ end {aligné} E(∥δ∥≤ϵdansf​yf(x+δ))​=E(yf(x)+∥δ∥≤ϵdansf​yf(δ))=E(yf(x)+∥δ∥≤ϵdansf​y∥un∥Σ​unTδ​)=E(yf(x)+∥un∥Σ​dansf∥δ∥≤ϵ​unTδ​)=E(yf(x))–ϵ∥un∥Σ​∥un∥∗​​​
en deux termes:

Dans l’équation ci-dessus $\ | \ cdot \ | _ *$

La tâche de classification binaire est tracée de séparation camion et grenouille dans CIFAR-10 sur l’ensemble des fonctionnalités $a_i$

Les caractéristiques insaisissables non-Robust utiles, cependant, semblent évidemment absentes dans le tracé ci-dessus. Heureusement, nous pouvons construire de telles fonctionnalités en combinant stratégiquement les éléments de cette base.

Nous démontrons deux constructions:

Il est donc surprenant que les expériences de Madry et al.
(avec des perturbations déterministes) faire Distinguer les fonctionnalités utiles non-Robust générées à partir d’ensembles et de confinement. Une définition succincte d’une caractéristique robuste qui écorche ces deux mondes est encore à exister et reste un problème ouvert pour la communauté d’apprentissage automatique.

Remerciements

Shan Carter (refonte de conception), Preettum (discussion technique), Chris Olah (discussion technique), Ludwig (rétroaction globale), Ria (rétroaction) Aditiya (rétroaction)

Contributions des auteurs

Recherche: Alex a développé…

Écriture et diagrammes: Le texte a été initialement rédigé par…

Références

1. Les exemples contradictoires ne sont pas des bugs, ce sont des fonctionnalités
   Ilyas, A., Santurkar, S., Tsipras, D., Engstrom, L., Tran, B. et Madry, A., 2019. Arxiv Preprint Arxiv: 1905.02175.

Mises à jour et corrections

Si vous voyez des erreurs ou souhaitez suggérer des modifications, veuillez Créer un problème sur Github.

Réutilisation

Les diagrammes et le texte sont sous licence Creative Commons Attribution CC-BY 4.0 avec Source disponible sur githubsauf indication contraire. Les chiffres qui ont été réutilisés à partir d’autres sources ne relèvent pas de cette licence et peuvent être reconnus par une note dans leur légende: «figure de…».

Citation

Pour l’attribution dans des contextes académiques, veuillez citer ce travail comme

Goh, "A Discussion of 'Adversarial Examples Are Not Bugs, They Are Features': Two Examples of Useful, Non-Robust Features", Distill, 2019.

Citation bibtex

@article{goh2019a,
  author = {Goh, Gabriel},
  title = {A Discussion of 'Adversarial Examples Are Not Bugs, They Are Features': Two Examples of Useful, Non-Robust Features},
  journal = {Distill},
  year = {2019},
  note = {https://distill.pub/2019/advex-bugs-discussion/response-3},
  doi = {10.23915/distill.00019.3}
}