Élicitation métrique et apprentissage distribué robuste avec Sanmi Koyejo

La malheureuse réalité est que bon nombre des paramètres d’apprentissage automatique les plus couramment utilisés ne tiennent pas compte des compromis complexes qui ont une prise de décision réelle. C’est l’un des défis que Sanmi Koyejo a consacré ses recherches à la résolution. Sanmi est professeur adjoint au Département d’informatique de l’Université de l’Illinois où il applique ses antécédents en sciences cognitives, modélisation probabiliste et inférence bayésienne pour poursuivre ses recherches qui se concentrent largement sur « l’apprentissage automatique adaptatif et robuste ».

Construire des modèles ML qui optimisent les mesures complexes

À titre d’exemple de la déconnexion entre les mesures d’apprentissage automatique simples et complexes, pensez à un problème de récupération d’informations, comme la classification de la recherche ou des documents. Pour ces types de problèmes, il est courant d’utiliser une métrique connue sous le nom de Mesure F pour évaluer les performances de votre modèle. La mesure F est préférée aux métriques plus simples comme la précision car elle produit un résultat plus équilibré en examinant la précision et le rappel du modèle. Avant que Sanmi ne commence ses recherches dans ce domaine, il n’y avait pas une bonne compréhension de la façon de construire un système d’apprentissage automatique qui était spécifiquement bon pour optimiser la mesure F. Sanmi et ses collaborateurs ont exploré cette région à travers une série d’articles, dont Classification en ligne avec des mesures complexes sur la fabrication de modèles qui optimisent des mesures complexes et non décomposables. (Non-décomposable ici signifie que vous ne pouvez pas écrire la métrique en moyenne, ce qui vous permettrait d’appliquer des outils existants comme la descente de gradient.)

Échec jusqu’à des mesures plus complexes

Pour généraliser cette idée au-delà des classificateurs binaires simples, nous devons réfléchir à la matrice de confusion, qui est un outil statistique clé utilisé pour évaluer les classificateurs. La matrice de confusion mesure la distribution des prédictions qu’un classificateur fait une entrée avec une certaine étiquette.

Les recherches de Sanmi ont fourni des conseils pour la construction de modèles qui ont optimisé les mesures arbitraires basées sur la matrice de confusion. « Au départ, nous travaillons (Ed Out) des combinaisons pondérées linéaires. Finalement, nous avons atteint des rapports de choses linéaires, qui capture des choses comme la mesans F. Nous sommes maintenant au point où nous pouvons à peu près faire n’importe quelle fonction de la matrice de confusion. »

Experts du domaine et élicitation métrique

Ayant développé un cadre pour optimiser les classificateurs contre les mesures de performance complexes, la prochaine question posée que Sanmi a posée (parce que c’était la question suivante qui lui a posée), est-ce que vous devez choisir pour un problème particulier? C’est là que l’élicitation métrique arrive. Par exemple, un médecin comprend les coûts associés au diagnostic ou à une diagnostic erroné d’une personne atteinte d’une maladie. Les facteurs de compromis pourraient inclure les prix du traitement ou les effets secondaires – des facteurs qui peuvent être comprimés pour les avantages / inconvénients de prédire un diagnostic ou non. Construire une fonction de compromis pour ces décisions est difficile. Metric elicitation allows us to identify the preferences of doctors through a series of interactions with them, and to identify the trade-offs that should correspond to their preferences. » Once we know these trade-offs, we can build a metric that captures them, which allows you to optimize those preferences directly in your models using the techniques Sanmi developed earlier. In research developed with Gaurush Hiranandani and other colleagues at the University of Illinois, Élicitation métrique de la performance des comparaisons de classificateurs par paires Propose un système de demander aux experts de classer des paires de préférences, un peu comme un examen de la vue pour les mesures d’apprentissage automatique.

Élicitation métrique et apprentissage du renforcement inverse

Sanmi note que l’apprentissage des mesures de cette manière est similaire à l’apprentissage par renforcement inverse, où les fonctions de récompense sont apprises, souvent par interaction avec les humains. Cependant, les champs diffèrent en ce que RL se concentre davantage sur le comportement de réplication plutôt que sur la fonction de récompense. L’élicitation métrique, en revanche, se concentre sur la réplication de la même fonction de récompense de prise de décision que l’expert humain. La correspondance de la fonction de récompense du modèle, par opposition au comportement du modèle, a l’avantage d’une plus grande généralisation, qui permet des mesures qui sont agnostiques à la distribution des données ou à l’apprenant spécifique que vous utilisez. Sanmi mentionne un autre domaine d’application intéressant autour de l’équité et du biais, où vous avez différentes mesures d’équité qui correspondent à différentes notions de compromis. Les recherches à venir sont axées sur la recherche de «procédures d’élicitation qui créent des notions spécifiques au contexte de métriques ou de statistiques» qui devraient être normalisées entre les groupes pour atteindre un objectif d’équité dans un contexte spécifique.

Apprentissage distribué robuste

Cette interview couvre également les recherches de Sanmi sur l’apprentissage distribué robuste, qui vise à durcir les systèmes d’apprentissage automatique distribués contre les attaques contradictoires. Assurez-vous de consulter l’interview complète pour la discussion intéressante que Sam et Sanmi ont eu à la fois sur l’élicitation métrique et l’apprentissage distribué robuste. Cette dernière discussion commence environ 33 minutes après l’entretien.