Apprentissage collaboratif avec de grands modèles de langue

Les modèles de grands langues (LLM) ont considérablement amélioré l’état de l’art pour résoudre les tâches spécifiées en utilisant le langage naturel, atteignant souvent des performances près de celles des gens. Comme ces modèles permettent de plus en plus d’agents d’assistance, il pourrait être avantageux pour eux d’apprendre efficacement les uns des autres, tout comme les gens dans les milieux sociaux, ce qui permettrait aux agents basés sur LLM d’améliorer les performances de l’autre.

Pour discuter des processus d’apprentissage des humains, Bandura et Walters décrit le concept de apprentissage social En 1977, décrivant différents modèles d’apprentissage observationnel utilisés par les personnes. Une méthode courante d’apprentissage des autres est par un instruction verbale (par exemple, d’un enseignant) qui décrit comment adopter un comportement particulier. Alternativement, l’apprentissage peut se produire à travers un modèle en direct en imitant un exemple en direct du comportement.

Étant donné le succès de la LLMS imitant la communication humaine, dans notre article « Apprentissage social: vers l’apprentissage collaboratif avec de grands modèles de langue», Nous étudions si les LLM sont capables d’apprendre les uns des autres en utilisant l’apprentissage social. À cette fin, nous décrivons un cadre d’apprentissage social dans lequel les LLM partagent les connaissances les unes avec les autres d’une manière consciente de la vie privée en utilisant le langage naturel. Nous évaluons l’efficacité de notre cadre sur divers ensembles de données et proposons des méthodes quantitatives qui mesurent la confidentialité dans ce contexte. Contrairement aux approches précédentes de l’apprentissage collaboratif, comme apprentissage fédéré Les approches qui reposent souvent sur les gradients, dans notre cadre, les agents enseignent mutuellement en utilisant le langage naturel.