LLMS multilingues et les valeurs se divisent en AI avec Sara Hooker

Aujourd’hui, nous sommes rejoints par Sara Hooker, directrice de Cohere et chef de Cohere pour l’IA, le laboratoire de recherche de Cohere. Dans notre conversation avec Sara, nous explorons certains des défis avec des modèles multilingues comme une mauvaise qualité des données et des tokenisation, et comment ils comptent sur l’augmentation des données et la formation des préférences pour aborder ces goulots d’étranglement. Nous discutons également des inconvénients et des facteurs de motivation derrière la technique du mélange des experts, et l’importance du langage commun entre les chercheurs de ML et les architectes matériels pour aborder les points de douleur dans les cadres et créer une meilleure cohésion entre les communautés distinctes. Sara met également en évidence l’impact et la connexion émotionnelle que les modèles de langue ont créés dans la société, les avantages et les problèmes de sécurité actuels des modèles universels et l’importance d’avoir des conversations fondées pour caractériser et atténuer le risque et le développement des modèles d’IA. En cours de route, nous plongeons également profondément dans Cohere et Cohere pour l’IA, ainsi que leur projet AYA, un projet scientifique ouvert qui vise à construire un modèle de langage génératif multilingue de pointe ainsi que certains de leurs articles de recherche récents.