Localiser et modifier les connaissances en LLMS avec Peter Hase

Aujourd’hui, nous sommes rejoints par Peter Hase, un doctorant de cinquième année au laboratoire NLP de l’Université de Caroline du Nord. Nous discutons de la «surveillance évolutive» et de l’importance de développer une compréhension plus approfondie de la façon dont les grands réseaux de neurones prennent des décisions. Nous apprenons comment les matrices sont sondées par des chercheurs d’interprétabilité et explorons les deux écoles de pensée concernant la façon dont les connaissances sur les LLM. Enfin, nous discutons de l’importance de supprimer les informations sensibles des poids du modèle et de la façon dont la « généralisation facile à dur » pourrait augmenter le risque de libérer des modèles de fondation open source.