Modèles de langage de contexte long et leurs applications biologiques avec Eric Nguyen

Aujourd’hui, nous sommes rejoints par Eric Nguyen, doctorant à l’Université de Stanford. Dans notre conversation, nous explorons ses recherches sur les modèles de fondation à long terme et leur application à la biologie Hyèneet son évolution en ADN hyène et Evo modèles. Nous discutons de Hyena, un modèle linguistique basé sur la convolution développé pour relever les défis posés par de longues longueurs de contexte dans la modélisation linguistique. Nous fouillons dans les limites des transformateurs dans le traitement des séquences plus longues, la motivation de l’utilisation de modèles convolutionnels par rapport aux transformateurs, de sa formation et de l’architecture de modèle, du rôle de la FFT dans les optimisations de calcul et de l’explication des modèles dans les convolutions à longue séquence. Nous avons également parlé de Hyena ADN, un modèle de fondation génomique pré-formé sur 1 million de jetons, conçu pour capturer des dépendances à longue portée dans les séquences d’ADN. Enfin, Eric introduit EVO, un modèle hybride de 7 milliards de paramètres intégrant les couches d’attention au cadre convolutionnel de Hyena DNA. Nous couvrons la génération et la conception de l’ADN avec des modèles de langage, les hallucinations dans les modèles d’ADN, les repères d’évaluation, les compromis entre les modèles de pointe, les performances zéro par rapport à quelques performances à quelques coups et le potentiel passionnant dans des domaines tels que l’édition de gènes CRISPR-CAS.

Note: Veuillez noter que cet épisode a des problèmes de synchronisation audio et vidéo. Nous nous excusons pour tout inconvénient que cela peut provoquer et apprécier votre compréhension. Merci d’avoir regardé!