Parallélisme et accélération pour les modèles de grandes langues avec Bryan Catanzaro

Aujourd’hui, nous sommes rejoints par Bryan Catanzaro, vice-président de la recherche appliquée en Deep Learning à Nvidia.

La plupart des gens connaissent Bryan comme l’un des fondateurs / créateurs de CUDNN, la bibliothèque accélérée pour les réseaux de neurones profonds. Dans notre conversation, nous explorons son intérêt pour l’informatique haute performance et son chevauchement récent avec l’IA, ainsi que ses travaux actuels sur Megatron, un cadre pour la formation de modèles de langage géant et l’approche de base pour distribuer un modèle de langue large sur l’infrastructure DGX.

Nous discutons également des trois différents types de parallélisme, du parallélisme du tenseur, du parallélisme des pipelines et du parallélisme des données, que Megatron fournit lors de la formation des modèles, ainsi que son travail sur le projet d’échantillonnage super apprentissage en profondeur et le rôle qu’il joue dans le présent et l’avenir du développement de jeux via le traçage des rayons.