Alimenter l’IA avec la plus grande puce informatique du monde avec Joel Hestness

Aujourd’hui, nous sommes rejoints par Joel Hestness, chercheur principal et responsable de l’équipe de base d’apprentissage automatique de Cerebras. Nous discutons du silicium personnalisé de Cerebras pour l’apprentissage automatique, de Wafer Scale Engine 3 et de la façon dont la dernière version de la plate-forme à puce unique de l’entreprise pour ML a évolué pour prendre en charge les modèles de grandes langues. Joel partage la façon dont WSE3 diffère des autres solutions matérielles AI, telles que les GPU, les TPU et l’inferentia d’AWS, et parle de la conception homogène de la puce WSE et de son architecture de mémoire. Nous discutons de la prise en charge des logiciels pour la plate-forme, y compris la prise en charge des cadres Open Source ML comme Pytorch et la prise en charge de différents types de modèles basés sur les transformateurs. Enfin, Joel partage certaines des recherches que son équipe poursuit pour profiter des caractéristiques uniques du matériel, y compris une formation à la taille du poids, des optimisateurs qui tirent parti des statistiques d’ordre supérieur, etc.