«  Pivot dur  » de NVIDIA à AI Ressing Bolters Llama Modèles pour l’agentique AI

Briski de Nvidia a déclaré que le «pivot dur» de la société au raisonnement a augmenté la précision de ses modèles de Nemotron LLAMA jusqu’à 20% par rapport au modèle de base. La vitesse d’inférence a également été optimisée par 5x par rapport aux autres modèles de raisonnement ouvert de premier plan, a-t-elle affirmé. Ces améliorations des performances d’inférence rendent la famille de modèles capables de gérer des tâches de raisonnement plus complexes, a déclaré Briski, qui à son tour réduit les coûts opérationnels des entreprises.

La famille de modèles Llama Nemotron est disponible sous forme de microservices Nvidia NIM dans Nano, Super et Ultra Tailles, qui permettent aux organisations de déployer les modèles à des échelles adaptées à leurs besoins. Les microservices Nano sont optimisés pour le déploiement sur les PC et les périphériques Edge. Les super microservices sont pour un débit élevé sur un seul GPU. Les microservices ultra sont destinés aux serveurs multi-GPU et aux applications de data-centre.

Les partenaires étendent le raisonnement à l’écosystème de lama

Les partenaires de Nvidia entrent également dans l’action. Microsoft élargit son catalogue Azure AI Foundry Model avec des modèles de raisonnement Nemotron Llama et des microservices NIM pour améliorer des services tels que le service Azure AI pour l’agent pour Microsoft 365. SAP les tire pour les exploiter pour SAP Business Solutions et son copilote Joule. Il utilise également les microservices NEMO pour augmenter la précision de l’achèvement du code pour les modèles de langage de programmation SAP ABAP. ServiceNow a déclaré que les modèles Llama Nemotron fourniront à ses agents de l’IA plus de performances et de précision.