Ai 추론 강화 향한 « 급선회” ··· 엔비디아 에이전트 Ai 구축용 라마 모델 공개

엔비디아의 브리스키는 추론에 대한 회사의 ‘하드 피봇’ 이 기본 모델에 비해 라마 네모트론 모델의 정확도를 최대 20% 까지 향상시켰다며, 추론 속도 또한 다른 주요 개방형 추론 모델에 비해 5 배까지 최적화되었다고 주장했다. 이러한 추론 성능 향상으로 인해 모델 제품군이 더 복잡한 추론 작업을 처리할 수 있게 되었고, 이는 결과적으로 기업의 운영 비용을 절감할 수 있다는 있다는 설명이다.

라마 네모트론 모델 제품군은 나노, 슈퍼, 울트라 크기별로 엔비디아 nim 마이크로서비스로 제공된다. 즉 조직은 필요에 맞는 크기로 모델을 배포할 수 수. 참고로 나노 마이크로서비스는 PC 와 엣지 장치를 겨냥한다. 슈퍼 마이크로서비스는 단일 GPU 에서 높은 처리량을 처리하는 데 적합하다. 울트라 마이크로서비스는 멀티 GPU 서버와 데이터센터 규모 애플리케이션를 대상으로 한다.

파트너들도 추론을 라마 생태계로 확장

엔비디아의 파트너들도 이 활동에 동참하고 있다. 마이크로소프트는 라마 네모트론 추론 모델과 Nim 마이크로서비스를 통해 애저 Ai 파운드리 모델 카탈로그를 확장하고 있다. 마이크로소프트 365 용 애저 Ai 에이전트 서비스와 같은 서비스를 고도화하기 고도화하기 위해서다. SAP 는 SAP 비즈니스 AI 솔루션과 줄 (JOULE) 코파일럿에 대해 이들을 활용하고 있다. 또한 SAP ABAP 프로그래밍 언어 모델의 코드 완성 정확도를 높이기 위해 네모 마이크로서비스를 사용하고 있다. 서비스나우는 라마 네모트론 모델이 Ai 에이전트에게 더 높은 성능과 정확성을 제공할 것이라고 것이라고 밝혔다.