|
네모트론3 슈퍼는 여러 AI가 협력해 작업을 수행하는 멀티 에이전트 시스템을 염두에 두고 개발된 모델이다.
이 모델은 최대 100만 토큰의 컨텍스트 길이를 지원하는 것이 특징이다. 이를 통해 긴 대화 기록과 도구 실행 결과, 중간 추론 과정 등을 한 번에 처리할 수 있어 장시간 작업에서도 AI가 초기 목표를 유지하도록 돕는다고 엔비디아는 설명했다.
네모트론3 슈퍼에는 하이브리드 혼합 전문가(Mixture-of-Experts, MoE) 구조가 적용됐다. Mamba 레이어와 트랜스포머 레이어를 결합해 메모리와 연산 효율을 높였으며, 필요한 전문가 모델만 활성화하는 방식으로 처리 비용을 줄였다.
또한 멀티 토큰 예측 기술을 적용해 여러 단어를 동시에 예측하도록 설계됐다. 엔비디아는 이를 통해 이전 네모트론 슈퍼 모델 대비 최대 5배 높은 처리량과 최대 2배 수준의 정확도 향상을 달성했다고 밝혔다.
해당 모델은 엔비디아의 최신 GPU 플랫폼인 블랙웰(Blackwell)에서 NVFP4 정밀도로 구동되며, 이전 세대인 호퍼(Hopper) GPU의 FP8 대비 최대 4배 빠른 추론 성능을 제공한다고 회사 측은 설명했다.
네모트론3 슈퍼는 오픈 가중치(open weights) 형태로 공개된다. 개발자와 기업은 워크스테이션, 데이터센터, 클라우드 환경에서 모델을 직접 배포하거나 맞춤형으로 수정해 사용할 수 있다.
엔비디아는 모델 학습 과정과 데이터 구성 방식도 함께 공개했다. 약 10조 개 이상의 토큰이 학습에 사용됐으며, 강화학습 환경과 평가 방법 등도 공유된다. 연구자들은 엔비디아의 네모 플랫폼을 통해 모델을 추가로 미세조정하거나 자체 AI 모델 개발에 활용할 수 있다.
네모트론3 슈퍼는 퍼플렉시티, 오픈라우터 등에서 이용할 수 있다.
