2026년 7월 9일자로 공개된 NVIDIA의 Nemotron-Labs-3-Puzzle-75B-A9B는 대형 언어 모델의 서빙 경제성을 한 단계 끌어올린 사례로 주목받고 있다. 본문은 이 모델의 압축 방식과 성능 수치가 실무자에게 어떤 의미인지 분석한다.
- Nemotron-Labs-3-Puzzle-75B-A9B는 Nemotron-3-Super의 압축 변형으로, Iterative Puzzle 방식으로 총 파라미터 120.7B에서 75.3B, 활성 파라미터 12.8B에서 9.3B 수준으로 축소되었다.
- 단일 8xB200 노드 환경에서 사용자당 100 tok/s 조건을 유지하면서 Super 대비 총 서버 처리량 2.03배를 달성했다.
- 단일 H100 노드에서 1M 토큰 기준 동시 요청 수가 기존 1개에서 8개로 8배 확장되어, 사용자 체감 속도와 서버 효율을 동시에 끌어올린 결과로 보고되었다.
압축형 하이브리드 MoE는 더 적은 자원으로 더 많은 동시 사용자에게 동일한 응답 속도를 제공하는 방향으로 LLM 서빙의 비용 구조를 개선하는 흐름으로 평가된다.
Nemotron-3-Super에서 Puzzle 변형까지
Nemotron-3-Super는 이미 하이브리드 MoE 구조를 채택한 대형 모델이었으며, 전문가 라우팅과 밀집 경로를 결합해 추론 효율을 높이려는 설계 철학을 갖고 있었다. 다만 120B급 총 파라미터와 12B대 활성 파라미터 조합은 단일 노드 환경에서 동시성을 확보하기에 부담이 큰 사양으로 안내된다.
이러한 제약을 해소하기 위해 NVIDIA는 모델 자체의 크기를 줄이되, 사용자 입장에서는 응답 속도 변화가 거의 없는 압축 변형을 공개했다. 발표된 모델명 Nemotron-Labs-3-Puzzle-75B-A9B의 75B와 9B 숫자는 바로 이 압축 이후의 총 파라미터와 활성 파라미터를 각각 가리킨다.
Iterative Puzzle 압축 방식의 작동 원리
Puzzle 변형의 핵심은 Iterative Puzzle라는 압축 절차에 있다. 이 절차는 크게 두 단계가 교차하며 반복되는 구조다. 먼저 하드웨어 인지 구조적 압축을 통해 학습된 가중치를 대상 하드웨어의 메모리 및 연산 특성에 맞춰 재구성하고, 이어서 짧은 지식 증류 회복 단계를 거쳐 손실된 표현력을 되돌린다.
단일 1회성의 대규모 압축이 아니라 짧은 주기로 압축과 회복을 번갈아 적용하는 점이 특징이다. 이러한 반복 설계는 HBM 대역폭과 FLOPs 측면에서 압축 효과를 극대화하면서도, 정확도 저하를 최소화하려는 의도로 보인다.
압축 전후 수치로 보는 변화
MarkTechPost 원문에 공개된 수치를 정리하면 다음과 같다.
| 구분 | Nemotron-3-Super | Puzzle-75B-A9B | 변화 |
|---|---|---|---|
| 총 파라미터 | 120.7B | 75.3B | 약 37.6% 감소 |
| 활성 파라미터 | 12.8B | 9.3B | 약 27.3% 감소 |
| 8xB200 단일 노드 총 처리량 | 기준 | 2.03배 | 2.03배 향상 |
| H100 동시 요청 수 (1M 토큰 기준) | 1 | 8 | 8배 확장 |
위 표에서 활성 파라미터 감소폭이 총 파라미터 감소폭보다 작음에도 서버 처리량이 큰 폭으로 증가했다는 점이 중요하다. 이는 단순한 가중치 절감이 아니라 토큰당 처리 비용 자체가 낮아졌음을 시사한다.
MoE 활성 파라미터 축소가 만드는 추론 비용 구조
활성 파라미터가 9.3B 수준으로 내려가면 토큰당 FLOPs가 크게 줄어들고, 동시에 HBM 대역폭 부담도 완화된다. 이 두 효과가 동시에 작용해 GPU 노드 한 대가 감당할 수 있는 동시 요청 수가 증가하는 것으로 분석된다. 결과적으로 같은 워크로드를 더 적은 노드로 처리하거나, 동일 노드 수에서 더 많은 사용자에게 서비스를 제공하는 형태의 운영이 가능해진다.
단일 H100 환경에서의 동시성 8배 확장
H100 단일 노드 테스트에서는 1M 토큰이라는 큰 동시 컨텍스트 규모에서도 사용자 체감 속도를 떨어뜨리지 않은 채 동시 요청 수를 1개에서 8개로 끌어올린 것으로 보고되었다. 이 결과는 운영 환경에서 장시간 컨텍스트 스트림 처리에 관한 지표로 보고되었다.
서비스 입장에서 사용자 체감 속도는 그대로 유지되면서 동시에 더 많은 세션을 수용할 수 있다는 것은, 동시 요청 수가 8배로 늘었음을 나타내며 단순 비용 비례 환산은 제공되지 않았다. 단, 이 수치는 동시성 1 환경의 사용자 수가 충분히 모이지 않은 상황에서는 그대로 적용되지 않을 수 있다.
실무자가 주목해야 할 지표들
이 모델의 가치를 평가할 때는 총 throughput과 사용자 단위 throughput을 명확히 구분해야 한다. NVIDIA가 발표한 2.03배는 단일 8xB200 노드에서 사용자당 100 tok/s 조건을 고정한 상태에서 측정한 총 서버 처리량이다. 즉, 속도 희생을 통한 용량 확대가 아닌, 응답 속도를 양보하지 않는 조건에서 측정된 효율 개선임을 분명히 한다.
또한 같은 모델이라도 H100과 B200, 혹은 Blackwell 계열 GPU 등 하드웨어에 따라 압축 효과는 다르게 나타날 수 있다. Iterative Puzzle 자체가 하드웨어 인지 압축을 표방하기 때문에, 대상 가속기별 튜닝이 다시 필요하다는 점은 실무 도입 전 검토해야 할 과제다.
한계와 검증 포인트
현재 공개된 수치는 비교적 통제된 벤치마크 환경에서의 결과로 보인다. 실제 트래픽은 입력·출력 길이 분포, 도구 호출 빈도, 멀티턴 비율 등에서 측정 환경과 차이를 보일 가능성이 크다. 또한 Nemotron-3-Super 대비 정확도나 환각률 변화와 같은 정성 지표는 본 보도에서 충분히 제시되지 않았다.
따라서 도입을 검토하는 팀은 자체 RAG 워크로드나 도메인 지식 응답 품질에 대한 회귀 테스트를 반드시 수행해야 한다. 동시에 8xB200과 같은 대규모 단일 노드 구성이 가능한 인프라 환경은 상대적으로 제한적이므로, B200 도입 시점과 운영 비용 곡선을 함께 고려할 필요가 있다.
마무리: 하이브리드 MoE 압축이 제시하는 차세대 LLM 서빙 방향
Nemotron-Labs-3-Puzzle-75B-A9B는 단일 노드 효율 극대화를 노리는 흐름의 상징적 사례로 읽힌다. 사용자 단위 응답 속도를 양보하지 않으면서 서버 자원의 동시 처리 능력을 끌어올리는 전략은, LLM API의 단가 경쟁이 한층 더 격화될 것으로 예상되는 시장 환경과 정확히 맞물린다.
오픈 웨이트 모델 생태계에서도 유사한 압축 기법이 표준처럼 자리 잡을 가능성이 높으며, 이는 곧 자체 호스팅 기반 추론을 고려하는 기업들의 의사결정에도 영향을 줄 것으로 판단된다.
- 핵심 한 줄 요약: 활성 파라미터를 9.3B 수준으로 낮추면서도 사용자 체감 속도는 유지해, 노드당 처리량을 2.03배로 끌어올린 사례다.
- 실무 적용 포인트: GPU 노드 단가가 동일한 상태에서 동시 수용 사용자 수를 늘리고 싶다면, 압축형 Hybrid MoE 도입을 1순위로 검토할 만하다.
- 의사결정 체크리스트: (1) 자체 워크로드 정확도 회귀 테스트, (2) H100과 B200 등 하드웨어별 재측정, (3) 공개되지 않은 환각률·지연 p99 지표 확인.
- 리스크 알림: 벤치마크 조건과 실제 트래픽 분포의 차이, 단일 노드 구성의 인프라 의존성, 정성 평가 항목의 추가 공개 필요성을 동시에 점검해야 한다.
참고 자료