- 304B 매개변수 DeepSeek-V4-Flash-0731을 AMD MI300X 단일 1장에서 fp8 가중치를 그대로 운용, 가중치 156.67GiB와 GPU KV 캐시 20GB 배치를 달성함
- 퇴거된 프리필 캐시를 96GiB CPU 메모리로 오프로드하여 컨텍스트 확장과 처리량 확보를 동시에 시도함
- H100/H200 다중 장치 클러스터에 의존하던 LLM 서빙을 단일 가속기로 단순화할 수 있다는 점에서 비용 효율성 패러다임 전환점으로 평가됨
단일 MI300X 192GB HBM3 환경에서 304B 모델을 추가 양자화·오프로딩 없이 안정적으로 서빙한 사례는, 오픈소스 LLM 인프라의 비용 곡선을 근본적으로 재정의할 가능성을 보여준다.
최근 LLM 서빙은 모델 크기 증가에 따라 다수의 H100 또는 H200 가속기를 묶은 클러스터 구성이 사실상 표준으로 굳어졌다. 이러한 흐름 속에서 304B 매개변수에 달하는 DeepSeek-V4-Flash-0731을 AMD MI300X 단일 1장에서 서비스한 사례가 화제가 되고 있다. 본문은 메모리 계층화 설계와 운영 패치를 중심으로 이 구성을 해부한다.
배경: DeepSeek-V4-Flash와 AMD MI300X 스펙
DeepSeek-V4-Flash-0731은 304B 매개변수 규모의 오픈소스 LLM으로, fp8 정밀도 가중치를 기본으로 제공한다. fp8 가중치는 fp16 대비 메모리 점유를 절반 수준으로 낮추기 때문에, 대용량 모델을 단일 장치에 올리는 데 결정적 역할을 한다.
AMD MI300X는 192GB HBM3 메모리를 탑재한 데이터센터급 GPU로, H100/H200의 HBM3e 80~141GB 대비 한 장당 메모리 용량이 큰 폭으로 확장되어 있다. 다음 표는 이번 서빙 구성의 핵심 메모리 수치를 요약한다.
| 구성 요소 | 용량 | 배치 위치 |
|---|---|---|
| 모델 가중치 (fp8) | 156.67 GiB | MI300X HBM3 |
| KV 캐시 | 20 GB | MI300X HBM3 |
| 프리필 캐시 (퇴거분) | 96 GiB | 호스트 CPU 메모리 |
| MI300X 총 메모리 | 192 GB HBM3 | 단일 장치 |
메모리 배치 전략
156.67GiB 가중치와 20GB KV 캐시 구성
전체 192GB HBM3 중 156.67GiB를 모델 가중치가 점유하고, 나머지 용량이 KV 캐시 20GB 운용과 운영 버퍼로 활용된다. 이 구성에서 주목할 점은 가중치에 대한 추가 양자화나 GPU 메모리 오프로딩을 전혀 적용하지 않았다는 사실이다. 즉, 원본 fp8 가중치를 그대로 HBM3에 상주시킴으로써 수치 정확도와 출력 품질을 희생하지 않으면서 단일 장치 서빙을 실현했다.
KV 캐시는 생성 중 활성화되는 토큰의 키-값 텐서를 보관하는 영역으로, 컨텍스트 길이와 배치 크기에 비례해 증가한다. 20GB라는 운용 수치는 짧은~중간 길이 컨텍스트에서 동시 요청 다수를 안정적으로 처리하기 위한 운영 마진을 확보한 것으로 해석된다.
96GiB CPU 프리필 캐시 오프로드 설계
프리필 단계에서 생성된 컨텍스트 키-값은 요청이 길어질수록 GPU 메모리를 빠르게 소모한다. 이번 구성은 퇴거된 프리필 캐시를 96GiB 용량의 호스트 CPU 메모리 계층으로 오프로드하여, GPU 자원을 가중치와 활성 KV 캐시에 집중시켰다. CPU 메모리 계층은 GPU HBM3 대비 대역폭은 낮지만 용량 대비 비용이 크게 저렴해, 컨텍스트 확장 시 비용 곡선을 완만하게 만드는 데 기여한 것으로 분석된다.
운영 패치와 서빙 구성
양자화·오프로딩 없이 안정성을 확보한 방법
일반적으로 304B급 모델을 단일 GPU에 올리면 INT4/AWQ 등 추가 양자화나 부분 오프로딩이 거의 필수로 따라온다. 그러나 이번 구성은 무양자화·무오프로딩을 선택했고, 이는 MI300X의 192GB HBM3 용량이 156.67GiB 가중치를 그대로 수용할 수 있는 물리적 마진을 제공하기 때문에 가능했다. 결과적으로 정확도 손실과 양자화 역양자화 오버헤드를 동시에 회피한 것으로 평가된다.
컨텍스트 길이·처리량 트레이드오프
CPU 오프로드는 컨텍스트 확장성을 높이지만, 프리필 단계에서 PCIe 왕복 지연이 토큰 응답 시간에 영향을 줄 수 있다. 따라서 단일 MI300X 서빙은 다중 H100/H200 대비 절대 처리량에서 열위에 있을 가능성이 높지만, 동시 요청 수와 컨텍스트 길이 조합에 따라 비용 효율성 우위를 보일 수 있다. 운영 측면에서는 활성 KV 캐시 20GB 안에서 배치 크기와 프리필 오프로드 비율을 함께 튜닝하는 것이 핵심 변수로 보인다.
업계 의미
H100/H200 클러스터 대비 비용 효율성
기존 304B급 오픈소스 모델 서빙은 일반적으로 H100/H200 다중 장치 또는 NVLink 기반 노드 스케일 아웃을 전제로 설계돼 왔다. 단일 MI300X로 304B 모델을 fp8 그대로 운용할 수 있다는 사실은, 동일한 모델을 더 적은 가속기로 서비스할 수 있음을 의미하며, 자본 비용과 전력 비용 양쪽에서 임팩트를 만들 가능성이 있다. 다만 이는 단일 사례의 가능성을 보여주는 것이며, 모든 워크로드에 일반화될 수 있는지는 추가 검증이 필요한 것으로 보인다.
온프레미스 오픈소스 LLM 배포의 가능성 확대
단일 장치 운용은 운영 복잡도를 낮추고, 외부 API 의존 없이 사내 데이터센터 또는 단일 워크스테이션급 환경에 304B 모델을 배치할 여지를 넓힌다. 특히 fp8 가중치 공개, KV 캐시 20GB 운용, CPU 프리필 오프로드라는 세 축의 조합은 오픈소스 LLM의 온프레미스 도입 장벽을 낮추는 레퍼런스로 자리 잡을 수 있을 것으로 기대된다.
결론과 향후 과제
단일 AMD MI300X에서 304B 매개변수 DeepSeek-V4-Flash를 fp8 가중치 그대로 서빙한 사례는, 메모리 계층화 설계(가중치·활성 KV·퇴거 프리필 3단)와 무양자화 운영의 결합으로 달성되었다. 향후 과제로는 장시간 운영 시 HBM3 대역폭과 CPU 오프로드 지연이 토큰 처리량에 미치는 영향 측정, 그리고 다양한 워크로드에서의 비용 효율성 일반화가 남아 있다. 그럼에도 단일 가속기로 대용량 오픈소스 LLM을 서비스할 수 있다는 사실 자체가 오픈소스 LLM 인프라 분야의 비용 효율성 패러다임 전환점으로 부각되고 있다.
핵심 정리
- 304B 매개변수 DeepSeek-V4-Flash-0731을 AMD MI300X 1장에서 fp8 가중치 그대로 운용, 가중치 156.67GiB 점유를 확인함
- GPU KV 캐시 20GB와 CPU 프리필 캐시 96GiB 오프로드로 메모리 계층화 구성을 설계함
- 추가 양자화나 가중치 오프로딩 없이 정확도와 안정성을 동시에 확보한 점이 운영상 핵심임
- H100/H200 다중 장치 클러스터 의존 서빙 대비 자본·전력 비용 절감 가능성을 보여주는 사례로 평가됨
- 단일 장치 운용은 온프레미스 오픈소스 LLM 배포의 복잡도와 도입 장벽을 낮추는 레퍼런스가 될 것으로 보임