- Meta가 자체 설계한 ASIC Vistara로 DDR4 DIMM을 CXL 2.0/1.1, PCIe Gen5 x16 인터페이스로 변환해 기존 CXL 디바이스의 DDR4 재사용 한계를 우회했다.
- MemServer 1대당 AMD Turin CPU에 DDR5 768GB와 DDR4 256GB를 결합하고, DDR4 영역은 CPU가 없는 별도 NUMA 노드로 OS에 노출한다.
- 전체 서버 플릿의 약 40%는 메모리 증설이 불가능해 DIMM 재활용이 사실상 유일한 비용 절감 수단이며, 일부 분리형 추론 워크로드에서 필요 서버 수를 최대 25%까지 줄일 수 있는 것으로 분석된다.
메모리 자원의 세대 불일치 문제를 ASIC과 CXL로 해결해 데이터센터 총소유비용(TCO) 절감의 하나의 사례를 제시한 것으로 읽힌다.
데이터센터 메모리 자원의 수명이 CPU 세대보다 길다는 점은 오래전부터 알려진 낭비 요인이다. Meta는 이 문제를 CXL(Compute Express Link) 기반 브리지 ASIC과 소프트웨어 NUMA(Non-Uniform Memory Access) 설계로 동시에 해결하려 하고 있다. 본문은 The Register 원문과 GeekNews 톱크 31311의 요약을 토대로 Vistara의 구조와 MemServer 운용 방식을 정리한다.
배경: 서버 교체 사이클과 메모리 낭비 문제
서버 플릿 40%가 메모리 증설 불가인 이유
데이터센터 운영팀이 가장 먼저 부딪히는 현실은 물리적 슬롯 제약이다. GeekNews가 요약한 The Register 원문에서는 “전체 서버 플릿의 약 40%가 메모리 증설이 불가능하다”고 명시된다. 이는 DIMM 슬롯이 모두 점유되었거나 CPU 메모리 컨트롤러가 추가 채널을 지원하지 않아 DIMM을 추가 장착할 수 없는 상태를 의미한다. 신규 CPU 세대로 교체하면 기존 메모리는 그대로 남아 도태되는데, 이 잔존 자원이 수십만 장 규모로 누적되면 회수 비용만으로 연간 상당한 운영비가 발생한다.
DDR4-DDR5 세대 전환과 DIMM 재활용 가치
DDR5 세대 전환기는 이러한 메모리 낭비를 극대화한다. 같은 용량의 DDR5 DIMM은 DDR4 대비 단가와 전력 모두 높기 때문에, 기존 DDR4 자산을 버리는 대신 새 서버에 함께 싣는다면 단위 서버당 메모리 비용을 크게 낮출 수 있다. 다만 DDR4는 전압과 신호 규격이 달라 CPU 메모리 컨트롤러에 직접 연결할 수 없으므로, 별도의 변환 계층이 필요하다. 이 지점에서 CXL과 Vistara ASIC이 등장한다.
Vistara ASIC 구조와 CXL 브리지 설계
PCIe Gen5 x16과 CXL 2.0/1.1 인터페이스 선택
Vistara는 Meta가 자체 설계한 ASIC으로, DDR4 DIMM을 CXL 2.0과 CXL 1.1을 모두 호환하는 PCIe Gen5 x16 인터페이스로 변환한다. 기존 CXL 메모리 디바이스는 대부분 DDR5를 직접 장착해 노출하는 방식이어서, 기존 시스템에서 회수한 DDR4 DIMM을 그대로 활용하기 어려웠다. Vistara는 이 간극을 메우는 전용 브리지 역할을 한다. GeekNews 요약에 따르면 Vistara 내부의 상세 마이크로아키텍처는 공개되지 않았으며, 본문은 공개된 사양 범위 내에서만 분석한다.
| 구분 | 기존 CXL 메모리 디바이스 | Meta Vistara 기반 MemServer |
|---|---|---|
| 메모리 미디어 | DDR5 (또는 일부 DDR4) | DDR5 + 회수 DDR4 |
| 호스트 인터페이스 | CXL 2.0/1.1, PCIe Gen5 | CXL 2.0/1.1, PCIe Gen5 x16 |
| 변환 계층 | 디바이스 컨트롤러 내장 | 전용 브리지 ASIC(Vistara) |
| CPU 결합 방식 | CPU 메모리 컨트롤러 직접 연결 | ASIC을 통한 이종 NUMA 노출 |
자체 ASIC을 직접 만든 Meta의 동기와 비용 곡선
ASIC 자체 설계는 일반 데이터센터 운영사에게는 높은 진입 장벽이다. Meta가 이를 선택한 동기는 첫째, 회수 DDR4 DIMM의 절대 물량이 표준 CXL 디바이스 OEM의제품 사양을 압도할 만큼 크다는 점, 둘째, 추론 워크로드의 메모리 접근 패턴이 일반 서버와 다르기 때문에 전용 하드웨어-소프트웨어 공동 설계가 더 효율적이라는 판단으로 보인다. 다만 NRE(Non-Recurring Engineering) 비용과 검증 기간이 크므로, 단기 ROI는 회수 DIMM 물량에 크게 의존한다.
MemServer 소프트웨어 스택: 이종 NUMA 노출
AMD Turin + DDR5 768GB + DDR4 256GB 구성
MemServer의 하드웨어 구성은 공개된 사양 기준으로 다음과 같다. CPU는 AMD Turin(Zen 5 기반 EPYC로 추정)이며, 시스템 메모리는 DDR5 768GB, Vistara 경유 DDR4는 256GB이다. 결과적으로 단일 서버는 총 1TB 이상의 메모리를 OS에 노출하지만, 두 미디어는 물리적으로 분리된 NUMA 노드로 운영체제에 보인다.
CPU-less NUMA 노드 운용과 추론 워크로드 분리
특히 DDR4 영역은 자체 CPU 없이 Vistara ASIC과 PCIe 스위치만으로 구성된 별도 NUMA 노드로 노출된다. 이 설계 덕분에 운영체제는 DDR5의 로컬 노드와 DDR4의 원격 노드를 명확히 구분할 수 있고, 스케줄러는 워커를 DDR5 노드에 고정하면서 큰 메모리 풀이 필요한 데이터셋만 DDR4 노드에 배치할 수 있다. 예를 들어 추론 시 KV 캐시나 모델 가중치의 일부를 DDR4에 배치하고, latency-critical 경로는 DDR5에서 처리하는 분리형 워크로드에 특히 적합하다.
성과와 한계: 서버 수 25% 절감의 의미
분리형 추론 워크로드에 국한된 효과
The Register 원문에 따르면 일부 분리형(disaggregated) 추론 워크로드에서 필요한 서버 수를 최대 약 25%까지 줄일 수 있는 것으로 분석된다. 이는 같은 총 메모리 용량을 확보하기 위해 들였던 신규 서버 도입을 회수 DIMM으로 대체했기 때문이다. 그러나 이 수치는 모든 워크로드에 일반화되지 않으며, 학습(트레이닝)처럼 DDR5 대역폭을 강하게 요구하는 경로에서는 효과가 제한적일 것으로 보인다.
다른 AI 학습·추론 워크로드로의 일반화 가능성
일반적인 LLM 학습에서는 모든 GPU가 동시에 고대역폭 메모리를 요구하므로 DDR4 노드의 추가 latency가 병목이 될 가능성이 높다. 반면, 사용자 트래픽이 시간 분산되는 추론에서는 요청 단위로 메모리 풀이 확장되므로 회수 DIMM의 가치가 더 크다. 따라서 Vistara 기반 MemServer는 학습 플릿보다 추론 플릿에서 우선 도입될 가능성이 높으며, 워크로드별 효과는 별도 벤치마크가 필요한 영역으로 남아 있다.
시사점: 차세대 데이터센터 메모리 전략
메모리 계층 재활용이 TCO 최적화의 새 기준이 되는가
메모리 단가 상승과 AI 워크로드의 폭발적 증가가 맞물리면서, DIMM 회수와 재활용은 단순한 비용 절감이 아니라 운영 전략의 일부가 되었다. Meta 사례는 “하드웨어 세대 교체”와 “자원 회수”를 같은 흐름으로 묶어 처리한다는 점에서, 다른 hyperscaler들도 유사한 메모리 풀링 정책을 검토할 것으로 보인다. 다만 회수 DIMM의 품질 편차, 호스트 펌웨어 부담, 워크로드 재배치 비용은 추가 검증이 필요한 항목이다.
ASIC과 CXL이 만드는 온디바이스·스케일아웃 메모리 청사진
장기적으로 CXL은 단순한 메모리 확장을 넘어, 여러 서버가 하나의 메모리 풀을 공유하는 스케일아웃 메모리 아키텍처의 기반이 된다. Meta의 Vistara는 그 첫 단추로, 온디바이스 ASIC이 세대 불일치 자원의 브리지 역할을 수행하는 모델을 제시했다. 향후 CXL 3.0의 스위칭과 피어 투 피어 기능이 성숙하면, 같은 ASIC이 GPU와 가속기 사이의 메모리 중재자로 확장될 여지도 있다.
핵심 정리
- Vistara ASIC은 DDR4를 CXL 2.0/1.1, PCIe Gen5 x16으로 변환해 기존 CXL 디바이스의 DDR4 재사용 한계를 우회한다.
- MemServer는 AMD Turin에 DDR5 768GB와 DDR4 256GB를 결합하고, DDR4 영역을 CPU 없는 별도 NUMA 노드로 노출한다.
- 일부 분리형 추론 워크로드에서 서버 수를 최대 25% 절감할 수 있는 것으로 분석되며, 회수 DIMM은 40% 플릿의 사실상 유일한 메모리 증설 수단이다.
- 효과는 추론 워크로드에 편중되며, 학습 워크로드로의 일반화는 추가 검증이 필요하다.
참고 자료: GeekNews 톱크 31311 – Meta, 맞춤형 CXL 브리지 칩으로 구형 RAM을 새 서버에서 재사용, The Register 원문 (theregister.com)