WASTE 엔진으로 본 982GiB Kimi K3를 노트북 RAM에서 돌리는 법

2.78조 파라미터 규모의 Kimi K3는 단일 GPU로 다루기 어려운 무게이지만, sqliteai가 공개한 WASTE 추론 엔진은 소비자 노트북의 RAM과 NVMe만으로 이 거대 모델을 실제로 동작시켰다는 점에서 주목할 만함. 기존에는 양자화나 가지치기 없이는 불가능했던 시나리오를 그대로 재현했다는 사실이 오픈 가중치 생태계에 주는 신호는 작지 않음.

WASTE는 무엇이고 어떻게 거대 모델을 RAM에 올리는가

WASTE는 모델 축소나 양자화 절차를 거치지 않고 982GiB Kimi K3 컨테이너를 그대로 입력받아 C 언어로 작성된 추론 파이프라인에서 처리하는 엔진임. 핵심 아이디어는 MoE(Mixture of Experts) 구조의 특성, 즉 토큰당 전체 파라미터의 일부만 실제로 활성화된다는 점을 하드웨어 계층에서 적극 활용하는 것임.

메모리 배치는 다음과 같이 분리됨. 첫째, 공통 트렁크 가중치는 상주 영역으로 RAM에 항상 상주하며 한 번 로드된 후에는 다시 디스크를 거치지 않음. 둘째, 활성 전문가 가중치는 매 토큰 생성 시점에만 NVMe SSD에서 스트리밍하여 읽음. 셋째, 남은 여유 RAM은 제한된 용량의 전문가 캐시로 활용되어 직후 토큰에서 재사용될 일부 전문가를 보관함. 4K 컨텍스트 기준으로 최소 29.05GB의 상주 RAM이 필요하며, 권장 사양은 64GB MacBook Pro에서 46GB를 추론 예산으로 잡은 구성임.

실측 성능과 속도 분석

WASTE 팀이 공개한 수치에 따르면 64GB MacBook Pro 환경에서 토큰 생성 속도는 0.45~0.62 tok/s 범위를 보였고 단순 실행 시 표기 속도는 0.50 tok/s임. 이 값은 대규모 데이터센터 GPU 대비 느리지만, 노트북 단일 기기에서 2.78조 파라미터 모델이 실제로 응답을 생성한다는 사실 자체가 새로운 벤치마크임.

단순한 디스크 스트리밍만으로는 NVMe 대역폭 한계에 빠르게 부딪히기 때문에 WASTE는 두 가지 핵심 최적화를 적용함. 첫째는 디스크 읽기와 행렬 연산을 오버랩시켜 I/O 대기 시간을 계산으로 채우는 방식이며, 이로 인해 읽기 단독 대비 약 1.6배의 처리량 향상이 보고됨. 둘째는 다음 계층의 라우터 1회 잔차(residual) 신호를 미리 실행하는 기법으로, 이를 통해 제한된 캐시 용량에서도 실제 적중률을 14% 끌어올린 것으로 분석됨. 토큰당 약 4%의 전문가만 활성화되는 MoE 특성상 이 14%는 동일 RAM 예산에서 처리 가능한 토큰 수를 비선형적으로 늘리는 효과가 있음.

구성 사양과 필요 자원 정리

• 모델명: Kimi K3 (완전 오픈 가중치)
• 파라미터 규모: 2.78조 (10의 12제곱 단위)
• 컨테이너 크기: 982GiB
• 최소 메모리: 29.05GB RAM (4K 컨텍스트)
• 권장 기기: 64GB MacBook Pro, 예산 46GB
• 실측 속도: 0.45~0.62 tok/s, 표기 0.50 tok/s
• 활성 전문가: 토큰당 약 4%
• 캐시 적중률 개선: 14% (라우터 1 residual 선실행)
• 읽기-연산 오버랩 효과: 단독 읽기 대비 약 1.6배 처리량 개선
• 엔진: WASTE, C 기반 구현, 저장소 github.com/sqliteai

오픈 가중치 LLM 생태계에 미치는 영향

2.78조 파라미터 모델이 소비자 노트북에서 동작한다는 점은 단순한 속도 수치를 넘어 생태계 전반에 변화를 시사함. 다만 0.50 tok/s는 실시간 대화에는 느리지만 배치 추론과 연구 목적에는 충분한 수준임. 완전 오픈 가중치를 채택한 모델이 하드웨어 비용 절감 없이도 연구자, 학생, 개인 개발자의 워크스테이션에서 직접 구동된다는 사실은 추론 인프라의 분산화를 가속할 것으로 보임. 동시에 데이터센터 GPU 없이도 거대 모델 내부 구조를 들여다볼 수 있어, 라우팅 패턴이나 전문가 활성화 분포 같은 연구 주제가 더 넓은 커뮤니티로 확산될 가능성이 커짐.

하드웨어 진입 장벽의 변화 소비자용 노트북의 가능성

WASTE의 접근법은 RAM 용량과 NVMe 대역폭이 충분한 소비자 노트북이면 전문 인프라 없이도 트랜스포머 기반 거대 모델을 탐색할 수 있음을 입증함. 기존에는 API 호출이나 클라우드 GPU 임대가 필수였던 실험이 이제는 64GB 메모리 옵션을 갖춘 일반 노트북 한 대로 가능해진 셈임. 다만 0.50 tok/s 수준은 대화형 서비스용이라기보다 연구 및 검증 목적에 적합하므로, 실용적인 응답 지연 시간을 기대하는 영역에서는 여전히 클라우드 추론이 우위를 유지할 것으로 보임.

엣지 추론 시장과 향후 전망

엣지 추론 시장은 그동안 소형 모델 위주로 형성되어 왔으나, WASTE와 같은 스트리밍 형 추론 엔진은 양자화 없이도 대형 모델을 단말에 가져올 수 있는 새로운 경로를 제시함. 향후 NVMe Gen5 규격이 일반화되고 RAM 가격이 추가 하락하면 같은 방식의 1 tok/s 돌파도 기술적으로는 가능할 것으로 분석됨. 한편 sqliteai 측 저장소에서는 컨테이너 변환 도구와 추론 루프가 함께 공개될 예정이라, 오픈 가중치 LLM의 하드웨어 진입 장벽은 점차 낮아질 것으로 보임.

WASTE는 모델 축소 없이 거대 MoE를 노트북에서 동작시켰다는 점에서 의의가 있으며, 0.50 tok/s라는 수치는 여전히 실용 대화에는 부족하지만 오픈 가중치 시대의 새로운 기준으로 기록될 만함. 향후 RAM 확장과 NVMe 고속화가 결합되면 소비자 단말 추론의 경계가 어디까지 밀릴지 주목할 필요가 있음.

관련 키워드: WASTE, Kimi K3, MoE, 오픈 가중치 LLM, 2.78조 파라미터, 소비자 노트북 추론, NVMe 스트리밍, 전문가 캐시, 29GB RAM, 0.50 tok/s, MacBook Pro, sqliteai, 엣지 추론, 대형 모델 경량화

참고 출처:

• GeekNews 토픽 – 29GB RAM에서 Kimi K3를 0.50 tok/s로 실행하기
• sqliteai GitHub 저장소