- colibri는 GLM-5.2 744B MoE 모델을 약 25GB RAM으로 구동하는 것을 목표로 한 순수 C 기반 추론 엔진이다.
- dense 약 17B 파라미터를 int4로 RAM에 상주시키고, 21,504개 라우팅 expert는 디스크에서 스트리밍한다.
- GPU 없이 소비자용 머신에서 초대형 모델을 실행할 수 있는 가능성을 검토하는 경량화 방향을 제시한다.
대규모 언어 모델의 진입 장벽이 GPU에서 RAM과 디스크 중심으로 이동하고 있음을 보여주는 사례다.
2026년 7월, 한 개발자가 공개한 colibri 추론 엔진이 오픈소스 커뮤니티에서 화제가 되고 있다. 이 프로젝트는 GLM-5.2라는 744B 파라미터 규모의 MoE(Mixture of Experts) 모델을 GPU 없이 소비자용 컴퓨터에서 실행하는 것을 목표로 한다. 단순한 데모가 아니라, 메모리와 디스크를 어떻게 분할해 활용할 것인지를 구체적인 수치로 제시한 점에서 주목할 만하다.
colibri의 핵심 설계, 디스크로 expert를 보내고 RAM은 가볍게
colibri의 가장 큰 특징은 라우팅 expert를 RAM에 모두 올리지 않고 디스크에서 스트리밍한다는 점이다. MoE 모델은 입력 토큰에 따라 일부 expert만 활성화하는 구조이기 때문에, 모든 expert를 동시에 메모리에 둘 필요가 없는 특성을 colibri는 적극 활용한다.
먼저 dense 부분, 즉 모든 토큰이 공통으로 거치는 약 17B 파라미터는 int4 양자화 형태로 변환해 RAM에 상주시킨다. int4는 파라미터당 4비트를 사용하므로, 17B 파라미터는 이론적으로 약 8.5GB 수준의 메모리를 차지하며, 버퍼와 추론 상태를 위한 여유분을 더해 약 9.9GB를 사용한다. 그리고 총 21,504개에 달하는 라우팅 expert는 디스크에 저장한 뒤, 토큰이 어떤 expert를 필요로 할 때마다 읽어 들이는 방식이다.
이 구조에서 사용자가 실제로 마련해야 할 RAM은 약 25GB 수준이다. 고사양 워크스테이션보다는 약간 높은 사양의 일반 데스크톱이나 미니 워크스테이션이면 충분히 감당할 수 있는 수준이다. 동시에 디스크 I/O가 병목이 될 수 있다는 약점이 존재한다. NVMe SSD라면 읽기 지연을 상당 부분 줄일 수 있지만, 하드 디스크에서는 체감 속도가 크게 떨어질 수 있다.
colibri 사양 한눈에 보기
colibri의 핵심 수치를 표로 정리하면 다음과 같다. 원문은 geeknews에 게재된 내용을 바탕으로 한다.
| 항목 | 값 |
|---|---|
| 모델명 | GLM-5.2 |
| 총 파라미터 | 744B (MoE) |
| 라우팅 expert 수 | 21,504개 |
| dense 파라미터 | 약 17B (int4) |
| RAM 사용량 (dense) | 약 9.9GB |
| 권장 총 RAM | 약 25GB |
| 구현 언어 | 순수 C |
| GPU 사용 여부 | 사용하지 않음 |
| expert 처리 방식 | 디스크 스트리밍 |
여기서 dense와 expert의 역할 분담이 중요하다. dense는 모든 추론 단계에서 반드시 필요하므로 RAM에 상주시키고, expert는 실제 활성화되는 일부만 디스크에서 지연 로딩한다. 이 분리 전략이 약 25GB라는 비교적 현실적인 RAM 요구량을 만들어낸 핵심 요인으로 보인다.
colibri가 남기는 질문
colibri의 접근은 사실상 GPU 의존도를 낮추는 새로운 방향을 제시한다. 지금까지 100B급 이상의 모델은 고가 H100 같은 데이터센터용 GPU를 전제로 이야기되는 경우가 많았다. 그러나 colibri는 고가 하드웨어 없이도 충분한 RAM과 빠른 디스크를 갖춘다면 같은 규모의 모델을 로컬에서 돌릴 수 있는 가능성을 보여준다.
다만 실제 응답 속도, 토큰당 처리 시간, 정확도 손실 여부 등은 공개된 자료만으로는 확인하기 어렵다. int4 양자화에 따른 품질 저하와 디스크 I/O 지연이 실제 사용 경험에 미치는 영향은 별도 검증이 필요한 영역으로 보인다. colibri가 모든 사용자에게 적합한 선택이라고 단정하기는 이르나, 적어도 저비용 환경에서 초대형 모델을 구동하려는 시도가 기술적으로 성립한다는 점은 분명해 보인다.
오픈소스 생태계 측면에서도 의미가 있다. colibri는 순수 C로 작성되어 의존성을 최소화했고, 누구나 직접 빌드하고 실행해 볼 수 있다. 이런 시도가 축적되면, 대학, 연구실, 개인 개발자도 데이터센터 접근 없이 최신 모델을 실험할 수 있는 길이 열릴 수 있다. AI 기술의 민주화라는 오랜 화두에 대해 작지만 구체적인 사례를 더한 것으로 해석된다.
저사양 환경에서 대규모 모델 구동의 현실적 의미
colibri의 사례는 LLM 추론의 병목이 GPU가 아니라 메모리 계층 설계에 있다는 점을 시사한다. 향후 비슷한 방식의 엔진이 늘어나면, 700B 이상의 모델도 더 많은 사용자가 손쉽게 접할 수 있는 환경이 만들어질 가능성이 있다. 동시에 디스크 대역폭, 양자화 품질, 운영체제 단의 페이지 캐시 정책 등 새로운 최적화 과제가 부상할 것으로 보인다.
또한 colibri와 같은 프로젝트는 거대 모델을 소수의 클라우드 제공자가 독점하는 구조에 대한 기술적 대안으로도 읽힌다. 사용자가 자신의 컴퓨터에서 직접 모델을 실행할 수 있다면, 데이터 주권과 프라이버시 측면에서도 별도의 이점을 얻을 수 있다. colibri 단독으로 산업 전체를 바꾸기는 어렵겠지만, 로컬 LLM 생태계의 확장 가능성을 넓혔다는 점은 분명해 보인다.
정리 포인트
- colibri는 GLM-5.2 744B MoE 모델을 GPU 없이 약 25GB RAM으로 구동하는 순수 C 추론 엔진이다.
- dense 약 17B 파라미터를 int4로 RAM에 상주시켜 약 9.9GB를 사용하고, 21,504개 expert는 디스크 스트리밍으로 처리한다.
- 고가 GPU 없이도 초대형 모델 실행이 가능하다는 점에서, 로컬 LLM과 엣지 AI 생태계에 새로운 방향을 제시한 사례로 평가된다.
- 실제 응답 속도와 품질 저하 등 운영 측면의 검증은 아직 진행 중이며, 향후 디스크 I/O 최적화가 핵심 과제로 남아 있다.