TurboFieldfare란 무엇인가
Apple Silicon Mac은 온디바이스 LLM 실행의 대표 플랫폼으로 자리 잡았지만, 메모리가 8GB인 보급형 모델에서는 13B 이상의 대형 모델을 돌리기 어려웠다. TurboFieldfare는 이 제약을 줄이기 위한 오픈소스 추론 엔진으로, M 시리즈 전 모델에서 동작하도록 설계되었다.
- 14.3GB 크기 Gemma 4 26B-A4B 모델을 RAM 2GB만 써서 M 시리즈 Mac에서 로컬 실행
- MoE 희소 활성화(토큰당 약 3.88B)와 SSD 스트리밍, 16슬롯 LFU 캐시 결합이 핵심
- 8GB M2 MacBook Air 기준 디코딩 속도 약 5.1~6.3 tok/s로 측정
저사양 Mac이 대형 모델을 못 돌리는 시대는 사실상 끝나고 있으며, TurboFieldfare는 그 변화의 신호탄으로 평가된다.
배경: 로컬 LLM과 메모리 제약
대형 언어 모델의 가중치는 모델 크기에 비례해 RAM을 요구한다. 26B 풀 정밀 모델만 해도 50GB가 넘어, 일반 노트북에서 통째로 적재하기는 사실상 불가능했다. 이를 해결하기 위해 양자화, CPU 오프로드, 외장 SSD 캐시 같은 기법이 시도돼 왔지만, 응답 속도와 품질이 함께 떨어지는 한계가 있었다.
TurboFieldfare 프로젝트 개요
TurboFieldfare는 github.com/drumih 저장소에서 공개된 오픈소스 프로젝트로, 대상 모델은 Gemma 4 26B-A4B다. A4B 표기는 활성 파라미터 4B급의 MoE(Mixture of Experts) 변형을 의미하며, 전체 가중치는 14.3GB에 달한다. 프로젝트의 목표는 이 모델을 최소 메모리 환경에서 끊김 없이 돌리는 것이다.
핵심 기술 구조
MoE 희소 활성화와 토큰당 3.88B 파라미터
Gemma 4 26B-A4B는 MoE 구조를 채택해, 입력 토큰을 처리할 때마다 전체 전문가 중 일부만 활성화한다. 토큰당 활성화되는 파라미터 수는 약 3.88B로, 26B 풀 모델 대비 약 7분의 1 수준이다. 연산량이 압도적으로 줄어 한 토큰을 만드는 데 필요한 메모리와 연산량이 낮아진다.
SSD 스트리밍과 16슬롯 LFU 캐시
활성화되지 않는 전문가 가중치는 SSD에 그대로 둔 채, 필요해지는 순간에만 디스크에서 읽어 RAM으로 끌어올린다. 이때 16슬롯 LFU(Least Frequently Used) 캐시가 자주 쓰는 전문가 블록을 RAM에 머물게 해 디스크 입출력을 최소화하고, 병렬 pread를 통해 토큰 생성 지연을 줄인다.
FP16 KV 캐시와 공유 코어 1.35GB
KV 캐시는 FP16 정밀도로 유지해 메모리 점유를 절반으로 줄였다. Apple Silicon의 통합 메모리 구조에서 GPU가 공유 코어로 잡는 영역은 약 1.35GB에 불과하다. 여기에 모델 본체의 상시 상주분과 KV 캐시를 더해도 총 RAM 사용량은 약 2GB 수준으로 유지된다.
성능과 실제 체감
8GB M2 MacBook Air 디코딩 속도 측정
가장 메모리가 작은 8GB M2 MacBook Air에서의 디코딩 속도는 약 5.1~6.3 tok/s로 측정됐다. 7B 모델을 CPU로 돌릴 때보다 빠르거나 비슷한 수준으로, 실시간 채팅 응답에 근접한 응답 속도를 보인다.
지원 기기 범위와 사용자 시나리오
TurboFieldfare는 M 시리즈 Apple Silicon Mac 전 기종을 대상으로 한다. 메모리가 넉넉한 M2 Pro·Max 이상에서는 더 빠른 속도가 예상되며, 8GB 기본형에서도 일상적인 한국어/영어 어시스턴트, 코드 보조, 문서 요약 같은 작업의 로컬 처리가 가능해진다.
| 항목 | 수치/내용 |
|---|---|
| 대상 모델 | Gemma 4 26B-A4B (전체 14.3GB) |
| RAM 사용량 | 약 2GB (공유 코어 1.35GB + FP16 KV 캐시) |
| 토큰당 활성 파라미터 | 약 3.88B |
| 캐시 구조 | 16슬롯 LFU 캐시 + 병렬 pread |
| 디코딩 속도 | 5.1~6.3 tok/s (8GB M2 MacBook Air) |
| 지원 플랫폼 | M 시리즈 Apple Silicon Mac 전 기종 |
의미와 전망
로컬 AI 하드웨어 장벽의 변화
8GB 램 Mac에서 26B급 모델이 동작한다는 점은, 로컬 AI의 진입 하드웨어 기준을 크게 끌어내린 사례로 분석된다. SSD 속도가 NVMe 수준이라면 더 큰 모델도 같은 방식으로 스트리밍할 수 있어, 향후 저가형 노트북까지 온디바이스 LLM 영역이 확대될 가능성이 있다고 본다.
온디바이스 LLM 생태계에 미칠 영향
TurboFieldfare는 양자화 기반 최적화와는 다른, 희소 활성화와 디스크 스트리밍을 결합한 새로운 접근이다. 이 방식은 모델 품질 손실을 최소화하면서 메모리 요구량을 줄일 수 있어, 오프라인 환경이나 프라이버시가 중요한 작업용 온디바이스 어시스턴트 시장에서 중요한 기준으로 자리 잡을 것으로 전망된다. 다만 일반 사용자 입장에서는 SSD 수명과 모델 응답 품질 간 균형을 직접 관리해야 하는 부담이 남는다.
참고 자료: GeekNews 원문 토픽, GitHub 저장소 drumih/TurboFieldfare
- TurboFieldfare는 14.3GB의 Gemma 4 26B-A4B를 RAM 2GB만으로 Apple Silicon Mac에서 구동하는 오픈소스 추론 엔진이다.
- 핵심은 MoE 희소 활성화(토큰당 약 3.88B), 16슬롯 LFU 캐시, SSD 병렬 스트리밍, FP16 KV 캐시의 조합이다.
- 8GB M2 MacBook Air에서 약 5.1~6.3 tok/s를 보여 저메모리 환경에서도 실시간에 준하는 응답성을 확보했다.
- 이로써 로컬 LLM의 하드웨어 진입 장벽이 크게 낮아졌으며, 온디바이스 AI 생태계 확장의 신호탄으로 평가된다.