- Bonsai 27B는 Qwen3.6 27B 기반에 가중치당 1비트~1.71비트 극단적 저비트 양자화를 적용해 메모리 풋프린트를 1.58GB~5.9GB 수준까지 줄인 온디바이스 대형언어모델이다.
- PrismML이 개발한 이 모델은 Ternary(품질 우선, 가중치당 1.71비트)와 1-bit(용량 우선) 두 변형으로 제공되며, 추론·도구 호출·비전·컴퓨터 사용 네 가지 기능을 단일 기기에서 동시에 수행한다.
- 기존 27B 모델이 4비트 양자화에서 가중치·KV 캐시·추론 버퍼를 합쳐 약 18GB를 차지해 휴대전화 탑재가 사실상 불가능했던 한계를 극복했다는 점에서, 클라우드 의존도를 낮추는 엣지 AI 전환의 기술적 신호탄으로 평가된다.
Bonsai 27B는 1비트 양자화라는 선택이 단순한 경량화가 아니라, 휴대전화 한 대에 추론·도구 호출·비전·컴퓨터 사용을 동시에 담는 멀티모달 에이전트 시대를 열었음을 보여준다.
2026년 7월, PrismML이 공개한 Bonsai 27B는 27B 파라미터급 오픈소스 대형언어모델이 iPhone 메모리 안에서 실행될 수 있음을 처음 실증한 사례로 주목받고 있다. 기존 27B 모델은 4비트 양자화에서도 약 18GB 메모리를 차지해 휴대전화 탑재가 사실상 불가능했지만, Bonsai 27B는 가중치당 1비트~1.71비트라는 극단적 저비트 양자화를 통해 1.58GB에서 5.9GB 사이의 풋프린트로 진입했다. 이 글에서는 메모리·기능·품질 트레이드오프를 단위와 함께 분해하고, 이 모델이 온디바이스 AI 생태계에 어떤 파장을 만들어낼지 기술 심층 분석한다.
휴대전화에서 27B가 돌게 된 배경
기존 27B 모델의 메모리 한계와 4비트 양자화의 벽
27B 파라미터 모델은 16비트 정밀도 그대로라면 54GB 가까운 메모리를 요구한다. 일반적인 4비트 양자화(GPTQ, AWQ 등)를 적용해도 가중치만으로 약 13.5GB, KV 캐시와 추론 버퍼를 합치면 18GB에 근접한다. 이는 일반적인 스마트폰이 상시 확보하는 가용 메모리 영역을 한 번에 초과하기 때문에, 모바일에서의 27B 구동은 사실상 사치로 분류돼 왔다. Bonsai 27B는 이 벽을 가중치 정밀도를 1비트 수준으로 떨어뜨려 18GB → 5.9GB → 1.58GB까지 단계적으로 줄였다는 점에서 의미가 크다.
클라우드 의존이 만들어온 비용·지연·프라이버시 문제
지금까지 모바일 환경의 27B급 추론은 OpenAI, Anthropic, Google 같은 클라우드 API에 위임돼 왔다. 이 구조는 사용량에 비례하는 API 비용, 네트워크 지연, 그리고 사용자 발화·이미지 데이터가 외부 서버로 전송되는 프라이버시 노출 문제를 동시에 수반했다. Bonsai 27B 같은 온디바이스 27B 모델은 이 세 가지 비용을 단일 기기 안에서 잠재적으로 흡수할 수 있다는 점 때문에 엣지 AI의 새로운 기준선으로 부상하고 있다.
엣지 AI가 다시 주목받게 된 시장 맥락
Apple Intelligence, Google Gemini Nano, Qualcomm AI Hub와 같은 온디바이스 추론 스택이 2024~2026년 사이에 빠르게 성숙하면서, 모델 경량화는 단순한 학술 주제를 넘어 제품 경쟁력 변수가 됐다. Bonsai 27B는 이 흐름 안에서 가장 큰 파라미터 규모를 모바일 메모리에 끌어들였다는 점에서 타이밍이 중요하다.
Bonsai 27B의 핵심 기술 – 가중치당 1~1.71비트 양자화
Qwen3.6 27B를 베이스라인으로 고른 이유
PrismML이 Bonsai 27B의 기반으로 Qwen3.6 27B를 선택한 것은 단순한 규모 경쟁이 아니다. Qwen3.6 27B는 추론·도구 호출·비전·컴퓨터 사용 관련 기능을 단일 체크포인트에 통합한 멀티모달 사전학습 구조를 갖추고 있다. 극단 양자화는 가중치의 작은 오차에도 출력 품질이 무너질 수 있기 때문에, 사전학습 단계에서 이미 기능을 분산 학습한 모델이 더 유리하다. Qwen3.6 27B의 이 특성이 1비트 근처에서도 네 기능을 동시에 보존하는 데 결정적 역할을 한 것으로 분석된다.
Ternary 1.71비트(품질 우선)와 1-bit(용량 우선) 두 변형 구조
Bonsai 27B는 두 가지 빌드를 함께 제공한다.
- Ternary 변형(품질 우선): 가중치를 -1, 0, +1 세 값으로 매핑하는 ternary quantization을 적용해 가중치당 평균 1.71비트를 사용한다. 모델 크기는 약 5.9GB로, 4비트 기준의 약 18GB 대비 메모리를 약 3분의 1 수준으로 줄였다.
- 1-bit 변형(용량 우선): 가중치를 0과 1의 이진 값으로 매핑해 가중치당 약 1비트를 사용한다. 모델 크기는 약 1.58GB로, iPhone의 여유 메모리 영역 안에 안정적으로 적재 가능한 수준이다.
두 변형 모두 가중치 행렬의 분포가 영점을 중심으로 비대칭적이라는 Qwen 계열 모델의 특성을 활용해, 0 근처 가중치는 0으로, 비대칭 외각 가중치는 ±1로만 투영해 정밀도 손실을 최소화했다고 PrismML은 설명했다.
극단적 저비트 양자화가 가능했던 가중치 분포와 학습 전략
1비트 양자화는 이론적으로 정보 손실이 매우 크지만, 사전학습 단계에서 이미 가중치가 0 주변에 집중되는 분포를 갖도록 유도한 뒤 ternary 또는 binary threshold 연산을 가하면 손실을 통제할 수 있다. Bonsai 27B는 양자화 민감도 분석(quantization sensitivity analysis)으로 층별 비트 예산을 재분배하고, 추론 손실이 큰 일부 어텐션 헤드만 선택적으로 1.71비트를 유지하는 방식으로 평균 비트율을 낮췄다.
메모리·기능·품질 트레이드오프 완전 분해
1.58GB에서 5.9GB 사이로 줄어든 메모리 풋프린트
Bonsai 27B의 메모리 풋프린트를 동일 27B 모델과 비교하면 다음과 같이 정리된다.
- 4비트 양자화 기준: 약 18GB (iPhone 한계 초과)
- Bonsai 27B Ternary(1.71비트): 약 5.9GB (iPhone 상위 모델 가용 메모리 내 적재 가능)
- Bonsai 27B 1-bit: 약 1.58GB (iPhone·Android 가용 메모리 내 여유 있게 적재 가능)
이는 가중치 기준 수치이며, 추론 시 KV 캐시와 활성화 메모리까지 합치면 실제 사용 메모리는 이보다 증가할 수 있다. 그럼에도 5.9GB 변형은 4비트 대비 약 3배 이상 적은 메모리로 동작하므로, 27B급 모델이 모바일에서 실시간 응답을 낼 수 있는 근거가 된다.
추론·도구 호출·비전·컴퓨터 사용 4기능 동시 지원의 의미
기존 온디바이스 소형모델은 추론만 가능하거나, 비전·음성 등 한 가지 모달리티에 특화된 경우가 많았다. Bonsai 27B는 추론(reasoning), 도구 호출(tool use), 비전(vision), 컴퓨터 사용(computer use) 네 기능을 단일 체크포인트에서 동시에 제공한다. 이는 모바일 기기 한 대가 화면을 보고, 함수를 호출하고, 마우스·키보드 입력을 흉내 내는 에이전트 루프를 로컬에서 닫을 수 있음을 뜻한다. 클라우드 호출 없이 동작하는 에이전트가 가능해진다는 점에서, 에이전트형 UX의 비용 구조가 근본적으로 바뀔 가능성이 있다.
품질 저하를 막기 위한 보정 기법과 벤치마크 해석 시 주의점
1비트 양자화 모델의 품질 평가는 클라우드 27B 모델과 직접 비교하는 것보다, 동일 조건의 4비트 경량 모델과 비교할 때 의미가 크다. Bonsai 27B는 가중치 보정(weight reconstruction), 사후 미세조정(post-training quantization fine-tuning), 추론 시 calibration을 결합해 정확도 하락폭을 통제했다고 PrismML은 밝혔다. 다만 MMLU, GSM8K 같은 학술 벤치마크 점수는 Ternary 변형이 더 높게, 1-bit 변형은 코드·도구 호출 같은 좁은 도메인에서 안정적일 가능성이 높다. 따라서 도입 시 용도별 변형 선택이 필요하다.
온디바이스 AI 생태계에 미치는 4가지 파급 효과
클라우드 API 비용 구조의 재편 가능성
‘1일 수 회 수준’은 팩트로 검증 불가한 단정이므로 시나리오 표현으로 완화하고 ‘~할 수 있다’를 ‘~할 잠재력이 있다’로 단정 완화 원문이 문장 중간에서 잘려 있어 종결 처리여지를 만들고, 클라우드 사업자는 대규모·장시간 추론 중심으로 수익 모델을 재편할 가능성이 있다.
앱 단위 임베디드 LLM 확산과 UX 변화
5.9GB 이하로 줄어든 27B 모델은 앱 번들에 직접 포함되거나, 첫 실행 시 다운로드 후 오프라인에서 동작할 수 있다. 네트워크 없이도 동작하는 검색·요약·번역·에이전트 기능은 모바일 UX의 응답성을 한 단계 끌어올릴 것으로 보인다.
개인정보 로컬 처리 강화를 통한 프라이버시 함의
음성·이미지·캡처 화면이 기기 밖으로 나가지 않는 로컬 추론은 GDPR, HIPAA 같은 규제 환경에서 강력한 경쟁력이 된다. 의료·금융·내부 업무용 모바일 앱이 클라우드 호출 없이 27B급 추론을 수행할 수 있게 되면, 엔터프라이즈 도입 장벽이 낮아질 것으로 분석된다.
iOS·Android 간 온디바이스 모델 경쟁 구도
Apple은 자체 Foundation Model, Google은 Gemini Nano, Meta는 Llama 모바일 빌드를 각각 내세워 왔다. Bonsai 27B는 오픈소스 27B급이 휴대전화에서 동작함을 보임으로써, OS 내장 모델 대비 외부 커뮤니티 모델의 경쟁력을 끌어올렸다. 향후 iOS와 Android 모두에서 오픈소스 27B 온디바이스 모델이 시스템 모델의 대안으로 채택될 가능성이 있다.
한계와 향후 과제 – 아직 남은 숙제
극단 양자화로 인한 환각·환수율 저하 리스크
1비트 근처의 양자화는 환각(hallucination) 빈도와 검색 재현율(recall) 저하를 동반할 수 있다. 특히 1-bit 변형은 가중치 정보 손실이 커서, 도메인 특화 작업에서는 출력 검증 레이어를 함께 설계하지 않으면 신뢰성 문제가 발생할 가능성이 있다.
메모리 외 발열·배터리·NPU 호환성 문제
모델 크기가 줄어도 추론 자체는 여전히 수십억 회의 연산을 요구한다. iPhone과 Android의 NPU는 정수 연산에 최적화돼 있어 1비트·ternary 연산과 궁합이 비교적 좋지만, 장시간 추론 시 발열과 배터리 소모가 사용자 경험에 영향을 줄 수 있다. 운영체제 차원의 전력 관리 정책과 함께 검토해야 할 영역이다.
오픈소스 생태계 공개 범위와 상용화 라이선스 전망
Bonsai 27B는 PrismML이 공개한 모델이지만, 기반이 된 Qwen3.6 27B의 라이선스와 가중치 공개 범위에 따라 상용화 조건이 달라질 수 있다. 향후 기업용 도입을 고려한다면 모델 카드, 재학습 가이드, 안전성 평가 보고서의 공개 범위를 함께 확인해야 할 것으로 보인다.
Bonsai 27B 핵심 정리
- 1비트~1.71비트 양자화로 27B 모델을 1.58GB~5.9GB까지 축소해 iPhone 메모리 안에 탑재 가능하게 만들었다.
- Ternary(품질 우선)와 1-bit(용량 우선) 두 변형이 모두 추론·도구 호출·비전·컴퓨터 사용을 동시에 지원한다.
- 메모리 외에 발열·배터리·NPU 호환, 환각 리스크, 라이선스 이슈가 상용화 과제로 남아 있다.
- 클라우드 API 비용 절감, 앱 임베디드 LLM, 로컬 프라이버시, OS 간 경쟁 구도 변화로 이어질 가능성이 높다.