- 8달러 ESP32-S3 마이크로컨트롤러에서 약 2,890만 매개변수의 소형 LLM이 초당 약 9개 토큰을 생성하며 완전 오프라인으로 동작한다.
- 전체 가중치 중 약 2,500만 개를 플래시에 저장하고, 추론 시 Per-Layer Embeddings 방식으로 토큰당 약 6개 행, 450바이트만 읽어 대역폭 병목을 해소했다.
- 서버 없이 작은 칩만으로 생성형 AI가 구동된다는 사실은 엣지 AI와 임베디드 온디바이스 생성형 AI의 본격 진입을 시사한다.
핵심 통찰: 저가형 MCU에서 LLM이 동작하는 결정적 차별점은 모델 크기가 아니라 “플래시에서 무엇을 얼마나 읽느냐”라는 입출력 전략에 있었다.
2026년 7월, GeekNews에서 소개된 한 데모가 임베디드 개발자 커뮤니티의 관심을 끌었다. 단돈 8달러짜리 ESP32-S3 마이크로컨트롤러 하나에 2,890만 매개변수의 소형 언어 모델을 올려, 서버 연결 없이 직접 추론을 수행한 것이다. 이 사례는 엣지 AI의 현실적 한계와 가능성을 동시에 드러낸다. 본문에서는 그 작동 원리와 의미를 단계별로 분석한다.
사례 개요: 8달러 MCU에서 2,890만 매개변수 LLM이 동작하다
데모 사양과 토큰 생성 속도
데모의 핵심은 최대한 적은 연산 자원으로 문장을 생성하는 데 있다. 사용된 하드웨어는 ESP32-S3 마이크로컨트롤러로, 칩 가격은 8달러 수준이다. 여기에 약 2,890만 매개변수의 모델을 올렸고, 추론 결과 초당 약 9개 토큰을 생성한다. 이 속도는 사람 눈으로 텍스트가 흘러가는 것을 확인하기에 충분한 수치다.
왜 지금 엣지 LLM인가
기존에는 LLM 추론이 GPU 서버 또는 고성능 NPU 기반 디바이스의 영역이었다. 그러나 네트워크 비용, 응답 지연, 개인정보 노출 우려가 누적되면서 “서버에 데이터를 보내지 않고 기기 안에서 끝내는” 온디바이스 AI에 대한 수요가 증가해 왔다. 8달러 MCU에서 LLM이 동작한다는 사실은 그 요구를 가장 저비용으로 만족시킬 수 있는 단적인 증거다.
핵심 기술: Per-Layer Embeddings로 플래시 병목을 돌파하다
느린 플래시와 2,500만 개 가중치 문제
ESP32-S3는 일반적으로 수백 KB급 RAM과 수 MB에서 수십 MB급 플래시를 갖춘 칩이다. 2,890만 매개변수 모델 전체를 RAM에 올리기 어려워, 약 2,500만 개 가중치는 속도가 느린 플래시에 그대로 남겨둔다. 문제는 플래시에서 매 토큰마다 모든 가중치를 읽어들일 수 없다는 점이다. 이렇게 되면 연산보다 읽기가 병목이 되어 실용적인 추론이 불가능해진다.
토큰당 6개 행, 450바이트 읽기의 의미
데모는 이 문제를 Per-Layer Embeddings 방식으로 해결한다. 각 계층에서 다음 토큰 계산에 실제로 필요한 행만 선별해, 토큰당 평균 6개 행, 약 450바이트만 플래시에서 읽어 들인다. 이는 전체 가중치를 그대로 읽을 때와 비교해 입출력 대역폭을 크게 축소한 수치다. 결과적으로 칩의 한정된 자원으로도 안정적인 토큰 생성이 가능해진다.
메모리 매핑과 추론 파이프라인 구조
실제 동작은 크게 네 단계로 정리된다. 1) 임베딩과 일부 학습 가능한 파라미터는 RAM에 상시 적재, 2) 추론 시 필요한 계층의 가중치 행만 플래시에서 조각 읽기, 3) 행렬 연산을 CPU에서 수행, 4) 출력 토큰을 결정하고 다음 토큰에 대해 2단계부터 반복. 이 파이프라인은 메모리 매핑과 계층별 임베딩 캐시를 유기적으로 결합해, 느린 플래시와 빠른 RAM 사이의 속도 차이를 흡수한다.
| 항목 | 값 |
|---|---|
| 칩 | ESP32-S3 마이크로컨트롤러 |
| 가격대 | 약 8달러 |
| 모델 매개변수 | 약 2,890만 개 |
| 플래시 보관 가중치 | 약 2,500만 개 |
| 토큰당 플래시 읽기량 | 약 6개 행, 450바이트 |
| 추론 속도 | 초당 약 9개 토큰 |
| 운영 방식 | 서버 없는 완전 오프라인 |
임상과 시사점: 소형 모델은 어디까지 유용한가
엣지에서 가능한 작업과 명확한 한계
2,890만 매개변수는 수십억 매개변수급 모델과 비교하면 매우 작은 규모다. 따라서 장문의 추론, 복잡한 추론 체인, 다국어 고급 번역 등은 여전히 서버 기반 LLM이 유리하다. 다만 짧은 명령 해석, 센서 데이터 라벨링, IoT 디바이스 상태 메시지 생성, 음성 명령 후처리 같은 경량 작업에서는 응답 지연이 매우 짧고, 전력 소모가 낮아 실용적인 대안이 될 수 있다.
프라이버시, 비용, 오프라인이라는 세 가지 가치
이 사례가 강조하는 가치는 성능보다 다음 세 가지로 요약된다. 첫째, 데이터가 디바이스 밖으로 나가지 않는 점. 둘째, 서버 운영비가 들지 않는 점. 셋째, 네트워크가 끊겨도 동일하게 동작하는 점. 산업 현장, 의료 기기, 가정용 IoT 등에서는 이 세 가지가 제품 경쟁력 요소가 될 수 있다.
전망: 임베디드 온디바이스 생성형 AI의 미래
MCU 시장과 칩 생태계의 변화 조짐
ESP32-S3급 저가형 MCU에서 LLM이 구동된 사례는 칩 생태계 전반에 시사점을 준다. 저전력 MCU가 AI 워크로드를 일부 떠안게 되면, 펌웨어와 모델이 함께 묶인 “AIoT 펌웨어” 형태의 제품이 늘어날 가능성이 있다. 다만 “온디바이스 AI 시장이 어떤 속도로 성장할지” 등 구체적 수치를 단정하기는 이른 단계이며, 업계 표본이 충분하지 않다는 점은 해석에 반영할 필요가 있다.
향후 과제와 오픈 소스 기여 가능성
남은 과제로는 세 가지가 거론된다. 1) Per-Layer Embeddings의 일반화 – 모든 모델에 그대로 적용 가능한 표준 기법으로 정착할지가 관건이다. 2) 툴체인 성숙도 – 학습, 양자화, 디바이스 배포까지 한 번에 묶는 파이프라인이 갖춰져야 개발자 진입이 쉬워진다. 3) 전력 검증 – 배터리 구동 환경에서 실제 어느 정도 지속 가능한지에 대한 실측 데이터가 공개되어야 한다. 오픈 소스 커뮤니티의 재현과 기여가 늘어날수록 이 기술이 일반화될 가능성이 높다는 분석이 우세하다.
- 8달러 ESP32-S3에서 2,890만 매개변수 LLM이 초당 약 9개 토큰을 생성하며 완전 오프라인으로 동작한다는 사실이 확인된 것은, 엣지 온디바이스 AI의 가능성이 기술적으로 열렸음을 의미한다.
- 이 사례의 본질은 모델 자체의 크기가 아니라, Per-Layer Embeddings로 토큰당 약 450바이트만 읽어 들이는 입출력 전략의 전환이다.
- 실용화 확대 여부는 향후 MCU 생태계의 반응과 오픈 소스 재현 사례, 그리고 저전력 벤치마크 공개에 따라 결정될 것으로 보인다.
참고 출처: