Liquid AI, 토큰당 2B만 활성화하는 24B MoE 온디바이스AI 추론 모델 공개

·

Run fast, private agents on-device with LFM2.5-24B-A2B

Liquid AI가 24B 파라미터 중 토큰당 2B만 활성화하는 Mixture-of-Experts(MoE) 추론 모델 LFM2.5-24B-A2B를 공개했다. 2026년 10월 13일자로 Hugging Face 블로그에 게시된 발표에 따르면, 모델은 답변 전에 명시적인 사고 과정을 거치며, 도구를 호출하고 OpenClaw·Hermes Agent·Pi·OpenCode 같은 에이전트 하네스 안에서 다단계 작업을 수행하도록 설계됐다. 활성 파라미터가 토큰당 2B에 그치기 때문에 추론 토큰 한 개당 비용이 낮아, 자체 하드웨어에서 에이전트를 지속적으로 운영할 수 있는 온디바이스AI 옵션으로 포지셔닝된다.

아키텍처: 40 레이어·64 expert·하이브리드 어텐션

LFM2.5-24B-A2B는 LFM2-24B-A2B의 설계를 계승해 40개 레이어, MoE 블록당 64 expert, top-4 라우팅을 유지하며 게이티드 단기 컨볼루션과 GQA(Grouped Query Attention)의 하이브리드 어텐션을 그대로 사용한다. 컨텍스트 윈도우는 32K에서 131K 토큰으로 확장됐고, 토크나이저는 65K에서 128K로 어휘를 늘려 비라틴어 토큰화가 개선됐다. LFM2-24B-A2B와 달리 추론 전용 모델로 동작하며, 최종 답변 전에 명시적인 연쇄적 사고(Chain of Thought)를 생성한다.

학습 파이프라인: 33T 프리트레이닝과 5단계 포스트트레이닝

프리트레이닝 토큰 수는 약 17T에서 약 33T로 확대됐다. 미드트레이닝은 32K 컨텍스트에서 추론·수학·코드·지시 따름·다국어 텍스트에 가중을 둔 2T 토큰, 131K 컨텍스트에서 장문맥 데이터에 가중을 둔 300B 토큰으로 구성되며 도구 호출과 다회화 궤적이 양 단계 전반에 등장한다. 포스트트레이닝은 ① 지도 미세조정(SFT), ② 다중 도메인 온폴리시 증류(MOPD) 비에이전트 단계에서 전문가 모델을 비에이전트 과제에 증류, ③ MOPD 에이전트 단계에서 에이전틱 과제 증류, ④ 에이전틱 강화학습(에이전트 하네스 내부 학습), ⑤ 후속 미세조정의 다섯 단계로 진행된다.

에이전트 성능: 도구 사용 5종·지시 따름 3종 1위

평가는 vLLM으로 진행됐으며, 비교 대상은 Qwen3.6-35B-A3B·Gemma-4-26B-A4B-it·Nemotron-3.5-Lightning이고 도구 사용·에이전틱 워크플로·지식·지시 따름·수학·코딩을 아우르는 16개 벤치마크가 사용됐다. LFM2.5-24B-A2B는 그룹에서 가장 작은 모델임에도, 총·활성 파라미터가 약 50% 더 많은 MoE들과 경쟁 가능한 성능을 보였다. 도구 사용·에이전틱 8개 벤치마크 중 AutomationBench·BFCLv4·ToolSandbox·LiveClaw·τ³-Bench Banking 5개에서 1위 또는 동률을 기록했고, AutomationBench는 차순위 모델 대비 3배 이상의 점수를 냈다. LiveClaw에서는 48.09로 Qwen3.6-35B-A3B의 38.19을 앞섰으며, 지시 따름 벤치마크 3종에서도 모두 1위였다. 반면 GPQA Diamond·HLE·AA-Omniscience 등 지식 중심 벤치마크와 SWE-Bench Verified(OpenCode)·SciCode 등 코딩 벤치마크에서는 더 큰 모델이 우위를 유지했다.

추론 속도: M5 Max 184 tok/s, B300 단일 GPU 21K tok/s

모델은 llama.cpp·MLX·vLLM·SGLang·ONNX에서 출시 즉시 지원된다. 엣지 추론에서 Apple M5 Max로 184 tokens/s, Ryzen AI Max+ 395로 114 tokens/s의 디코딩 속도를 기록했으며, 차순위 모델 대비 최대 1.7배 빠르면서 메모리 사용량은 가장 적었다. GPU 추론에서는 단일 NVIDIA B300에서 고동시성 시 21K 출력 토큰/s를 돌파해 동일 크기급에서 가장 빠른 속도를 보였다.

벤치마크 / 환경 LFM2.5-24B-A2B 비교 대상
LiveClaw(에이전틱 종합) 48.09 Qwen3.6-35B-A3B 38.19
엣지 디코딩(Apple M5 Max) 184 tokens/s 차순위 대비 최대 1.7배
엣지 디코딩(Ryzen AI Max+ 395) 114 tokens/s 차순위 대비 최대 1.7배
데이터센터 GPU(단일 B300) 21K tokens/s(고동시성) 동급 최고 수준

실무 적용 절차와 에이전트 하네스 연동

모델은 OpenAI 호환 백엔드로 로컬 서빙한 뒤 에이전트 하네스에서 가리키는 방식으로 연결된다. transformers 5.0.0 이상에서 AutoModelForCausalLM으로 로딩하며, device_map=auto, dtype=bfloat16, 호환 GPU에서는 flash_attention_2 옵션을 함께 사용한다. Hermes Agent에는 model.provider를 custom으로, model.base_url을 로컬 OpenAI 호환 엔드포인트로 지정하고 model.context_length를 131072로 설정해 도구 사용을 강제한다. 서빙 백엔드별 기본 포트는 llama.cpp·MLX 8080, vLLM 8000, SGLang 30000, LM Studio 1234다. 같은 OpenAI 호환 인터페이스로 동작하기 때문에 M5 Max 같은 노트북 클래스 엣지 디바이스에서도 동일한 절차로 에이전트를 띄울 수 있어, 온디바이스AI 적용 범위가 데이터센터에서 개인 디바이스까지 확장된다.

한계와 시사점

지식·코딩 워크플로에서는 여전히 더 큰 모델이 우위를 점해, RAG나 웹 검색 결합이 권장된다. 131K 컨텍스트와 토큰당 2B 활성 구조의 조합은 외부 API 의존 없이 도구 호출과 다단계 추론을 로컬에서 처리하는 온디바이스AI 시나리오에 초점을 맞추고 있으며, LFM2.5-24B-A2B와 LFM2.5-24B-A2B-Base 모두 오픈웨이트로 Hugging Face에 공개된 만큼 자체 하드웨어에서 사적 에이전트를 운영하려는 팀이 즉시 검토해볼 만한 모델로 평가된다.

참고 원문

이 기사는 다음 원문을 확인해 작성했습니다: Hugging Face Blog — Run fast, private agents on-device with LFM2.5-24B-A2B

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다