핵심 요약
- 공개 규모: 375B-A23B, 36B-A4B, 32B, 7B, 3.7B, 0.9B 등 6개 모델을 모두 Apache 2.0으로 허깅페이스에 동시 배포 (0.9B는 더 작은 어휘 사용)
- 오픈스택 동봉: 모델 가중치 외에 사전학습 코퍼스, 중간 체크포인트, 학습 코드, 설정 파일, 세부 로그까지 함께 공개 — IFM은 이를 ‘AI 역사상 가장 큰 완전 오픈소스 출시’로 표현
- 학습 데이터: 6개 모델 모두 약 20조 토큰으로 사전학습, 그중 약 17%가 명시적 추론 궤적, 약 10조 토큰이 합성 데이터
오픈소스 거대언어모델의 풀스택 공개가 기술·라이선싱·상용화 측면에서 갖는 의미를 분석하고, 동일 아키텍처를 0.9B에서 375B까지 일관되게 운용할 수 있다는 점이 실무에 주는 함의를 짚는 분석형 기사
목차
K2 호라이즌이 0.9B에서 375B까지 여섯 개 모델을 같은 날 Apache 2.0으로 풀어낸 사건은, 오픈소스 거대언어모델의 풀스택 공개가 어떤 의미를 갖는지를 다시 묻게 만든다. MBZUAI 산하 재단모델 연구소(IFM)가 2026년 9월 공개한 묶음은 가중치뿐 아니라 사전학습 코퍼스, 중간 체크포인트, 학습 코드, 설정 파일, 세부 로그까지 함께 출하되는 ‘플릿(fleet)’ 형식이다.
필자가 보기에 이 발표의 핵심은 모델 크기나 벤치마크가 아니라 공개 범위다. 0.9B 모델이 더 작은 어휘를 쓴다는 점까지 명시된 것은, 같은 학습 파이프라인을 스케일만 바꿔 반복할 수 있다는 뜻이다. 실무에서 사이즈별로 동일한 인터페이스를 그대로 쓸 수 있다는 점은 통합 운영의 전제가 된다.
K2 호라이즌 라인업: 0.9B부터 375B-A23B까지
라인업은 여섯 개 모델로 나뉜다. 0.9B는 축소 어휘, 3.7B·7B·32B는 dense, 36B-A4B와 375B-A23B는 MoE 구성이다. 모든 모델이 동일 토크나이저와 도구 호출 인터페이스를 공유하기 때문에, 같은 코드를 모델 식별자만 바꿔 운용할 수 있다.
| 모델 | 총 파라미터 | 활성 | 유형 |
|---|---|---|---|
| 0.9B | 0.9B | 0.9B | 축소 어휘 dense |
| 3.7B | 3.7B | 3.7B | 로컬 추론용 dense |
| 7B | 7B | 7B | 범용 dense |
| 32B | 32B | 32B | 고품질 생성 dense |
| 36B-A4B | 36B | 4B | MoVA MoE |
| 375B-A23B | 375B | 23B | 플래그십 MoE |
K2 호라이즌 여섯 모델이 같은 합성 태스크 생성기를 거치고, 같은 추론 트레이스 비율(약 17%)로 학습됐다는 점에서 데이터 정렬이 라인업 전체에 일관되게 적용된다. 0.9B에서 검증한 프롬프트 포맷을 375B-A23B로 이식해도 동작이 크게 깨지지 않을 가능성이 높다.
K2 호라이즌이 가져온 오픈스택의 범위
IFM은 “AI 역사상 가장 큰 완전 오픈소스 출시”라는 표현을 썼다. K2 호라이즌 배포 묶음에는 사전학습 코퍼스, 중간 체크포인트, 학습 코드, 설정 파일, 세부 로그가 모두 포함된다. 다른 오픈소스 프로젝트가 가중치와 추론 코드 정도만 내놓는 것과 비교하면 범위가 한 단계 다르다.
중간 체크포인트 공개는 재현성과 직접 연결된다. 375B-A23B를 처음부터 재학습하기는 어렵지만, 중간 단계에서 fine-tuning을 이어 붙이거나 ablation을 시도할 수 있다. 합성 데이터 비율이나 추론 트레이스 비율을 바꿔가며 실험할 표면이 확보된 셈이다.
학습 데이터 설계: 20조 토큰, 1억+ 태스크
여섯 모델 모두 약 20조 토큰으로 사전학습됐고, 그중 약 17%가 명시적 추론 궤적, 약 10조 토큰은 합성 데이터다. 연구팀은 1억 개 이상의 고유 합성 태스크를 생성했고, 미들 트레이닝 단계에서 포스트 트레이닝 데이터를 점진 반영했다.
실무자가 주목할 지점은 합성 태스크의 규모다. 필자가 본 가장 흥미로운 수치이기도 하다. 1억 개는 사람이 손으로 설계할 수 있는 범위를 한참 넘는다. 도메인 태스크를 정의해 모델에 주입하는 게 아니라, 태스크 생성 자체를 모델이 맡고 인간이 큐레이션하는 구조로 이동한 것이다. 36B-A4B와 7B 사이의 성능 격차를 따질 때 이 1억 태스크의 분포가 결정 변수가 된다.
MoVA: 어텐션으로 확장한 MoE의 두 번째 축
K2 호라이즌 라인업 중 36B-A4B는 MoVA(Mixture-of-Value Attention)를 적용했다. MoE가 피드포워드에서 전문가 라우팅으로 확장 축을 만들었다면, MoVA는 다중 헤드 어텐션 자체에 라우팅을 통합해 어텐션 차원의 두 번째 확장 축을 추가한 것이다. FlashAttention·GQA·sparse attention과 호환되어 기존 서빙 스택을 크게 뜯지 않고 쓸 수 있다.
MoVA가 흥미로운 이유는 MoE의 파라미터 효율을 한 단계 더 밀어붙일 수 있기 때문이다. K2 호라이즌 상위 라인업이 모두 MoVA로 수렴할지, dense와 MoVA가 공존할지는 지켜볼 지점이다.
도구 호출 포맷: Markdown의 18.5% 토큰 효율 우위
IFM은 JSON·XML·Markdown 세 포맷으로 도구 정의를 학습시키고, 추론 기본값을 Markdown으로 설정했다. 측정 결과 Markdown은 JSON 대비 약 18.5% 더 적은 토큰을 사용한다. 같은 결과를 더 적은 토큰으로 만든다는 것은 곧 latency와 비용의 직접적 감소다.
도구 정의가 길어질수록 Markdown 우위는 커진다. 30~50개 도구를 동시에 노출하는 에이전트는 흔하고, 이 경우 18.5%는 단순한 최적화가 아니라 아키텍처 선택에 가깝다. K2 호라이즌으로 도구 호출 시스템을 설계할 때는 별도 라우터보다 모델이 직접 Markdown 도구 정의를 읽고 호출하게 두는 편이 단순하다.
서빙 생태계: vLLM·SGLang·Ollama 데이-0 지원
공개 당일 vLLM·SGLang·Ollama가 데이-0 지원을 받았고, FP8과 GGUF 빌드도 함께 제공된다. NVIDIA뿐 아니라 AMD와 Cerebras까지 대응 범위에 포함된다. IFM 공식 발표에 따르면 호스팅은 Compass, Cerebras, Nebius API와 platform.ifm.ai 게이트웨이로 나뉘며, 같은 가중치를 다양한 스택에서 즉시 시험할 수 있다. 배포 인프라 선택은 AI 칩 아키텍처별 데이터 이동 비용 관점에서 따져볼 만하다.
데이-0 서빙 지원은 발표의 ‘신호’다. 새 모델은 보통 커뮤니티 패치 후 안정화되는데, K2 호라이즌은 출하 시점에 이미 세 추론 엔진에서 동작한다. 이는 IFM이 오픈소스 모델을 ‘스택’으로 출시한다는 전략적 선택을 보여준다.
실무 적용 포인트
사이즈 선택은 호출 빈도와 응답 지연 허용치에 따라 갈린다. 0.9B·3.7B는 분류·라우팅·간단 변환에, 7B는 범용 추론, 32B는 고품질 생성·요약에 배치하는 편이 자원 대비 효율이 좋다. 36B-A4B는 토큰당 4B 활성이라는 점을 활용해 에이전트 라우터나 다중 도구 호출 워크로드에 적합하다. 375B-A23B는 운영비 부담이 크므로 0.9B에서 프롬프트와 도구 정형을 먼저 검증한 뒤 점진적으로 끌어올리는 방식이 안전하다.
지금 바로 해볼 것
- Hugging Face에서 K2 호라이즌 0.9B 또는 3.7B 가중치를 받아 vLLM으로 로컬 서빙을 띄워보세요.
- 동일한 도구 정의를 JSON과 Markdown 포맷으로 각각 작성해 토큰 수와 응답 시간을 비교 측정하세요.
- 36B-A4B를 받아 MoVA 라우팅이 활성화된 상태에서 다중 도구 호출 시나리오 5개 이상을 실행해보세요.
- 사전학습 코퍼스 메타데이터에서 합성 태스크 분포를 확인해 사내 도메인 태스크와 가장 가까운 클러스터를 골라 fine-tuning을 시작하세요.
자주 묻는 질문
K2 호라이즌 0.9B 모델은 왜 어휘 사전이 다른가?
엣지 디바이스 타깃 모델이기 때문에 어휘 사전을 줄여 메모리 사용량을 낮췄다. 동일한 학습 파이프라인을 거치지만 추론 환경에 맞춘 축소 어휘를 채택했다.
Apache 2.0 라이선스로 상용화 가능한가?
가중치·코드·데이터 모두 Apache 2.0으로 공개됐기 때문에 상용 서비스에 그대로 사용할 수 있다. 단, 재배포 시 동일 라이선스 표기 조건은 지켜야 한다.
MoVA는 기존 MoE와 어떻게 다른가?
MoE가 피드포워드에서 전문가를 라우팅한다면, MoVA는 다중 헤드 어텐션 자체에 라우팅을 통합한다. FlashAttention·GQA·sparse attention과 호환되는 것이 특징이다.
Markdown 도구 호출이 JSON보다 18.5% 효율인 이유는?
Markdown이 중괄호·따옴표·태그 같은 메타문자가 적기 때문에 동일 의미에 더 적은 토큰이 쓰인다. 도구 정의가 길어질수록 우위는 커진다.
K2 호라이즌의 공개가 던지는 질문은 단순히 ‘또 다른 오픈소스 모델 출시인가’가 아니다. 같은 파이프라인으로 0.9B부터 375B까지 일관 운용되는 플릿이 Apache 2.0으로 풀려나갔다는 사실은, 오픈소스 LLM 경쟁의 축이 가중치에서 데이터·코드·중간 상태를 포함한 ‘스택’으로 이동했음을 보여준다. 이 변화가 어떤 라이선싱 표준을 만들고, 상용 벤더들이 어떻게 대응할지는 앞으로 몇 분기 동안 판가름될 지점이다.
참고 원문
이 기사는 다음 원문을 확인해 작성했습니다: MarkTechPost — IFM Releases K2 Horizon: Six Apache 2.0 Models From 0.9B to 375B
전문가 코멘트(AI)
LLM 인프라 엔지니어
토크나이저·도구 인터페이스를 통합한 플릿 설계는 운영 단순화에 실리지만, MoVA의 서빙 스택 성숙도가 상용화의 관문
0.9B부터 375B-A23B까지 하나의 토크나이저와 도구 호출 인터페이스를 공유하는 플릿 설계는 사이즈별 통합·테스트·롤백 절차를 단일화할 수 있어 에이전트 워크로드의 운영 비용을 실질적으로 낮춘다. vLLM·SGLang·Ollama의 데이-0 지원과 FP8·GGUF 빌드 동시 제공은 도입 마찰을 제거하는 요소로, 출하 시점부터 안정 서빙이 가능한 상태로 진입했다는 점이 강점이다. 다만 MoVA가 어텐션 헤드에 라우팅을 넣는 방식은 KV 캐시 구성과 연속 배칭에 새로운 복잡도를 얹는다 — FlashAttention·GQA 호환 주장이 커널 레벨에서 실증돼야 서빙 스택 선택지가 넓어진다. Markdown 도구 호출의 18.5% 토큰 절감은 메타문자 구성상 타당한 방향이지만, 스키마 검증과 오류 처리 부담이 애플리케이션 층으로 이전된다는 트레이드오프를 감수해야 한다. 또한 0.9B의 축소 어휘는 ‘완전히 동일한 인터페이스’라는 명제에 토큰 수준 균열을 만들므로, 사이즈 간 프롬프트 이식성은 실측 검증이 필요하다.
오픈소스 전략·라이선싱 전문가
가중치를 넘어 데이터·코드·체크포인트까지 Apache 2.0 공개는 경쟁 축을 ‘스택’으로 옮기는 선언이지만, 데이터 권리 체인 검증이 남은 과제
가중치에 사전학습 코퍼스·중간 체크포인트·학습 코드·로그까지 Apache 2.0으로 묶어 공개한 사례는 기존 오픈웨이트 관행인 ‘가중치+추론 코드’ 선을 크게 넘어, 재현성 연구와 데이터 믹스 감사가 가능해진다는 점에서 의미가 크다. 합성 데이터 비중이 높은(약 10조 토큰) 코퍼스는 웹 크롤링 기반 저작권 리스크를 상당 부분 회피하지만, Apache 2.0 표기만으로 원저작물의 권리 체인이 정리되는 것은 아니므로 출처·라이선스 메타데이터의 공개 수준이 상용 도입의 관문이 된다. 퍼미시브 라이선스 선택은 폐쇄 경쟁자도 이 스택을 흡수할 수 있도록 허용하는 대가로 시장을 강제 개방하는 전략으로 읽히며, 경쟁 랩들이 공개 범위를 따라오도록 압박하는 효과가 있다. 중간 체크포인트 공개는 ablation과 fine-tuning 실험 표면을 넓혀 학계에 실익이 크지만, 안전성 평가를 거친 체크포인트인지 선별 공개인지 판별 기준이 없으면 신뢰가 반감된다. 전반적으로 오픈소스 경쟁의 기준선을 끌어올린 선제적 행보이나, 데이터 권리 검증과 라이선스 모범 사례 정립이 뒤따르지 않으면 ‘완전 공개’의 실질 가치는 크게 훼손된다.
비판적 분석가
‘완전 오픈소스’라는 포장 뒤에는 규격 표준 장악과 상용 게이트웨이 수익화라는 계산이 깔려 있다
먼저 cui bono부터 따져야 한다: 여섯 사이즈가 하나의 토크나이저·포맷·서빙 레시피를 공유하면, 이 생태계 위에서 무언가를 만드는 개발자는 사실상 IFM의 규격 위에 서게 되고, ‘개방’은 표준 장악의 도구로 기능할 가능성이 높다. Markdown 도구 호출을 추론 기본값으로 밀어붙인 것도 우연이 아닐 수 있다 — 효율 수치가 사실이더라도, 그 포맷이 커뮤니티 표준이 되는 순간 IFM은 표준화 기구 없이 에이전트 상호운용 규격을 소유하게 된다. 가중치는 공짜로 풀고 수익은 platform.ifm.ai 게이트웨이와 호스팅 파트너에서 거두는 구조는 전형적인 오픈코어이며, ‘역사상 가장 큰 완전 오픈소스 출시’라는 문구는 동시에 대규모 고객 유입 캠페인으로 읽힌다. 세 주요 추론 엔진의 데이-0 동시 지원은 몇 달에 걸친 사전 협조 없이는 불가능한데, 이는 진입 타이밍이 경쟁사 출시 일정과 맞춰진 계획 행보였을 개연성을 높인다. 375B급 모델을 20조 토큰으로 학습시킨 컴퓨트 비용을 누가 떠안았는지, 그리고 아부다비 기반 연구소로서 주권 AI 서사에 이 공개가 어떻게 활용되는지가 배경에 있을 수 있다. 공개 자체는 실질적이고 학계에 주는 이익도 분명하지만, 오늘 그들의 Markdown 포맷 위에 에이전트 스택을 올리려는 사람이라면 내일 그 포맷의 요금표를 누가 쓰는지부터 의심해봐야 한다.
물밑 시나리오
- IFM이 효율 논리를 앞세워 Markdown 도구 호출 포맷을 사실상 표준으로 만들고, 에이전트 생태계가 IFM 규격에 종속되는 구조를 설계했을 가능성이 있다 — 공식 발표가 포맷별 토큰 효율 수치를 정면 내세운 점이 정황 증거다.
- ‘역사상 가장 큰 오픈소스 출시’의 시점은 경쟁 랩의 대형 출시 일정에 맞춘 시장 선점 수순일 수 있다 — 세 추론 엔진의 데이-0 동시 지원은 사전 협조 없이는 불가능하다는 점이 그 근거다.
- 무료 가중치는 platform.ifm.ai 유료 게이트웨이로 트래픽을 모으는 오픈코어형 고객 유입 장치일 가능성이 있다 — 발표에서 호스팅 파트너 목록이 이례적으로 상세하게 강조된 점이 뒷받침한다.