2026년 7월, Moonshot AI가 공개한 Kimi K3는 2.8T(2.8조) 파라미터에 1M 토큰 컨텍스트, 네이티브 비전까지 갖춘 공개 가중치 모델로 분류된다. 같은 시기 AWS가 Amazon Bedrock에 Grok 4.3를 정식 출시한 점과 맞물려, 프론티어급 대형 모델의 오픈소스 전환과 클라우드 채널 동시 보급이 가속화되는 흐름으로 분석된다. 본문에서는 Kimi K3의 사양과 아키텍처 변화, 그리고 시장 전반에 미치는 영향을 정리한다.
- Kimi K3는 2.8T 파라미터, 1M 토큰 컨텍스트, 네이티브 비전을 갖춘 공개 가중치 프론티어 모델로 분류된다.
- Kimi Delta Attention, Attention Residuals, Stable LatentMoE(896개 전문가 중 16개 활성화) 등 신규 기법이 적용된 것으로 분석된다.
- 동일 시점 AWS의 Bedrock Grok 4.3 출시와 함께, 대형 모델의 오픈 공개와 매니지드 서비스화가 동시 진행되는 양상이 확인된다.
Kimi K3는 단순한 스케일업이 아니라, 공개 생태계 확장과 신규 기법을 동시에 겨냥한 프론티어 모델 전략의 신호탄으로 분석된다.
Kimi K3, 무엇이 달라졌나
Kimi K3는 Moonshot AI가 공개한 차세대 프론티어급 대형 언어 모델(LLM)이다. 이전 세대인 Kimi K2 대비 파라미터 규모와 컨텍스트 길이가 크게 확대되었고, 텍스트를 넘어 비전을 네이티브로 처리하는 멀티모달 구성이 공식 표기되어 있다.
2.8T 파라미터와 1M 토큰 컨텍스트의 의미
Kimi K3는 총 2.8T(2.8조) 파라미터와 1M 토큰의 컨텍스트 길이를 제공한다. 이 조합은 공개 가중치 모델 중에서도 최대급 사양에 해당하며, 수십만 토큰 단위의 장문 코드 분석이나 대규모 문서 지식 작업, 다단계 추론 시나리오를 단일 윈도우로 처리하는 것을 목표로 한다. 다만 실사용 시 추론 비용과 메모리 요구량도 함께 증가하므로, 배포 환경 설계가 핵심 변수로 떠오른다.
네이티브 비전 지원과 멀티모달 전략
모델 카드와 보도 자료에서 네이티브 비전(native vision) 지원이 명시되어 있다. 텍스트 모델 위에 비전 어댑터를 후속으로 얹는 방식이 아니라, 사전학습 단계부터 비전을 통합한 구성을 의미하는 것으로 풀이된다. 화면 캡처, 도식, UI 목업과 같은 개발자 자산을 코드 생성 흐름에 직접 결합할 수 있다는 점에서, 에이전트 코딩 워크플로우에 대한 시사점이 크다.
| 항목 | 사양 |
|---|---|
| 총 파라미터 | 2.8T |
| 컨텍스트 길이 | 1,000,000 토큰 (1M) |
| 지원 모달리티 | 네이티브 비전 + 텍스트 |
| 아키텍처 | Kimi Delta Attention, Attention Residuals, Stable LatentMoE |
| MoE 전문가 구성 | 총 896개, 활성화 16개 |
| 선대 모델 | Kimi K2 |
| 공개 형태 | 공개 가중치 (오픈) |
아키텍처 핵심: Delta Attention과 Stable LatentMoE
Kimi K3의 공개 자료에서 가장 눈에 띄는 부분은 이름 붙여진 신규 기법들이다. Kimi Delta Attention, Attention Residuals, Stable LatentMoE는 모델의 효율과 성능을 동시에 잡기 위한 구성 요소로 소개된다.
Kimi Delta Attention과 Attention Residuals의 작동 원리
Kimi Delta Attention은 기존 어텐션 연산을 델타(변화량) 단위로 재구성해, 장문 컨텍스트에서 누적되는 키/벨류 캐시 비용을 줄이는 방향으로 설계된 기법으로 분석된다. 여기에 Attention Residuals는 레이어 간 잔차 연결을 어텐션 경로까지 확장한 구성으로, 깊은 스택에서의 학습 안정성과 정보 흐름 개선을 노린 것으로 보임. 두 기법의 결합이 1M 토큰 컨텍스트를 현실적인 지연 시간 안에 제공하기 위한 핵심 토대로 분석된다.
896개 전문가 중 16개 활성화, Sparse MoE 설계의 트레이드오프
Stable LatentMoE는 총 896개의 전문가(expert) 풀 중 입력 토큰당 16개만 활성화하는 희소(sparse) 혼합 전문가(MoE) 구조다. 1토큰당 활성화 비율로 환산하면 약 1.8%로, 총 파라미터 규모 대비 실효 연산량을 크게 낮추는 대신 라우팅 안정성을 확보하는 것이 설계 목표다. K2 대비 동일 품질 구간에서의 추론 비용 효율이 개선된 것으로 분석되며, 반대로 라우팅 편향이나 전문가 붕괴와 같은 일반적 MoE 리스크에 대한 검증이 향후 과제로 남는다.
오픈소스 프론티어 경쟁의 재편
Kimi K3 단독의 발표가 아니라, 같은 주의 클라우드 채널 발표와 함께 읽어야 현재 시장 구도를 정확히 파악할 수 있다. 2026년 7월 16일을 기점으로, 대형 모델의 공개 진영과 매니지드 서비스 진영이 동시에 움직이고 있다.
Kimi K2에서 K3로: 어떤 성능과 효율 개선이 보고되는가
공식 채널에서 강조하는 K2 대비 개선점은 (1) 1M 컨텍스트로의 확장, (2) 네이티브 비전 통합, (3) Delta Attention 계열 기법을 통한 장문 처리 효율 향상, (4) Stable LatentMoE를 통한 추론당 연산량 통제다. 정확한 벤치마크 수치는 공개 자료 범위 내에서 신중하게 해석해야 하지만, 동일 활성화 비율을 전제로 할 때 K3가 K2 대비 처리량과 품질 모두에서 우위를 목표한 설계로 분석된다.
Grok 4.3의 Bedrock 출시와 시장 동조화
2026년 7월 16일, AWS는 Amazon Bedrock에 Grok 4.3를 정식 도입한다고 발표했다(출처: AWS ML Blog). 같은 날 Moonshot AI가 Kimi K3를 공개 가중치로 내놓은 사실과 결합하면, 프론티어급 모델의 진입 경로가 (a) 직접 다운로드 가능한 오픈 가중치, (b) Bedrock 같은 매니지드 API, 두 축으로 동시에 확장되고 있음을 확인할 수 있다. 즉, 개발자는 라이선스 친화도와 자체 인프라 통제력, 운영 부담 절감 사이에서 선택지를 비교하는 국면에 들어선 것으로 분석된다.
개발자와 기업이 주목해야 할 점
새 모델의 발표는 곧 도입 결정으로 이어지지 않는다. 특히 2.8T 파라미터급 모델은 추론 인프라, 배포 비용, 데이터 거버넌스까지 함께 검토해야 실용적인 도입이 가능하다.
장문 코드와 지식 작업에 대한 실사용 시나리오
1M 컨텍스트와 네이티브 비전의 조합은 다음과 같은 시나리오에서 직접적인 이점을 제공한다.
- 대규모 모노레포 단위 코드 리뷰 및 리팩터링 계획 생성
- 수백 페이지 사양서, 도식, UI 스크린샷을 한 번에 컨텍스트로 넣는 멀티모달 분석
- 장기 세션의 에이전트 워크플로우에서 컨텍스트 손실 최소화
다만 1M 전체를 항상 활성화하는 것은 비용 측면에서 비효율적일 수 있으므로, 작업 특성에 맞는 청킹과 요약 계층 설계가 함께 요구된다.
도입 시 검토해야 할 라이선스, 배포 조건, 추론 인프라
공개 가중치라고 하더라도 라이선스 등급(상용 허용 범위, 재배포 조건, 파인튜닝 산출물帰属)에 따라 기업 도입 적합성이 갈린다. 또한 2.8T 모델을 단일 GPU로 서빙하기 어려우므로, 텐서 병렬, 파이프라인 병렬, 전문가 병렬을 결합한 분산 추론 구성과 KV 캐시 최적화가 사실상 필수다. 매니지드 채널이 필요하지 않다면 Bedrock 같은 경로를, 자체 데이터 주권이 중요하다면 자체 호스팅 배포를 우선 검토하는 식의 의사결정 프레임이 유효하다.
정리하면
- Kimi K3는 2.8T 파라미터, 1M 토큰 컨텍스트, 네이티브 비전을 결합한 공개 가중치 프론티어 모델로, 공개 사양만으로도 의미 있는 도약으로 분석된다.
- Delta Attention 계열과 Stable LatentMoE(896 중 16 활성화)는 장문 효율과 추론 비용을 동시에 잡기 위한 핵심 구조로 읽힌다.
- Grok 4.3의 Bedrock 출시와 같은 주에 겹치며, 오픈 공개와 클라우드 매니지드가 병행되는 2026년 하반기 프론티어 시장 양상이 확인된다.
- 기업 도입 시 라이선스 조건, 분산 추론 인프라, 장문 처리 워크플로우 설계를 함께 검토해야 비용 대비 효과를 극대화할 수 있다.
참고: GeekNews – Kimi K3 공개 – 개방형 프론티어 인텔리전스, AWS ML Blog – Introducing Grok on Amazon Bedrock