- Kimi Delta Attention(KDA)과 MLA를 3대1 비율로 쌓은 하이브리드 구조가 동일 학습 조건에서 순수 MLA 대비 전 벤치마크에서 더 높은 성능을 기록함
- KDA는 Gated DeltaNet의 헤드 단위 망각 게이트를 채널 단위로 세분화해 특성 차원별 독립 망각률을 구현함
- DPLR(Diagonal-Plus-Low-Rank) 전이 행렬과 청크 단위 병렬 알고리듬 결합으로 일반 DPLR 대비 연산 효율을 약 2배 수준으로 끌어올림
오픈 공개된 Kimi Linear는 유한 메모리 RNN과 풀 어텐션을 한 그래프 안에서 재조합해 장문맥 추론의 새 기준점을 제시한 아키텍처 사례임
2025년 공개된 Kimi Linear는 어텐션 아키텍처의 표현력과 연산 효율을 동시에 끌어올린 사례로 빠르게 주목받고 있다. 본문은 핵심 모듈인 Kimi Delta Attention(KDA)의 구조와 3대1 하이브리드 스택, 그리고 오픈소스 생태계로의 파급력을 차례대로 해부한다.
Kimi Linear 개요와 등장 배경
Transformer 어텐션의 한계와 하이브리드 필요성
표준 Transformer의 셀프 어텐션은 시퀀스 길이에 대해 제곱 복잡도를 갖기 때문에, 수만 토큰을 넘는 문맥에서는 연산 비용과 메모리 사용량이 폭발적으로 증가한다. 이러한 한계를 완화하기 위해 최근에는 유한 상태 RNN류의 선형 어텐션과 풀 어텐션을 적층하는 하이브리드 설계가 활발히 시도되어 왔다. Kimi Linear는 이러한 흐름의 정점에 있는 아키텍처로, 단순히 두 모듈을 교차 배치하는 수준을 넘어 각 모듈의 강점을 학습 가능한 비율로 조합하는 방향을 택했다.
Kimi Linear의 포지셔닝과 오픈소스 의미
Kimi Linear는 Moonshot AI가 공개한 Kimi 계열 아키텍처로 보고되며, 학습 스크립트와 가중치가 함께 공개되었다는 점에서 연구 재현성과 후속 연구 촉진 측면에서 의미가 크다. 본문에서 인용되는 수치와 구조는 arXiv 원문과 GeekNews 토픽을 참고로 정리했으며, 주요 출처는 다음과 같다.
KDA 아키텍처 심층 해부
채널 단위 망각 게이트의 설계 의도
KDA의 첫 번째 차별점은 망각 게이트의 세분화 단위에 있다. 기존 Gated DeltaNet은 헤드 단위로 단일 스칼라 게이트를 적용해 시퀀스 전체의 망각률을 통째로 조절했지만, 이는 모델 내 모든 특성 차원이 동일한 비율로 정보를 잊도록 만드는 제약을 수반한다. KDA는 이 게이트를 채널(특성 차원) 단위로 쪼개어, 메모리 벡터의 각 차원이 독립적인 망각률을 갖도록 설계했다. 결과적으로 어떤 차원은 장기 의존성을, 다른 차원은 짧은 패턴을 우선 기억하는 형태의 분화가 가능해졌으며, 이는 모델이 토큰별 역할이 다른 다층적 문맥 신호를 더 유연하게 흡수하는 데 기여한 것으로 분석된다.
DPLR 전이 행렬과 청크 병렬 알고리듬
KDA의 두 번째 차별점은 상태 전이 행렬을 DPLR(Diagonal-Plus-Low-Rank) 형태로 구성한 점이다. 일반적인 DPLR 행렬은 표현력이 높은 반면 매 단계마다 역행렬 계산이 요구되어 연산량이 커지는 약점이 있으며, Kimi Linear는 이를 청크(chunk) 단위 병렬 알고리듬과 결합해 처리량을 약 2배 수준으로 끌어올렸다. 아래 표는 일반 DPLR과 KDA의 DPLR 구현을 비교한 요약이다.
| 구분 | 전이 행렬 형태 | 병렬화 전략 | 상대 연산 효율 |
|---|---|---|---|
| 일반 DPLR 선형 어텐션 | 대각 + 저계수 | 순차 의존 | 기준(1.0x) |
| KDA(DPLR + 청크 알고리듬) | 대각 + 저계수 | 청크 단위 병렬 | 약 2.0x(향상 약 100%) |
Gated DeltaNet과의 구조적 차별점
정리하면 KDA는 Gated DeltaNet에서 출발해 세 가지 요소를 동시에 개조한 모듈이다. 첫째, 게이트 단위를 헤드에서 채널로 세분화했고, 둘째, 상태 전이 행렬을 단순한 대각 행렬에서 DPLR로 확장했으며, 셋째, 이를 청크 단위 병렬 계산과 결합해 하드웨어 친화성을 확보했다. 이러한 조합이 단순한 증분 개선이 아니라 표현력-효율 트레이드오프 곡선을 한 단계 옮긴 것으로 평가되는 배경이다.
3대1 하이브리드 스택 설계
KDA와 MLA 배치 비율의 근거
Kimi Linear의 가장 두드러진 운영 디자인은 KDA와 MLA(Multi-Latent Attention)를 3대1 비율로 교차 적층한 점이다. 이는 동일 학습 조건에서 순수 MLA 구성과의 비교 실험을 거쳐 단기 문맥, 장기 문맥, 강화학습(RL) 평가 전반에서 더 높은 점수를 기록한 비율로, 검증된 설계 선택에 기반한 구성으로 보고된다. 즉 하이브리드 비율 자체가 하이퍼파라미터가 아니라 검증된 설계 선택이라는 점이 강조된다.
단기 문맥과 장기 문맥의 역할 분담
3대1 구조에서 KDA 블록은 상태 기반 메모리를 유지하며 반복적인 패턴과 장기 의존을 압축 저장하고, MLA 블록은 최근 토큰 간 정밀한 상호작용을 복원하는 역할을 수행한다. 이러한 역할 분담 덕분에 모델은 긴 컨텍스트에서도 최근 토큰의 미세 문맥 정보를 잃지 않으면서, 전체적인 일관성은 유한 메모리가 담당하는 구조를 형성한다. 결과적으로 추론 비용은 KDA가 절감하고, 표현 품질은 MLA가 보완하는 형태의 균형이 가능해진 것으로 풀이된다.
학습 및 평가 결과
3B와 48B 모델 사양과 1.4T 토큰 학습
Kimi Linear는 활성 파라미터 3B와 전체 파라미터 48B 규모의 모델 구성으로 학습되었으며, 학습 토큰 수는 약 1.4T 규모로 보고된다. 활성 파라미터 대비 전체 파라미터 비율이 큰 점은 MoE(Mixture of Experts) 계열 구조일 가능성을 시사하며, 1.4T 토큰 학습은 장문맥 추론과 RL 정렬 단계까지 안정적으로 수행하기 위한 충분한 데이터 규모로 해석된다.
MMLU-Pro와 RL 평가에서의 성능 비교
평가 결과 측면에서 Kimi Linear는 MMLU-Pro(논문 표기 MMLU-P(rug)) 영역에서 동일 조건의 순수 MLA 대비 우세를 보였으며, RL 평가에서도 일관되게 높은 점수를 기록한 것으로 정리된다. 이는 단순한 지식 회상뿐 아니라 추론과 정렬 단계에서도 하이브리드 구조의 이점이 유지됨을 시사하는 결과로 보인다.
효율성과 오픈소스 생태계 영향
연산 효율 100% 향상의 실효성
일반 DPLR 대비 약 100% 연산 효율 향상은 동일한 하드웨어에서 학습과 추론에 소요되는 시간과 비용을 절반 수준으로 줄일 수 있음을 의미한다. 이러한 수준 향상이 실제 서비스 환경에서 의미 있는 절감으로 이어지려면 GPU 활용도과 메모리 대역폭 측면의 검증이 추가로 필요하지만, 공개된 벤치마크 기준으로 보면 3B 활성/48B 총 파라미터 모델의 학습 가능성을 현실화한 중요한 수치로 평가된다.
아키텍처 재현과 후속 연구 파급력
Kimi Linear가 오픈소스로 공개되었다는 점은 단순한 모델 공개를 넘어, KDA의 채널 단위 게이트와 DPLR 청크 알고리듬이라는 구체적 설계 선택이 후속 연구의 기준선이 될 가능성을 높인다. 향후 동급의 선형 어텐션 연구는 이 아키텍처를 베이스라인으로 삼아 게이트 세분화 전략, 전이 행렬 구조, 하이브리드 비율을 재조합하는 방향으로 전개될 것으로 예상되며, 이는 어텐션 아키텍처 탐색의 다변화를 촉진하는 신호로 읽힌다.
핵심 정리
- KDA는 Gated DeltaNet의 헤드 단위 게이트를 채널 단위로 확장해 차원별 독립 망각률을 구현한다
- DPLR 전이 행렬과 청크 병렬 알고리듬 결합으로 일반 DPLR 대비 연산 효율을 약 2배 수준으로 끌어올렸다
- KDA와 MLA의 3대1 하이브리드 적층은 단기·장기 문맥 및 RL 평가 전반에서 순수 MLA 대비 우세를 보인다
- 활성 3B/총 48B 파라미터와 1.4T 토큰 학습으로 장문맥 추론 모델의 현실적 학습 가능성을 제시한다
- 오픈소스 공개로 아키텍처 재현과 후속 하이브리드 어텐션 연구의 기준선을 제공한다