MSA 개요: 왜 스파스 어텐션이 다시 중요한가
장문맥 LLM이 100만 토큰 영역으로 진입하면서 KV 캐시 점유와 어텐션 연산 비용이 추론 경제성의 핵심 병목으로 부상했다. MarkTechPost가 2026년 6월 17일자로 소개한 MSA는 Grouped Query Attention(GQA) 위에 얹히는 형태의 블록 스파스 어텐션으로, 동일 품질을 유지하면서 토큰당 연산을 크게 줄였다고 보고된다. 본문은 이 주장을 아키텍처와 수치 측면에서 해부한다.
GQA 이후 남은 추론 비용 병목
GQA는 키·밸류 헤드를 그룹 단위로 공유해 KV 캐시 메모리를 절감한 기법이다. 그러나 어텐션 연산 자체는 여전히 모든 쿼리가 모든 KV 토큰을 참조하는 O(N·d) 형태에 가까워, 컨텍스트 길이 N이 커질수록 비용이 선형으로 증가한다. 1M 토큰 구간에서는 이 선형 비용이 GPU 메모리 대역폭과 FLOPs를 동시에 잠식한다.
블록 스파스 접근법이 부상하는 이유
블록 스파스 어텐션은 KV 토큰을 일정 크기 블록으로 묶고, 쿼리별로 관련 있는 블록만 골라 어텐션을 수행한다. 이론적으로는 동일 품질을 유지하면서 어텐션 FLOPs를 N/k에 비례하는 수준까지 낮출 수 있다. MSA가 바로 이 계열에 속하며, 2분기 구조로 블록 선정과 어텐션 연산을 분리한 점이 특징이다.
핵심 요약
- 아키텍처: Index Branch가 Top-k KV 블록을 선정하고 Main Branch가 그 블록에만 어텐션을 수행하는 2분기 블록 스파스 구조
- 성능 등가성: 109B MoE·3T 토큰 학습 조건에서 다운스트림 벤치마크가 GQA와 동등 수준으로 보고됨
- 효율성 수치: 1M 토큰 컨텍스트에서 토큰당 어텐션 컴퓨트가 GQA 대비 약 28.4배 절감된 것으로 보고됨
MSA는 품질을 양보하지 않고 추론 경제성만 끌어내리는 시도로 읽힌다.
MiniMax MSA 아키텍처 해부
MSA의 핵심은 “어떤 KV 블록을 읽을지”를 결정하는 Index Branch와 “선정된 블록에 실제 어텐션을 수행하는” Main Branch를 분리한 점이다. 두 브랜치는 같은 입력 토큰 스트림을 공유하지만 연산량과 정확도 요구 수준이 다르다.
Index Branch의 Top-k KV 블록 선정
Index Branch는 경량 연산으로 각 쿼리·GQA 그룹이 참조할 만한 KV 블록 후보를 스코어링해 Top-k 블록을 선정한다. 스파스 어텐션의 품질이 이 선정기의 정확도에 거의 전적으로 달려 있기 때문에, 일반적으로 메인 어텐션의 정확도보다 낮아도 되도록 설계 비용이 한 단계 낮춰져 있다고 보고된다. 본문에서는 선정 방식 자체보다 라우팅 단위가 쿼리·GQA 그룹이라는 사실이 더 큰 시그널이다.
Main Branch의 제한적 어텐션 수행
Main Branch는 Index Branch가 고른 Top-k KV 블록들에 대해서만 표준 어텐션을 수행한다. 따라서 어텐션 FLOPs가 블록 수 k에 비례해 감소하고, KV 캐시에서 실제로 GPU로 적재되는 블록 수도 함께 줄어 읽어오는 데이터량도 그만큼 줄어든다. 메모리 대역폭이 병목인 장문맥 추론에서 이 감소가 결정적인 의미를 갖는다.
GQA 그룹 단위 라우팅이 갖는 의미
Index Branch의 Top-k 선정이 쿼리 단위가 아니라 GQA 그룹 단위로 이루어진다는 점은 단순한 구현 디테일이 아니다. 같은 그룹에 속한 쿼리들이 동일한 KV 블록 집합을 공유하게 되므로, 선정 결과의 재사용성이 높아져 Index Branch의 추가 비용을 그룹 크기만큼 분산할 수 있다. 결과적으로 동일 품질을 위한 Index Branch의 상대 비용이 줄어든다.
학습 스케일과 성능 등가성
109B MoE와 3T 토큰 학습 예산의 조합
보고된 학습 사양은 1,090억 파라미터 규모의 MoE(Mixture of Experts) 모델에 3T(3조) 토큰 학습 예산이다. 이 두 숫자가 동시에 등장한다는 것은 단순한 어블레이션이 아니라 실제 프로덕션급 학습 스케일에서 스파스 어텐션이 품질 저하 없이 수렴했음을 보여주려는 의도로 해석된다.
다운스트림 벤치마크에서 GQA와의 동등성
요약 가능한 핵심 주장 중 하나는 MSA가 GQA와 동등한 다운스트림 벤치마크 점수를 유지했다는 점이다. 이 “동등성”이 정확히 어떤 벤치마크 집합에서 검증되었는지에 따라 해석이 달라지므로, 본문에서는 “GQA와 동등 수준”이라는 사실만 단정적으로 적시하고 세부 점수 비교는 추가 공개 자료에 의존한다.
| 구분 | GQA | MiniMax MSA |
|---|---|---|
| 기본 어텐션 단위 | 전체 KV | Index Branch가 고른 Top-k 블록 |
| 라우팅 단위 | 쿼리 | GQA 그룹 |
| 1M 컨텍스트 토큰당 어텐션 컴퓨트 | 기준점 | 약 1/28.4 수준으로 감소한 것으로 보고됨 |
| 다운스트림 벤치마크 | 기준선 | GQA와 동등 수준으로 보고됨 |
| 학습 스케일 | 다양 | 109B MoE, 3T 토큰 |
효율성 지표 정밀 해부
1M 컨텍스트에서 토큰당 28.4배 연산 절감의 의미
토큰당 어텐션 연산이 28.4배 줄어든다는 수치는 GQA 대비 압도적으로 보이지만, 그 의미는 “전체 추론 비용이 28.4배 줄어든다”가 아니라 “어텐션 단계의 컴퓨트가 1/28.4 수준이 된다”는 점에 한정해 해석해야 한다. 어텐션 외부의 FFN·MoE 라우팅·KV 캐시 로딩 비용은 그대로 남기 때문이다. 그럼에도 1M 컨텍스트에서는 어텐션이 전체 추론 비용의 상당 비중을 차지하므로, 실효 절감률은 어텐션의 비중만큼 작지 않을 것으로 분석된다.
KV 캐시 점유와 메모리 트래픽에 미치는 영향
블록 스파스 어텐션은 어텐션 단계에서 참조되는 KV 블록 수를 줄여 GPU 메모리 대역폭 사용량을 직접 줄인다. KV 캐시의 총 점유 용량은 동일하지만, 매 추론 스텝마다 읽어와야 하는 데이터량이 줄어들어 배치당 처리 가능한 시퀀스 수나 동시 세션 수가 늘어날 수 있다. 이 부분은 후속 운영 벤치마크가 있어야 정량적으로 확인된다.
한계와 후속 과제
Top-k 선정 정확도와 품질 회귀 위험
Index Branch의 Top-k 선정이 최적 부분집합을 놓치면 해당 토큰들은 사실상 어텐션에서 누락된다. 회귀 위험은 평가 벤치마크의 종류보다도 “어떤 패턴이 Top-k에 잘 잡히지 않는가”에 좌우되며, 보고된 평가가 대표성을 갖는지 여부는 공개된 벤치마크 구성을 통해 추가 확인이 필요하다.
에이전트·툴콜 워크로드로의 확장 가능성
에이전트·툴콜 워크로드는 컨텍스트 중간에 외부 문서·함수 결과가 끼어드는 구조라, Top-k 선정이 어느 위치의 블록을 우선시할지가 작업 효율을 좌우한다. 일반 장문 요약에서는 잘 작동하더라도 다중 도구 결과가 산재한 환경에서는 동일한 28.4배 수치가 유지될지 추가 검증이 필요한 영역으로 보인다.
결론: 추론 경제성 재편을 알리는 신호
MiniMax MSA는 GQA를 출발점으로 두고 그 위에 블록 스파스 어텐션을 얹은 형태로, “장문맥 LLM의 추론 비용은 더 줄일 수 있다”는 가설을 109B MoE·3T 토큰이라는 프로덕션급 스케일에서 실증한 사례로 읽힌다. 특히 1M 컨텍스트에서 토큰당 28.4배 절감과 GQA 동등 성능이라는 두 수치가 동시에 보고된 점은, 장문맥 추론 경제성의 다음 기준선이 단순한 GQA 개선이 아니라 라우팅 기반 스파스 어텐션이 될 가능성을 높인다. 다만 후속에는 워크로드별 회귀 위험, Index Branch의 추가 비용, 그리고 실제 서빙 환경의 처리량 변화가 함께 공개되어야 그 영향력이 확정될 것으로 분석된다.
- 핵심 구조: 2분기(Index/Main) + GQA 그룹 단위 Top-k 블록 라우팅
- 학습 스케일: 109B MoE, 3T 토큰
- 효율 수치: 1M 컨텍스트 기준 토큰당 어텐션 컴퓨트 약 28.4배 절감(보고치)
- 품질 수치: 다운스트림 벤치마크 GQA와 동등 수준(보고치)
- 해석 유의점: 어텐션 단계의 컴퓨트만 비교한 수치이므로 전체 추론 비용의 동일 비율 절감을 의미하지는 않음
- 후속 과제: Top-k 선정 정확도, 에이전트/툴콜 워크로드 일반화, Index Branch 오버헤드 정량화