[태그:] expert parallelism

  • MoE 라우팅 비교: DeepSeek·Kimi·Llama 4 구조

    MoE 라우팅 비교: DeepSeek·Kimi·Llama 4 구조

    오픈소스 혼합 전문가 모델 10개는 토큰마다 서로 다른 전문가를 선택하지만, 라우팅 구조는 크게 달랐다. 공개 설정에서 전문가 수는 8~384개, top-k는 1~8 범위였으며, 항상 작동하는 공유 전문가를 두는 모델과 두지 않는 모델이 나뉘었다. GPU 배치에 영향을 주는 MoE 라우팅의 차이는 2026년 11월 8일 공개된 비교 자료에서 확인할 수 있다.

    각 모델은 토큰마다 몇 개의 전문가를 선택하는가

    비교 대상은 모두 토큰 단위로 전문가를 고르는 token-choice 방식을 사용했다. 세부적으로는 총 전문가 수, 토큰별 선택 수, 공유 전문가, 점수 함수, 부하 균형 조절의 다섯 가지 설정이 갈렸다.

    모델 라우팅 전문가 top-k 공유 전문가 게이팅·균형 방식
    Mixtral 8 2 0 Softmax, 선택 점수 정규화
    DeepSeek-V3 256 8 1 Sigmoid, noaux_tc 보조손실 없는 bias 기반 균형
    DeepSeek-V4-Pro 384 6 1 sqrtsoftplus, noaux_tc, 첫 3개 MoE 레이어 hash routing
    Qwen3 MoE 128 8 0 Global-batch auxiliary loss
    Qwen3.6-35B-A3B 256 8 1 게이팅 세부사항 미공개
    Llama 4 Maverick 128 1 1 게이팅·균형 방식 미공개
    gpt-oss-120b 128 4 0 Linear router, 균형 방식 미공개
    Kimi K2 384 8 1 noaux_tc와 sequence auxiliary loss
    GLM-4.5 160 8 1 Loss-free balance routing

    DeepSeek와 Kimi K2는 라우팅을 어떻게 변경했는가

    DeepSeek-V3은 256개 라우팅 전문가를 sigmoid로 평가하고 선택된 점수를 정규화했다. 전문가별 bias가 혼합 가중치를 바꾸지 않은 채 top-8 선택을 유도했으며, 8개 그룹 중 최대 4개 그룹으로 토큰을 전달했다. 모든 토큰은 공유 전문가 1개도 거쳤다.

    DeepSeek-V4-Pro는 라우팅 전문가를 384개로 늘리면서 top-k를 8에서 6으로 낮췄다. 점수 함수는 sqrtsoftplus로 바뀌었지만 bias 기반 noaux_tc 균형 방식은 유지됐고, 첫 3개 MoE 레이어에는 고정 토큰-전문가 대응인 hash routing이 적용됐다.

    Kimi K2는 DeepseekV3ForCausalLM 아키텍처 클래스와 noaux_tc 라우터를 사용하며, 라우팅 전문가를 384개로 늘리고 top-8을 유지했다. 기술 보고서는 고정된 활성 연산량에서 sparsity를 높일수록 손실이 낮아졌다고 밝혔다. GLM-4.5는 160개 전문가를 선택하는 대신 레이어 수를 늘리는 방향을 택했다.

    Llama 4와 gpt-oss는 어떤 경로로 토큰을 처리하는가

    Llama 4 Maverick는 dense 레이어와 MoE 레이어를 번갈아 배치한다. 각 MoE 레이어에서 토큰은 공유 전문가 1개와 128개 라우팅 전문가 중 1개를 활성화하며, 총 400B 파라미터 가운데 활성 파라미터는 17B로 제시됐다.

    gpt-oss-120b는 128개 전문가에 선형 라우터를 적용해 상위 4개를 선택하며 공유 전문가는 없다. MXFP4 가중치 형식을 적용한 117B 모델은 80 GB GPU 1개에 배치할 수 있다고 보고됐다. 반면 Llama 4와 gpt-oss는 설정 파일에서 균형 조절 방법을 공개하지 않았고, Llama 4와 Qwen3.6의 설정 및 모델 카드에는 게이팅 세부사항이 기재돼 있지 않았다.

    GPU 배치와 all-to-all 통신을 결정하는 조건

    전문가가 많을수록 레이어에 상주하는 가중치가 늘어나고, GPU 간 expert parallelism에 필요한 all-to-all 통신도 증가한다. top-k를 줄이면 토큰별 연산과 전송량이 감소하며, 공유 전문가는 모든 토큰이 지나는 dense 경로가 된다.

    활성 파라미터 표시만으로는 비용을 비교하기 어렵다. Qwen3.6-35B-A3B는 총 35B와 활성 3B를 제시한 반면 DeepSeek-V4-Pro는 총 1.6T와 활성 49B를 제시했으며, DeepSeek-V4-Pro와 Kimi K2에는 다중 GPU expert parallelism이 필요했다.

    GPU 수를 산정할 때는 활성 파라미터뿐 아니라 총 가중치, 전문가 배치, top-k, 공유 전문가 경로와 통신 방식을 함께 확인해야 한다. 원문은 이 항목들을 점검한 뒤 GPU 크기를 결정하라고 권고했다. 마지막으로 Kimi K2의 비교 보고서는 sparsity 48이 sparsity 8보다 동일한 검증 손실에서 FLOPs를 1.69배 적게 사용했다고 적었다.

    참고 원문

    이 기사는 다음 원문을 확인해 작성했습니다: MarkTechPost — Which Routing Does Each MoE Model Use? DeepSeek, Qwen, Mixtral, Llama 4, gpt-oss Compared