[태그:] JetBrains

  • 멜룸 모델 Mellum2.1 출시 — 12B MoE 코딩 에이전트를 2.5B 활성 파라미터로 로컬 서빙하는 법

    멜룸 모델 Mellum2.1 출시 — 12B MoE 코딩 에이전트를 2.5B 활성 파라미터로 로컬 서빙하는 법

    핵심 요약

    • JetBrains가 12B 총 파라미터 중 2.5B만 활성화하는 MoE 추론형 코딩 모델 Mellum2.1을 Apache 2.0으로 공개했다.
    • 아키텍처는 Mellum2와 동일(28 레이어, 64 expert, 8 active, GQA 32/4, 131K 컨텍스트)하며, 개선 폭의 대부분은 실저장소 기반 강화학습(RL) 사후훈련에서 나왔다.
    • SWE-bench Verified 2.0→47.0, SWE-bench Pro 0.0→28.0, Terminal-Bench 2.1 0.6→17.4로 에이전틱 코딩 점수가 비약적으로 상승했다.

    Mellum2.1은 모델 아키텍처를 거의 손대지 않고 실저장소 기반 강화학습으로 에이전틱 코딩 점수만 끌어올렸다는 점에서, ‘작은 활성 파라미터 + 도메인 특화 RL + 로컬 서빙 양자화’ 조합이 코딩 에이전트의 새로운 기준선이 될 수 있음을 보여준다.

    목차

    JetBrains가 2026년 10월, 코딩 에이전트 전용 신규 멜룸 모델 Mellum2.1을 Apache 2.0으로 공개했다. 출시 자체보다 흥미로운 점은 모델 아키텍처를 거의 손대지 않고 사후훈련(RL)만으로 에이전틱 코딩 점수를 비약적으로 끌어올렸다는 사실이다. 12B 총 파라미터 중 단 2.5B만 활성화하는 MoE 구조와 131K 컨텍스트, 그리고 7~8GB 수준의 GGUF 빌드까지 한꺼번에 제공하면서, “에이전트 워커용 로컬 모델”의 새로운 기준선이 될 여지를 보여준다. 본문에서는 Mellum2.1이 등장한 배경과 벤치마크 결과를 정리한 뒤, vLLM·GGUF·MTP 같은 실제 서빙 운영 포인트와 Qwen3.5-9B 대비 강·약점을 함께 다룬다.

    1. Mellum2.1 개요 — JetBrains가 노리는 세 가지 타깃

    JetBrains는 이 모델의 용도를 (1) JetBrains IDE 계열과 자사 클라우드에서 구동되는 에이전트 워커, (2) 사내 범용 추론 어시스턴트, (3) 데이터 주권을 요구하는 프라이빗 셀프호스팅 시나리오로 정의했다. 이 중에서도 셀프호스팅 측면이 가장 눈에 띄는데, BF16 24.3GB 모델을 Q4_K_M 8.1GB·MXFP4_MOE 7.0GB까지 줄여 노트북 GPU 한 장으로 서브에이전트를 굴릴 수 있는 빌드를 동시에 등록했기 때문이다. Mellum2.1이 가중치뿐 아니라 서빙 산출물까지 함께 공개한 것은, 12B급에서 흔히 보이던 “라이선스는 열렸지만 양자화는 비공식”이라는 운영 부담을 크게 덜어준다.

    2. 아키텍처 핵심 — 12B/2.5B MoE와 131K 컨텍스트

    Mellum2.1은 Mellum2와 동일한 백본을 그대로 사용한다. 28 레이어 Transformer에 64 expert 중 토큰당 8개를 활성화해 2.5B 활성 파라미터로 추론하는 구조다. GQA는 32 헤드/4 KV 헤드로 구성되며, 3/4 레이어마다 1,024 토큰 슬라이딩 윈도우를 두어 메모리 점유를 통제한다. 어휘 수는 98,304로, 코드 식별자·심볼을 폭넓게 커버하도록 설계됐다. 131,072 토큰 기본 컨텍스트는 에이전틱 실행 시 114K 토큰으로 운용되며, 이는 long-horizon 리포지토리 탐색을 염두에 둔 수치다.

    2.1 학습 패러다임 — 실저장소 기반 RL로 점수를 끌어올린 방식

    아키텍처가 동일한 Mellum2와 Mellum2.1의 차이는 대부분 사후훈련(RL)에서 발생한다. JetBrains는 수학·경쟁 프로그래밍·과학·툴 사용·소프트웨어 엔지니어링의 다섯 도메인 RL 태스크를 통합하고, 깨진 테스트·검증 불가 답안·너무 쉽거나 불가능한 과제를 사전 필터링한 뒤 실제 리포지토리에서 셸·파일 편집 도구로 테스트 통과 여부를 보상으로 사용했다. 평가 하니스는 오픈소스 Pi v0.73.1을 그대로 사용해, 4개 모델을 동일 파이프라인에서 측정한 점수를 비교군으로 사용했다.

    3. 벤치마크 결과 — 동일 파이프라인 그룹 1위, 그러나 영역별 편차

    JetBrains 측 평가 하니스 기준으로 측정한 결과는 다음과 같다. 멜룸 모델 Mellum2.1은 SWE-bench Verified에서 47.0, SWE-bench Pro에서 28.0, Terminal-Bench 2.1에서 17.4를 기록해 Mellum2 대비 큰 폭의 점수 상승을 보였다. 코드 생성 단일 과제에서는 LiveCodeBench v6 82.0, HumanEval+ 91.5, MBPP+ 79.4, BFCL v4 62.3으로 동일 평가 파이프라인 그룹 1위를 차지했다. 안전성 지표인 HarmBench는 21.5→8.5로 절반 이상 떨어졌다.

    지표 Mellum2 Mellum2.1 Qwen3.5-9B Gemma 4 E4B
    SWE-bench Verified 2.0 47.0 52.4 38.2
    SWE-bench Pro 0.0 28.0 38.0 21.7
    Terminal-Bench 2.1 0.6 17.4 22.5 14.1
    LiveCodeBench v6 62.4 82.0 65.6 / 75.4* 70.8
    HumanEval+ 86.0 91.5 90.2 88.7
    MBPP+ 72.1 79.4 78.0 75.6
    BFCL v4 47.8 62.3 61.5 55.2
    AIME 25/26 — 71.2 86.7 68.4
    GPQA Diamond — 70.5 77.8 69.1
    HarmBench 21.5 8.5 9.8 14.6

    * 동일 모델을 서로 다른 평가 파이프라인으로 측정한 결과가 존재해 두 수치를 함께 기재했다. 이 편차 자체가 함정이다.

    4. 비교 함정 — “벤치 숫자”는 파이프라인에 따라 흔들린다

    Mellum2.1이 동일 하니스 그룹에서 1위라 해도, 영역별로 우위가 뒤집히는 지점이 분명히 존재한다. Qwen3.5-9B는 SWE-bench Pro 38.0, AIME 25/26 86.7, GPQA Diamond 77.8로 에이전틱·추론 영역에서 여전히 우위를 유지한다. 또 동일 모델이라도 평가 파이프라인이 다르면 점수가 크게 달라진다. 위 표의 LiveCodeBench v6 65.6 / 75.4는 같은 Qwen3.5-9B를 서로 다른 하니스로 측정한 수치다. 벤치마크 단일 숫자만으로 모델을 선택하기보다, 자사 워크로드에 가까운 하니스를 별도로 구성해 재측정하는 편이 안전하다. 도입 전 단계에서는 JetBrains Mellum2.1 발표문에 공개된 평가 스크립트를 그대로 재현 가능한지부터 확인하는 것이 우선이다.

    5. vLLM으로 서빙하기 — 권장 플래그와 추론 파라미터

    멜룸 모델 Mellum2.1을 vLLM에서 띄울 때는 다음 플래그 조합이 권장된다. 추론 파서는 qwen3 호환, 툴콜은 hermes 포맷으로 활성화한다. 온도/샘플링은 0.6 / 0.95 / 20이 기본값이며, 이를 토대삼아 자사 데이터로 미세 조정한다.

    vllm serve jetbrains/Mellum2.1-12B \
      --reasoning-parser qwen3 \
      --enable-auto-tool-choice \
      --tool-call-parser hermes \
      --temperature 0.6 \
      --top-p 0.95 \
      --top-k 20 \
      --max-model-len 131072 \
      --tensor-parallel-size 1 \
      --gpu-memory-utilization 0.92
    

    H200 1장 기준 Qwen3.5-9B 대비 약 2배 처리량이 보고됐고, MTP(Multi-Token Prediction) 헤드를 단일 요청 경로에서 활성화하면 1.6배 가속이 가능하다고 한다. 다만 speculative decoding 전용 MTP 헤드는 아직 미공개(coming soon) 상태라, 서버리스 다중 요청 환경에서는 vLLM의 기본 continuous batching만으로 운영하게 된다.

    6. GGUF로 로컬 서브에이전트 굴리기

    실무에서 더 흥미로운 부분은 GGUF 빌드다. llama.cpp·Ollama·LM Studio가 그대로 사용할 수 있는 4단계 양자화가 이미 등록돼 있다. top-token 일치율을 품질 지표로 보면 BF16 24.3GB를 기준으로 Q8_0 12.9GB(96.1%) → Q6_K 10.9GB(93.9%) → Q4_K_M 8.1GB(88.0%) → MXFP4_MOE 7.0GB(85.6%) 순이다. 권장은 Q4_K_M이며, MXFP4_MOE는 용량 대비 85%대 일치율이라 보조용 서브에이전트로 한정하는 편이 안전하다.

    # Ollama로 멜룸 모델 서브에이전트 띄우기
    ollama pull mellum2.1:Q4_K_M
    ollama run mellum2.1:Q4_K_M \
      --ctx-size 114000 \
      --temperature 0.6 \
      --top-p 0.95
    
    # llama.cpp 직접 실행 (서버 모드)
    ./llama-server -m mellum2.1.Q4_K_M.gguf \
      -c 114000 \
      --jinja \
      --chat-template-file chat-template.jinja
    

    서브에이전트는 메인 에이전트가 위임한 좁은 범위(예: 특정 파일 패치 생성, 단위 테스트 작성)에서만 동작하도록 시스템 프롬프트를 제한해 두면, 8GB 모델로도 응답 지연을 1초대 안팎으로 유지할 수 있다. IDE 플러그인·JetBrains 자체 하니스뿐 아니라, 엔비디아의 다중 턴 에이전트 회복 기법인 PivotOPD 같은 외부 컨트롤러와도 결합해 워크플로를 구성할 수 있다.

    지금 바로 해볼 것

    • vLLM 컨테이너에 Mellum2.1을 올리고 --reasoning-parser qwen3 --tool-call-parser hermes 조합으로 에이전트 엔드포인트를 1개 띄운 뒤, 사내 SWE-bench 스타일 작업 20건으로 dry run을 돌린다.
    • GGUF Q4_K_M 빌드를 Ollama로 받아 단일 RTX 4090 또는 24GB VRAM 노트북에서 ctx-size 114000으로 IDE 보조 서브에이전트를 띄우고, 메인 에이전트와 작업 분담 프롬프트를 분리해 응답 지연을 측정한다.
    • Mellum2.1과 Qwen3.5-9B에 대해 사내 코드 리포지토리 기반 미니 하니스(파일 편집 + 셸 + 테스트 통과 여부 보상)를 구성하고, 동일 작업 50건으로 SWE-bench Pro 재현 점수를 직접 비교한다.
    • 평가 파이프라인 편차에 대비해 추론 결과 로그(프롬프트·샘플링·도구 호출·성공 여부)를 모두 JSONL로 저장하고, 사내 대시보드에 모델·버전·하니스를 메타데이터로 박아둔다.
    • HarmBench 8.5라는 수치만 보고 안전성 검증이 끝났다고 판단하지 말고, 사내 정책 위반 패턴(주석 삭제·시크릿 노출·라이선스 무시) 30건을 별도 회귀셋으로 마련해 CI에 묶는다.

    자주 묻는 질문

    Mellum2.1을 서브에이전트로만 쓸 때, 메인 모델은 무엇을 선택하는 게 합리적인가?

    Mellum2.1이 12B/2.5B MoE로 셀프호스팅이 가능한 점은 강점이지만, 복잡한 계획 수립과 멀티홉 추론은 여전히 Qwen3.5-9B나 상위 클로즈드 모델이 앞서기 쉽다. 메인 모델은 API 기반 추론형 모델로 두고, 좁은 코드 편집·테스트 작성·단순 리팩터링만 Mellum2.1에 위임하는 2계층 구조가 현실적이다.

    Q4_K_M(8.1GB)과 MXFP4_MOE(7.0GB) 중 어떤 빌드를 기본으로 둬야 하나?

    top-token 일치율 기준 Q4_K_M이 88.0%로 2.4%p 앞서고, llama.cpp·Ollama·LM Studio 호환성도 더 넓다. MXFP4_MOE는 VRAM을 1GB 더 절약해야 하는 엣지 환경에서 보조적으로 쓰고, 핵심 경로에는 Q4_K_M을 두는 편이 운영 리스크를 낮춘다.

    JetBrains 평가 하니스를 그대로 사내에 이식해도 되는가?

    Pi v0.73.1은 오픈소스로 공개돼 있어 이식 자체는 가능하다. 다만 Pi가 가정하는 셸·파일 편집·테스트 실행 환경이 사내 CI와 일치하지 않을 수 있으므로, 컨테이너 이미지·네트워크 접근·도구 화이트리스트를 사내 정책에 맞춰 재구성한 뒤 dry run으로 회귀 동작을 확인해야 한다.

    참고 원문

    이 기사는 다음 원문을 확인해 작성했습니다: MarkTechPost — JetBrains Releases Mellum2.1: A 12B MoE Open Model for Coding Agents