[태그:] 강화학습

  • Hydrogen-1.0 공개: 과학 오픈 모델의 성능과 실험 자동화 가능성

    Hydrogen-1.0 공개: 과학 오픈 모델의 성능과 실험 자동화 가능성

    Deep Principle가 화학·소재과학·생명과학을 위한 과학 오픈 모델 Hydrogen-1.0을 공개했다. GLM-5.3을 기반 모델로 삼아 일반적인 논문 질의뿐 아니라 실험 설계와 결과 분석까지 겨냥했으며, 가중치는 MIT License로 배포됐다. Deep Principle는 자체 평가에서 FrontierScience-Research 성적을 GPT-6-Astra보다 높게 기록했다고 보고했지만, 전체 데이터와 학습 레시피가 공개되지 않아 제시된 수치를 독립적으로 재현할 수 없는 상태다.

    논문 문답을 넘어선 과학 탐색 모델

    Hydrogen-1.0은 Z.ai의 GLM-5.3을 후학습한 753B 파라미터 MoE 모델이며, 활성 파라미터는 약 40B다. 컨텍스트는 1M 토큰, 최대 출력은 128K 토큰으로 소개됐다. 활용 범위는 질문 설정, 실험 계획, 결과 분석과 개방형 탐색으로 제시됐다.

    모델은 과학자 과업 피드백, Mira로 수집한 전자 실험 노트, 성공과 실패를 포함한 발견 궤적을 학습 데이터에 활용했다. 학습에는 supervised fine-tuning과 reinforcement learning이 결합됐고, 분산 환경은 NVIDIA CUDA와 AMD ROCm을 지원하는 Megatron 및 SGLang 기반이다. Muon optimizer state는 백엔드에 따라 CPU·GPU·디스크 사이에서 이동하며, RL rollout은 재개 가능하도록 구성됐다. Layout adapter는 학습 체크포인트를 BF16과 128×128 blockwise FP8 추론 가중치로 변환한다.

    자체 평가 성적과 과제별 격차

    Deep Principle가 공개한 내부 연구 과제 평가에서 Hydrogen-1.0은 과학 연산에서 GPT-6-Astra보다 5.13%포인트, 정반응 예측에서 4.76%포인트 앞섰다. 반면 NMR 구조 elucidate에서는 GPT-6-Astra가 3.33%포인트 높은 성적을 냈다. 즉, 성능 우위를 모든 과학 영역으로 확대해 해석하기보다는 과제별 결과를 분리해 확인해야 한다.

    평가 과제 Hydrogen-1.0 비교 결과
    FrontierScience-Research 38.3% GPT-6-Astra 33.3%보다 높음
    GPQA-Diamond 93.0% Kimi-K3와 대체로 비슷한 수준
    과학 연산 차이 기준 GPT-6-Astra보다 5.13%포인트 높음
    정반응 예측 차이 기준 GPT-6-Astra보다 4.76%포인트 높음
    NMR 구조 elucidate 차이 기준 GPT-6-Astra보다 3.33%포인트 낮음

    전이 금속 착체 설계에서는 모델들이 5라운드에 걸쳐 더 큰 HOMO-LUMO 간격을 추적했다. 5라운드에서 Hydrogen-1.0의 평균 최적 간격은 4.318 eV, GPT-6-Astra는 3.689 eV, Kimi-K3는 3.353 eV였다. 실험 계획 문항 117개에서는 Hydrogen-1.0이 Kimi-K3보다 높은 점수를 받았지만, GPT-6-Astra와 Opus-5.5는 요청 절반 이상을 거부해 비교에서 제외됐다. 해당 성적은 Deep Principle의 자체 보고이므로 동일 조건의 독립 검증이 함께 필요하다.

    실험실 자동화 데모가 드러낸 가능성과 위험

    공개된 기술 자료에는 모델이 실제 연구 흐름에 결합되는 과정이 담겨 있다. Hydrogen-1.0은 Python 코드와 GROMACS를 이용해 폴리에틸렌 용융체를 구성하고, topology 오류를 찾아 수정했으며, 보정된 40 ns 궤적을 분석했다. Ireland-Claisen 반응에서는 30개의 반응 후보를 통해 27개 구조의 반응 네트워크를 생성했고, 2-bromonaphthalene의 1H NMR trace에서는 단일 formylation 생성 후보 7개를 정렬했다. Suzuki 결합 연구에는 12개 바이알을 다루는 JSON 프로토콜을 작성했으며, 실행 전 aspirate 작업에서 새 팁이 없는 사례를 가상 실험실 검증 단계가 잡아냈다.

    이런 데모는 과학 오픈 모델의 강점이 답변 정확도를 넘어 실행 가능한 작업 절차와 중간 검증에 있다는 점을 보여준다. 다만 프로토콜 작성, 시약 안전, 분석 결과의 물리적 타당성은 서로 다른 검증 문제이며, 모델이 절차를 생성했다는 사실만으로 실제 실험의 신뢰성이 보장되지는 않는다. 실패한 시도를 포함한 탐색 기록을 학습에 넣었다는 점도, 편향된 성공 사례만 학습하는 방식과 구별해 평가할 필요가 있다.

    오픈 배포와 실제 도입 사이의 검증 구간

    가중치는 Hugging Face와 ModelScope에 공개됐고, Deep Principle는 SGLang에서 8개 GPU와 tensor parallelism 8을 적용한 BF16 서빙을 시험했다. NVIDIA B200·B300에는 NVFP4, AMD Instinct MI350X·MI355X에는 MXFP4 구성이 제시됐다. 서버는 OpenAI 호환 API를 제공하며 reasoning_effort 설정도 노출한다. NeuroSpark 기준 API 가격은 공개되지 않았다. Deep Principle의 Hydrogen-1.0 공개 자료를 통해 공개 범위와 배포 조건을 확인할 수 있다.

    실제 도입 전에는 자체 평가의 재현 여부, 조직의 실제 연구 데이터에서의 정확도, 코드 실행과 합성·분석 오류율, 장기 탐색 과정의 안정성을 별도로 확인해야 한다. 753B MoE 구조와 8 GPU 서빙 조건은 운영 자원에도 부담을 줄 수 있으며, NeuroSpark 가격처럼 아직 제시되지 않은 비용 정보는 도입 계획에 빈칸으로 남는다. 오픈 웨이트와 MIT License는 모델의 내부 동작과 가중치를 직접 검토할 수 있는 기반을 제공하지만, 비공개 학습 데이터가 만드는 검증 공백까지 해소하지는 않는다.

    참고 원문

    이 기사는 다음 원문을 확인해 작성했습니다: MarkTechPost — Deep Principle Releases Hydrogen-1.0: A 753B Open-Weight Model for Scientific Discovery

  • 멜룸 모델 Mellum2.1 출시 — 12B MoE 코딩 에이전트를 2.5B 활성 파라미터로 로컬 서빙하는 법

    멜룸 모델 Mellum2.1 출시 — 12B MoE 코딩 에이전트를 2.5B 활성 파라미터로 로컬 서빙하는 법

    핵심 요약

    • JetBrains가 12B 총 파라미터 중 2.5B만 활성화하는 MoE 추론형 코딩 모델 Mellum2.1을 Apache 2.0으로 공개했다.
    • 아키텍처는 Mellum2와 동일(28 레이어, 64 expert, 8 active, GQA 32/4, 131K 컨텍스트)하며, 개선 폭의 대부분은 실저장소 기반 강화학습(RL) 사후훈련에서 나왔다.
    • SWE-bench Verified 2.0→47.0, SWE-bench Pro 0.0→28.0, Terminal-Bench 2.1 0.6→17.4로 에이전틱 코딩 점수가 비약적으로 상승했다.

    Mellum2.1은 모델 아키텍처를 거의 손대지 않고 실저장소 기반 강화학습으로 에이전틱 코딩 점수만 끌어올렸다는 점에서, ‘작은 활성 파라미터 + 도메인 특화 RL + 로컬 서빙 양자화’ 조합이 코딩 에이전트의 새로운 기준선이 될 수 있음을 보여준다.

    목차

    JetBrains가 2026년 10월, 코딩 에이전트 전용 신규 멜룸 모델 Mellum2.1을 Apache 2.0으로 공개했다. 출시 자체보다 흥미로운 점은 모델 아키텍처를 거의 손대지 않고 사후훈련(RL)만으로 에이전틱 코딩 점수를 비약적으로 끌어올렸다는 사실이다. 12B 총 파라미터 중 단 2.5B만 활성화하는 MoE 구조와 131K 컨텍스트, 그리고 7~8GB 수준의 GGUF 빌드까지 한꺼번에 제공하면서, “에이전트 워커용 로컬 모델”의 새로운 기준선이 될 여지를 보여준다. 본문에서는 Mellum2.1이 등장한 배경과 벤치마크 결과를 정리한 뒤, vLLM·GGUF·MTP 같은 실제 서빙 운영 포인트와 Qwen3.5-9B 대비 강·약점을 함께 다룬다.

    1. Mellum2.1 개요 — JetBrains가 노리는 세 가지 타깃

    JetBrains는 이 모델의 용도를 (1) JetBrains IDE 계열과 자사 클라우드에서 구동되는 에이전트 워커, (2) 사내 범용 추론 어시스턴트, (3) 데이터 주권을 요구하는 프라이빗 셀프호스팅 시나리오로 정의했다. 이 중에서도 셀프호스팅 측면이 가장 눈에 띄는데, BF16 24.3GB 모델을 Q4_K_M 8.1GB·MXFP4_MOE 7.0GB까지 줄여 노트북 GPU 한 장으로 서브에이전트를 굴릴 수 있는 빌드를 동시에 등록했기 때문이다. Mellum2.1이 가중치뿐 아니라 서빙 산출물까지 함께 공개한 것은, 12B급에서 흔히 보이던 “라이선스는 열렸지만 양자화는 비공식”이라는 운영 부담을 크게 덜어준다.

    2. 아키텍처 핵심 — 12B/2.5B MoE와 131K 컨텍스트

    Mellum2.1은 Mellum2와 동일한 백본을 그대로 사용한다. 28 레이어 Transformer에 64 expert 중 토큰당 8개를 활성화해 2.5B 활성 파라미터로 추론하는 구조다. GQA는 32 헤드/4 KV 헤드로 구성되며, 3/4 레이어마다 1,024 토큰 슬라이딩 윈도우를 두어 메모리 점유를 통제한다. 어휘 수는 98,304로, 코드 식별자·심볼을 폭넓게 커버하도록 설계됐다. 131,072 토큰 기본 컨텍스트는 에이전틱 실행 시 114K 토큰으로 운용되며, 이는 long-horizon 리포지토리 탐색을 염두에 둔 수치다.

    2.1 학습 패러다임 — 실저장소 기반 RL로 점수를 끌어올린 방식

    아키텍처가 동일한 Mellum2와 Mellum2.1의 차이는 대부분 사후훈련(RL)에서 발생한다. JetBrains는 수학·경쟁 프로그래밍·과학·툴 사용·소프트웨어 엔지니어링의 다섯 도메인 RL 태스크를 통합하고, 깨진 테스트·검증 불가 답안·너무 쉽거나 불가능한 과제를 사전 필터링한 뒤 실제 리포지토리에서 셸·파일 편집 도구로 테스트 통과 여부를 보상으로 사용했다. 평가 하니스는 오픈소스 Pi v0.73.1을 그대로 사용해, 4개 모델을 동일 파이프라인에서 측정한 점수를 비교군으로 사용했다.

    3. 벤치마크 결과 — 동일 파이프라인 그룹 1위, 그러나 영역별 편차

    JetBrains 측 평가 하니스 기준으로 측정한 결과는 다음과 같다. 멜룸 모델 Mellum2.1은 SWE-bench Verified에서 47.0, SWE-bench Pro에서 28.0, Terminal-Bench 2.1에서 17.4를 기록해 Mellum2 대비 큰 폭의 점수 상승을 보였다. 코드 생성 단일 과제에서는 LiveCodeBench v6 82.0, HumanEval+ 91.5, MBPP+ 79.4, BFCL v4 62.3으로 동일 평가 파이프라인 그룹 1위를 차지했다. 안전성 지표인 HarmBench는 21.5→8.5로 절반 이상 떨어졌다.

    지표 Mellum2 Mellum2.1 Qwen3.5-9B Gemma 4 E4B
    SWE-bench Verified 2.0 47.0 52.4 38.2
    SWE-bench Pro 0.0 28.0 38.0 21.7
    Terminal-Bench 2.1 0.6 17.4 22.5 14.1
    LiveCodeBench v6 62.4 82.0 65.6 / 75.4* 70.8
    HumanEval+ 86.0 91.5 90.2 88.7
    MBPP+ 72.1 79.4 78.0 75.6
    BFCL v4 47.8 62.3 61.5 55.2
    AIME 25/26 — 71.2 86.7 68.4
    GPQA Diamond — 70.5 77.8 69.1
    HarmBench 21.5 8.5 9.8 14.6

    * 동일 모델을 서로 다른 평가 파이프라인으로 측정한 결과가 존재해 두 수치를 함께 기재했다. 이 편차 자체가 함정이다.

    4. 비교 함정 — “벤치 숫자”는 파이프라인에 따라 흔들린다

    Mellum2.1이 동일 하니스 그룹에서 1위라 해도, 영역별로 우위가 뒤집히는 지점이 분명히 존재한다. Qwen3.5-9B는 SWE-bench Pro 38.0, AIME 25/26 86.7, GPQA Diamond 77.8로 에이전틱·추론 영역에서 여전히 우위를 유지한다. 또 동일 모델이라도 평가 파이프라인이 다르면 점수가 크게 달라진다. 위 표의 LiveCodeBench v6 65.6 / 75.4는 같은 Qwen3.5-9B를 서로 다른 하니스로 측정한 수치다. 벤치마크 단일 숫자만으로 모델을 선택하기보다, 자사 워크로드에 가까운 하니스를 별도로 구성해 재측정하는 편이 안전하다. 도입 전 단계에서는 JetBrains Mellum2.1 발표문에 공개된 평가 스크립트를 그대로 재현 가능한지부터 확인하는 것이 우선이다.

    5. vLLM으로 서빙하기 — 권장 플래그와 추론 파라미터

    멜룸 모델 Mellum2.1을 vLLM에서 띄울 때는 다음 플래그 조합이 권장된다. 추론 파서는 qwen3 호환, 툴콜은 hermes 포맷으로 활성화한다. 온도/샘플링은 0.6 / 0.95 / 20이 기본값이며, 이를 토대삼아 자사 데이터로 미세 조정한다.

    vllm serve jetbrains/Mellum2.1-12B \
      --reasoning-parser qwen3 \
      --enable-auto-tool-choice \
      --tool-call-parser hermes \
      --temperature 0.6 \
      --top-p 0.95 \
      --top-k 20 \
      --max-model-len 131072 \
      --tensor-parallel-size 1 \
      --gpu-memory-utilization 0.92
    

    H200 1장 기준 Qwen3.5-9B 대비 약 2배 처리량이 보고됐고, MTP(Multi-Token Prediction) 헤드를 단일 요청 경로에서 활성화하면 1.6배 가속이 가능하다고 한다. 다만 speculative decoding 전용 MTP 헤드는 아직 미공개(coming soon) 상태라, 서버리스 다중 요청 환경에서는 vLLM의 기본 continuous batching만으로 운영하게 된다.

    6. GGUF로 로컬 서브에이전트 굴리기

    실무에서 더 흥미로운 부분은 GGUF 빌드다. llama.cpp·Ollama·LM Studio가 그대로 사용할 수 있는 4단계 양자화가 이미 등록돼 있다. top-token 일치율을 품질 지표로 보면 BF16 24.3GB를 기준으로 Q8_0 12.9GB(96.1%) → Q6_K 10.9GB(93.9%) → Q4_K_M 8.1GB(88.0%) → MXFP4_MOE 7.0GB(85.6%) 순이다. 권장은 Q4_K_M이며, MXFP4_MOE는 용량 대비 85%대 일치율이라 보조용 서브에이전트로 한정하는 편이 안전하다.

    # Ollama로 멜룸 모델 서브에이전트 띄우기
    ollama pull mellum2.1:Q4_K_M
    ollama run mellum2.1:Q4_K_M \
      --ctx-size 114000 \
      --temperature 0.6 \
      --top-p 0.95
    
    # llama.cpp 직접 실행 (서버 모드)
    ./llama-server -m mellum2.1.Q4_K_M.gguf \
      -c 114000 \
      --jinja \
      --chat-template-file chat-template.jinja
    

    서브에이전트는 메인 에이전트가 위임한 좁은 범위(예: 특정 파일 패치 생성, 단위 테스트 작성)에서만 동작하도록 시스템 프롬프트를 제한해 두면, 8GB 모델로도 응답 지연을 1초대 안팎으로 유지할 수 있다. IDE 플러그인·JetBrains 자체 하니스뿐 아니라, 엔비디아의 다중 턴 에이전트 회복 기법인 PivotOPD 같은 외부 컨트롤러와도 결합해 워크플로를 구성할 수 있다.

    지금 바로 해볼 것

    • vLLM 컨테이너에 Mellum2.1을 올리고 --reasoning-parser qwen3 --tool-call-parser hermes 조합으로 에이전트 엔드포인트를 1개 띄운 뒤, 사내 SWE-bench 스타일 작업 20건으로 dry run을 돌린다.
    • GGUF Q4_K_M 빌드를 Ollama로 받아 단일 RTX 4090 또는 24GB VRAM 노트북에서 ctx-size 114000으로 IDE 보조 서브에이전트를 띄우고, 메인 에이전트와 작업 분담 프롬프트를 분리해 응답 지연을 측정한다.
    • Mellum2.1과 Qwen3.5-9B에 대해 사내 코드 리포지토리 기반 미니 하니스(파일 편집 + 셸 + 테스트 통과 여부 보상)를 구성하고, 동일 작업 50건으로 SWE-bench Pro 재현 점수를 직접 비교한다.
    • 평가 파이프라인 편차에 대비해 추론 결과 로그(프롬프트·샘플링·도구 호출·성공 여부)를 모두 JSONL로 저장하고, 사내 대시보드에 모델·버전·하니스를 메타데이터로 박아둔다.
    • HarmBench 8.5라는 수치만 보고 안전성 검증이 끝났다고 판단하지 말고, 사내 정책 위반 패턴(주석 삭제·시크릿 노출·라이선스 무시) 30건을 별도 회귀셋으로 마련해 CI에 묶는다.

    자주 묻는 질문

    Mellum2.1을 서브에이전트로만 쓸 때, 메인 모델은 무엇을 선택하는 게 합리적인가?

    Mellum2.1이 12B/2.5B MoE로 셀프호스팅이 가능한 점은 강점이지만, 복잡한 계획 수립과 멀티홉 추론은 여전히 Qwen3.5-9B나 상위 클로즈드 모델이 앞서기 쉽다. 메인 모델은 API 기반 추론형 모델로 두고, 좁은 코드 편집·테스트 작성·단순 리팩터링만 Mellum2.1에 위임하는 2계층 구조가 현실적이다.

    Q4_K_M(8.1GB)과 MXFP4_MOE(7.0GB) 중 어떤 빌드를 기본으로 둬야 하나?

    top-token 일치율 기준 Q4_K_M이 88.0%로 2.4%p 앞서고, llama.cpp·Ollama·LM Studio 호환성도 더 넓다. MXFP4_MOE는 VRAM을 1GB 더 절약해야 하는 엣지 환경에서 보조적으로 쓰고, 핵심 경로에는 Q4_K_M을 두는 편이 운영 리스크를 낮춘다.

    JetBrains 평가 하니스를 그대로 사내에 이식해도 되는가?

    Pi v0.73.1은 오픈소스로 공개돼 있어 이식 자체는 가능하다. 다만 Pi가 가정하는 셸·파일 편집·테스트 실행 환경이 사내 CI와 일치하지 않을 수 있으므로, 컨테이너 이미지·네트워크 접근·도구 화이트리스트를 사내 정책에 맞춰 재구성한 뒤 dry run으로 회귀 동작을 확인해야 한다.

    참고 원문

    이 기사는 다음 원문을 확인해 작성했습니다: MarkTechPost — JetBrains Releases Mellum2.1: A 12B MoE Open Model for Coding Agents