[태그:] AMD Instinct MI325X

  • vLLM 디시전 3.0 공개 — 0.8B에서 27B까지, 텍스트 생성 없는 멀티모달 결정 모델 5종 비교

    vLLM 디시전 3.0 공개 — 0.8B에서 27B까지, 텍스트 생성 없는 멀티모달 결정 모델 5종 비교

    vLLM 프로젝트 산하 시맨틱 라우터 팀이 텍스트 생성 단계 자체를 생략하고 0.8B~27B 파라미터 규모의 디시전 모델 패밀리 ‘Decision 3.0‘을 Apache-2.0 라이선스로 공개했다. 2026년 10월 11일자 발표에 따르면 다섯 개 모델은 Qwen3.5·Qwen3.8 계열을 파인튜닝해 텍스트·JSON·이미지 입력을 한 번의 정방향 패스로 처리하며, 응답은 정규화된 확률 분포 형태로 반환된다. ‘System One’ 라우팅 패턴으로 명명된 이 접근은 에이전트 시스템의 의도 분류·가드레일·분기 결정 비용을 구조적으로 낮추려는 시도로 읽힌다.

    라인업 구성과 오픈소스 정책

    Decision 3.0 패밀리는 d3-lite(0.85B)·d3-nano·d3-mini·d3-flash(9B)·d3(26.09B) 다섯 개 크기로 구성된다. 발표 자료는 모든 모델을 Apache-2.0으로 배포하며 BF16 가중치 단일 정밀도만 제공한다고 명시했다. 별도 양자화 변형은 공식 채널에 올라와 있지 않아, VRAM 여유에 따라 0.85B부터 27B까지 직접 선택해야 하는 형태다.

    베이스 모델은 Qwen3.5 0.8B·2B·4B·9B와 Qwen3.8-27B [벤더 자체 명명 / 미검증 (Vendor Claim / Unverified)] 계열로, 0.10B~0.46B 규모의 비전 인코더를 결합해 텍스트와 이미지를 동시 처리한다. 입력 이미지는 PNG·JPEG·WebP를 지원하며 최대 1.6 메가픽셀까지 수용한다. 발표 측은 모든 모델이 단일 AMD Instinct MI325X GPU에서 학습됐다고 덧붙였다.

    동작 방식 — 확률 기반 ‘System One’ 라우팅

    Decision 3.0의 핵심 차별점은 텍스트 생성 후 파싱하는 기존 라우팅 패턴을 제거한 데 있다. 사용자는 시스템 프롬프트에 상태 설명을, 사용자 메시지에 질문 스키마를 직접 전달한다. 한 번의 호출에서 모든 질문에 대한 정방향 패스가 독립 수행되며, 응답은 Choice·Yes/No·Score 세 가지 타입의 정규화된 확률로만 돌려준다. 텍스트 디코딩 단계가 없으므로 동일 하드웨어에서 결정 레이턴시가 크게 떨어진다.

    발표 측은 이 구조를 카니먼의 시스템 1·시스템 2 비유에 빗대 ‘System One’ 라우팅이라 부른다. 다중 모달리티 입력에 대한 분기 결정을 한 자릿수~두 자릿수 ms 단위로 끝내려는 의도다. 동일 Jev API 생태계에 속하는 Cloudflare의 Clef-omni가 동일한 질문 타입(choice·yes-no·score)과 응답 스키마를 채택해 멀티벤더 통합 기반이 함께 형성되고 있다 [교차 검증].

    아키텍처 세부와 통합 조건

    5개 모델의 파라미터 분포와 비전 인코더 구성을 요약하면 다음과 같다. d3-lite는 0.85B 텍스트 디코더에 0.10B 비전 인코더를 결합한 경량 구성이고, d3-flash와 d3는 9B·27B 디코더에 0.45B·0.46B 비전 인코더를 탑재해 이미지 처리 품질을 끌어올렸다.

    모델 디코더 베이스 디코더 규모 비전 인코더 총 파라미터
    d3-lite Qwen3.5-0.8B 0.85B 0.10B ~0.95B
    d3-nano Qwen3.5-2B 2B 0.18B ~2.2B
    d3-mini Qwen3.5-4B 4B 0.30B ~4.3B
    d3-flash Qwen3.5-9B 9B 0.45B ~9.45B
    d3 Qwen3.8-27B 26.09B 0.46B ~26.55B

    통합 시 사전 조건도 명시적으로 공개됐다. transformers는 5.17.0에 고정하고, flash-linear-attention 패키지를 옵션으로 활성화해 linear-attention 레이어 가속을 켜는 구성이 권장된다. 모델 로드 시 trust_remote_code=True가 요구되며, BF16 가중치만 제공되므로 VRAM 8GB 단일 GPU에 27B 모델과 KV 캐시를 동시에 풀 오프로드하는 구성은 물리적으로 불가능하다. 27B 가중치 자체가 50GB를 넘기 때문에, 단일 노드 80GB 클래스(H100·MI300X) 또는 NVLink 기반 다중 GPU 샤딩이 사실상 전제다.

    Jev Decision Index 0.3.1 결과와 레이턴시

    자체 평가지표인 Jev Decision Index 0.3.1 결과 [벤더 자체 평가 / 미검증 (Vendor Claim / Unverified)]에서 d3(27B)는 텍스트 64.1·비전 71.6으로 1위를 기록했다. 같은 클래스에서 직전 세대 Decision 2.0 27B(55.9)를 d3-flash 9B(59.0)가 추월한 점이 발표 측이 강조한 핵심 수치다. 다만 d3-lite의 비전 점수는 41.1로, 동일 베이스를 단독 파인튜닝한 JPT-0.8B(42.1)에 3위까지 밀렸다.

    공개 비전 태스크 점수로는 InfographicVQA 97.3·Mind2Web 89.9·Hateful Memes 44.6·MMMU-Pro 46.2가 보고됐다. 단일 AMD Instinct MI325X에서 1요청 직렬 처리 기준 레이턴시는 텍스트 단독 21.7~84ms, 이미지 포함 시 60.7~342ms 범위다. 발표 측은 모든 모델이 MI325X에서 학습됐다고 못 박았으며, 멀티 GPU 샤딩이나 배치 스루풋 수치는 공개하지 않았다. NVIDIA H100·H200 등 다른 가속기에서의 재현 수치는 별도 검증이 필요한 부분으로 남아 있다.

    실무 적용 시사점

    디시전 모델 계열이 현실적으로 바꾸는 지점은 에이전트 아키텍처의 1단이다. 라우터·가드레일·의도 분류를 별도 LLM 호출과 텍스트 파싱 파이프라인으로 구현하던 구성이, 0.85B~9B 결정 전용 모델 한 번의 호출로 대체된다. 확률값이 그대로 임계값 비교에 투입되므로 코드 의존성이 줄어들고, 결정 단계에서 텍스트가 생성되지 않기 때문에 환각에 의한 라우팅 오류를 원천적으로 차단할 수 있다는 게 설계상 이점이다.

    다만 채택 전에 검토해야 할 제약도 분명하다. BF16 단일 정밀도 배포는 8GB VRAM 단일 GPU 운용을 사실상 불가능하게 만들며, 27B급은 80GB 이상 VRAM을 갖는 단일 노드가 필요해 온프레미스 비용이 가중된다. transformers 5.17.0 고정과 trust_remote_code=True 요구는 기존 파이프라인과의 호환성 검토를 전제로 한다. Jev Decision Index 자체 평가 점수와 동일 벤더가 명명한 Qwen3.8-27B 베이스 모델명은 외부 재현을 거치지 않은 벤더 주장이므로, 도입 단계에서는 공개 suite 점수와 자체 워크로드 A/B 테스트를 병행하는 것이 안전하다.

    vLLM 시맨틱 라우터 팀이 Qwen 계열을 체계적으로 파인튜닝해 0.8B에서 27B까지 동일한 API로 묶어낸 점, 그리고 Clef-omni와 같은 외부 모델이 같은 Jev 스키마를 채택하며 멀티벤더 생태계가 형성되기 시작한 점은, 결정 전용 모델이 ‘실험적 옵션’이 아니라 에이전트 스택의 기본 레이어로 자리 잡을 가능성을 높인다. 향후 Hugging Face Transformers 측 종속성 완화, 양자화 변형 공개, MI325X 외 가속기 재현 수치가 나오면 도입 문턱이 한 단계 더 낮아질 것으로 전망된다.

    참고 원문

    이 기사는 다음 원문을 확인해 작성했습니다: MarkTechPost — What is Decision 3.0? vLLM Semantic Router’s New Open Decision Models