텐센트 Hy3 분석 – 295B 중 21B만 쓰는 하이브리드 MoE의 모든 것

텐센트가 공개한 Hy3는 출시 직후 오픈 LLM 커뮤니티에서 빠르게 화제가 됐다. 핵심은 거대한 295B 파라미터라는 수치보다 토큰당 21B만 활성화하는 하이브리드 MoE 구조에 있다. 본문에서는 사양 해부와 함께 Qwen·DeepSeek·Llama 4와의 비교, 그리고 한국 개발자가 실제 프로젝트에 어떻게 붙일 수 있는지 단계별로 정리한다. 수치는 공개 출처 기준이며 비교 모델의 미확인 항목은 추정으로 명시한다.

Hy3 한 줄 요약: 295B 중 21B만 활성화하는 하이브리드 MoE

21B 활성화 구조가 의미하는 것

MoE 모델은 토큰 처리 시 전체 전문가(Expert) 네트워크 중 일부만 활성화한다. Hy3는 총 295B 파라미터 풀에서 입력 토큰당 약 21B만 라우팅해 활성화하는 구조로 보고되었다. 이는 단일 토큰 추론 비용이 21B dense 모델에 근접하는 경향을 보일 수 있다는 의미이며, 학습된 표현력 또한 295B급 모델의 이점을 일부 공유할 수 있다는 추정이 함께 언급됐다. 일반적인 MoE 대비 활성화 비율이 낮아 “하이브리드 MoE”라는 표현이 사용되며, 라우터 부담을 줄이고 메모리 대역폭을 효율적으로 쓰려는 설계로 해석된다.

왜 지금 텐센트가 오픈 모델을 다시 내놨는가

2026년 상반기를 기준으로 오픈 LLM 시장은 Qwen·DeepSeek·Llama 4 등 주요 모델을 중심으로 재편되어 왔다. 텐센트가 Apache 2.0로 Hy3를 공개한 시점은 이 구도에 새로운 축을 추가한 것으로 평가된다. 클로즈드 API 수익화보다 자체 생태계 확장과 1·2차 개발자 흡수에 우선순위를 둔 전략으로 보이며, OpenRouter 같은 게이트웨이를 통한 무료 체험 동시 제공은 “신속한 사용자 피드백 수집”을 노린 흔적으로 분석된다.

핵심 사양 해부

파라미터·라우터·전문가 구성

Hy3의 핵심 수치는 다음과 같이 정리된다.

• 총 파라미터: 295B (MoE)
• 토큰당 활성 파라미터: 21B
• 아키텍처: Mixture-of-Experts, 라우터 기반 토큰별 전문가 선택
• 주요 타깃 작업: 추론, 에이전틱, 장문 컨텍스트

활성화 비율이 낮은 만큼 단일 GPU에서 라우팅과 메모리 관리가 핵심 병목이 되며, FP8 또는 INT8 양자화 적용 시 VRAM 요구량을 추가로 줄일 수 있을 것으로 추정된다.

256K 컨텍스트와 토크나이저

256K 토큰 윈도우는 약 18만~20만 자(한글 혼합 기준) 분량의 단일 입력을 한 번에 처리할 수 있는 크기다. 일반적인 책 1~2권 또는 중형 코드베이스 전체를 한 프롬프트에 담기에 충분하며, 문서형 RAG 파이프라인을 단순 단일 호출로 대체할 여지를 만든다. 다만 컨텍스트가 길어질수록 내부 어텐션 연산 비용이 늘어나므로 캐싱·슬라이딩 윈도우 전략은 필수로 보이며, 정확한 토크나이저 사양은 공개 자료에서 별도 확인이 필요하다.

라이선스: Apache 2.0의 실무적 함의

Hy3는 Apache 2.0으로 배포되어 상업적 사용, 수정, 파인튜닝, 재배포가 자유롭다. 단, 모델 가중치 사용 시专利(특허) 관련 조항과 Trademark 사용 제한은 별도로 확인해야 한다. 한국 스타트업 기준으로 자체 서비스 임베딩, 온프레미스 배포, SaaS 통합 모두 별도 라이선스 비용 없이 가능한 것으로 분석된다.

성능 벤치마크 읽기

공개된 지표와 비교군

출처 기사에서 강조된 Hy3의 지표 중 핵심은 다음과 같다.

• SWE-Bench Verified: 78.0 – 코드 에이전트 작업 능력을 측정하는 벤치마크
• 환각률: 기존 공개 모델 대비 낮다고 보고됨
• 에이전틱·장문 요약 작업에서 동급 오픈 모델과 비교 우위

다만 단일 벤치마크 수치만으로 모델 품질을 단정하기는 어렵다. 다음 절에서 비교 시 유의점을 함께 정리한다.

벤치마크 수치를 그대로 믿지 말아야 하는 이유

공개 벤치마크는 학습 데이터 오염, 프롬프트 템플릿 최적화, 선택 샘플 편향 등의 영향을 받을 수 있다. 특히 SWE-Bench Verified 78.0은 보고된 수치이나 동일 조건 비교가 아닌 이상 절대적 우위로 해석해서는 안 되며, 동일 평가 프로토콜과 동일 프롬프트 형식을 적용한 재현 테스트가 필요해 보인다. “실무 성능”은 도메인별 평가셋을 별도로 구성해 측정하는 것이 안전하다.

오픈소스 LLM 경쟁 구도 속 Hy3

Qwen·DeepSeek·Llama 4 스펙 비교

아래 표는 공개된 수치 기준으로 정리한 개요이며, 일부 항목은 추정으로 표기했다.

• Hy3 (Tencent): 295B MoE / 21B active / 256K context / Apache 2.0 / SWE-Bench 78.0
• Qwen 계열: 다수 사이즈 공개, Apache 2.0 또는 Tongyi 라이선스 혼재, 컨텍스트 128K~1M 라인업 (정확한 비교는 공개 시점에 따라 변동)
• DeepSeek 계열: MoE 라인업 강화 추세, 활성화 파라미터 20B대 설계 공유, 라이선스 정책 유사 (세부 수치는 추정)
• Llama 4 계열: 오픈 가중치 정책 유지, 컨텍스트와 멀티모달 라인업 확장 (세부 수치는 추정)

비교 모델의 세부 수치는 공개 버전과 시점에 따라 변동될 수 있으므로, 도입 전 반드시 각 모델 공식 리포지토리에서 재확인해야 한다.

MoE 라인의 표준이 되어가는 21B 활성화 설계

DeepSeek의 V3/R1 라인, Qwen의 MoE 변종, 그리고 Hy3가 모두 20B대 활성화 파라미터 영역에 모이고 있다는 점이 흥미롭다. 이는 단일 8×H100 또는 8×H200 노드에서 실용적 서빙이 가능한 임계점으로 해석되며, “학습은 거대하게, 서빙은 실용적으로”라는 MoE 전략이 업계 표준으로 자리 잡아가고 있음을 시사한다. Hy3의 등장은 이 추세의 가속화 신호로 평가된다.

실무 활용 시나리오

장문 요약과 코드베이스 단일 프롬프트 분석

256K 컨텍스트를 활용해 다음과 같은 작업이 가능하다.

• 수백 페이지 분량의 사내 문서 PDF를 한 번에 입력해 요약·QA 수행
• 중형 모노레포 코드베이스 전체를 단일 프롬프트로 입력하고 리팩토링 포인트 추출
• 긴 회의록·계약서·규정 문서의 항목별 비교 분석

기존 RAG 파이프라인의 청킹·임베딩·재정렬 단계를 생략할 수 있어 응답 지연과 운영 복잡도를 동시에 낮출 수 있을 것으로 보인다.

에이전틱 워크플로와 도구 호출

Hy3는 도구 호출(tool calling)과 다단계 추론 작업을 주요 타깃으로 내세웠다. SWE-Bench Verified 78.0 수치는 단일 코드 수정 작업뿐 아니라 “검색 → 분석 → 수정 → 검증”의 에이전틱 루프에서의 성능을 보여주는 지표다. 한국 개발 환경에서는 사내 위키 조회 API, 사내 코드 검색 엔진, 이슈 트래커(Jira 등)와 결합한 사내 에이전트 구축에 유용할 것으로 추정된다.

접속 방법과 마이그레이션 가이드

OpenRouter 무료 체험 (7월 21일까지)

OpenRouter는 다양한 모델을 단일 API 키로 호출할 수 있는 게이트웨이다. Hy3 무료 체험 절차는 다음과 같다.

1. OpenRouter 접속 후 회원가입 및 API 키 발급
2. 모델 목록에서 Hy3 선택 후 무료 크레딧 범위 내에서 호출
3. 기존 OpenAI·Anthropic 호환 클라이언트의 base URL을 OpenRouter 엔드포인트로 교체

무료 체험은 2026년 7월 21일까지만 제공되므로, 해당 기간 내에 성능·지연·환각률·토큰 비용을 자체 평가셋으로 검증해 보는 것이 권장된다.

자체 호스팅 시 체크리스트

온프레미스 배포를 고려한다면 다음 항목을 점검해야 한다.

• 하드웨어: 295B MoE 운용을 위한 충분한 VRAM(예상 600GB 이상, FP8 기준) 확보
• 서빙 프레임워크: vLLM, TensorRT-LLM, SGLang 등 Hy3 지원 여부 확인
• 양자화: FP8/INT8 적용 시 품질 저하와 메모리 절감 간 트레이드오프 평가
• 모니터링: 토큰당 활성 파라미터 로깅, 라우터 편향 감시
• 라이선스: Apache 2.0 본문 및 첨부 NOTICE 의무 확인

#Hy3 #Tencent #MoE #Mixture-of-Experts #295B #21BActiveParameters #256KContext #Apache2.0 #OpenRouter #SWEBenchVerified #오픈소스LLM #에이전틱AI #장문컨텍스트 #LLM비교 #텐센트하이브리드MoE