UC San Diego의 DFlash는 자기회귀 드래프터 대신 경량 블록 디퓨전 모델로, 단일 포워드 패스에서 토큰 블록 전체를 병렬 생성해, Qwen3-8B에서 최대 6.08배, NVIDIA Blackwell에서 최대 15배의 무손실 추론 가속을 보고한 신형 추측 디코딩 프레임워크다.
- 아키텍처 전환: 순차 자기회귀 드래프터를 블록 디퓨전 모델로 대체해 드래프팅 단계의 직렬 병목 현상을 제거한다.
- KV injection 조건 부여: 타깃 LLM의 히든 피처를 KV 캐시 형태로 드래프터에 직접 주입해, 별도 인코더 없이 고품질 초안을 생성한다.
- 오픈소스 통합: 20개 공개 체크포인트와 SGLang, vLLM, TensorRT-LLM 3종 프레임워크 지원으로 즉시 배포가 가능하다.
DFlash는 추측 디코딩의 한계를 블록 디퓨전과 KV 주입의 결합으로 다시 정의한 점에서 LLM 추론 가속의 새 기준선으로 평가된다.
추측 디코딩은 LLM 추론의 메모리 바운드 특성을 완화하기 위한 핵심 기법으로 자리 잡았지만, 드래프팅 단계의 직렬 자기회귀 구조가 근본적인 병목으로 지적돼 왔다. UC San Diego 연구팀이 발표한 DFlash는 이 문제를 블록 디퓨전과 KV injection의 조합으로 해결하며, 무손실 가속 비율을 한 단계 끌어올렸다. 본문은 DFlash의 기술 구조와 벤치마크 수치, 오픈소스 통합 전략을 차례로 살펴본다.
추측 디코딩의 한계와 DFlash의 등장 배경
자기회귀 드래프터의 순차적 병목 지점
기존 추측 디코딩은 보통 작은 자기회귀 모델을 드래프터로 사용한다. 드래프터가 타깃 모델보다 가볍다는 장점이 있지만, 자기회귀적으로 토큰을 한 개씩 순차 생성하기 때문에 드래프팅 자체가 직렬 병목으로 작동한다. 타깃 모델의 검증 단계가 병렬화되어도 초안 생성 단계가 직렬이면, 전체 지연 시간은 드래프터 시퀀스 길이에 비례해 증가한다. 이 점이 자기회귀 드래프터 기반 가속의 천장이라고 할 수 있다.
블록 디퓨전으로의 패러다임 전환이 필요한 이유
DFlash는 드래프터 자체를 자기회귀 모델에서 경량 블록 디퓨전 모델로 교체한다. 블록 디퓨전은 한 번의 포워드 패스로 토큰 블록 전체를 병렬 샘플링하므로, 드래프팅 비용이 시퀀스 길이에 비례하는 대신 거의 상수 수준으로 줄어든다. DFlash 연구진은 이 점이 타깃 모델이 커지거나 상호작용성 요구가 강해질수록 더 큰 이점으로 작용한다고 설명한다. 즉, 드래프팅의 직렬성을 깨는 것이 차세대 추측 디코딩의 핵심 분기점이 된다.
DFlash 핵심 기술 구조
블록 디퓨전 드래프트 모델의 단일 포워드 패스 설계
DFlash의 드래프터는 입력 컨텍스트와 블록 크기만큼의 노이즈 토큰 시퀀스를 받아, 단일 포워드 패스에서 반복적으로 노이즈를 정제해 토큰 블록 전체를 동시에 복원한다. 마크테크포스트 보도와 UC San Diego 연구팀의 공개 자료에 따르면, 이 드래프터는 타깃 모델과 동일한 토크나이저를 공유하면서도 훨씬 적은 파라미터로 동작하도록 설계됐다. 결과적으로 드래프팅에 소요되는 forward pass 횟수가 시퀀스 길이로부터 분리되어, 드래프터 자체의 지연이 사실상 일정해진다.
KV injection을 통한 타깃 모델 피처 조건 부여 방식
DFlash의 또 다른 핵심은 타깃 모델의 히든 피처를 KV injection으로 드래프터에 조건 부여한다는 점이다. 별도 인코더나 재투영 네트워크를 두지 않고, 타깃 LLM이 컨텍스트를 처리하며 생성한 키-값 캐시를 드래프터의 어텐션 레이어에 직접 주입한다. 이를 통해 드래프터는 컨텍스트 의미를 충분히 반영한 초안을 만들 수 있고, 단순한 자기회귀 드래프터 대비 수용 비율이 크게 향상된다. KV 캐시를 재사용하는 구조라 검증 단계의 중복 연산도 줄어든다.
성능 벤치마크와 수치 검증
Qwen3-8B 기준 최대 6.08배 무손실 속도 향상
논문 기준으로 DFlash는 Qwen3-8B 모델에서 최대 6.08배의 무손실 가속을 보고했다. 무손실이라는 점은 출력 분포가 타깃 모델 단독 생성 결과와 수학적으로 동일하다는 의미로, 품질 저하 없이 처리량만 끌어올렸다는 점을 강조한다. 이 수치는 DFlash가 기존 자기회귀 드래프터 대비 1회 드래프팅으로 더 긴 블록을 처리하고, KV injection으로 수용 비율을 높인 결과로 해석된다.
NVIDIA Blackwell에서 15배 처리량 향상의 의미
동일한 조건에서 NVIDIA Blackwell 하드웨어에 맞춰 측정하면 최대 15배의 처리량 향상이 보고됐다. 마크테크포스트 기사는 이 수치가 고정된 상호작용성 조건, 즉 특정 지연 시간 목표를 유지하는 시나리오에서 측정된 값이라고 설명한다. Blackwell의 텐서 코어와 고대역 메모리가 블록 디퓨전의 병렬 연산과 시너지를 일으키면서, 대규모 배치에서 처리량이 폭발적으로 증가한 것으로 분석된다. 다만 이 수치는 특정 워크로드와 배치 크기에서의 결과이므로, 실제 운영 환경에서는 구성에 따라 편차가 발생할 가능성이 있다.
| 구분 | 드래프팅 방식 | 조건 부여 | 보고된 최대 가속 | 환경 |
|---|---|---|---|---|
| 기존 추측 디코딩 | 자기회귀 드래프터 | 단순 입력 임베딩 | 모델별 상이 (보통 2~4배 수준) | 범용 GPU |
| DFlash (논문) | 블록 디퓨전 드래프터 | KV injection | 최대 6.08배 무손실 | Qwen3-8B |
| DFlash (Blackwell) | 블록 디퓨전 드래프터 | KV injection | 최대 15배 처리량 | NVIDIA Blackwell |
오픈소스 생태계 통합 전략
20개 공개 체크포인트가 확보한 재현성과 활용성
DFlash 연구팀은 다양한 모델과 블록 크기 조합을 포괄하는 20개의 체크포인트를 함께 공개했다. 체크포인트 수가 충분하다는 것은 연구자가 별도 학습 없이도 자신의 타깃 모델과 가장 잘 맞는 구성을 선택할 수 있다는 뜻이다. 재현성 측면에서도 유리하며, 기업이 자사 모델에 DFlash를 적용할 때 fine-tuning 비용을 최소화할 수 있다. 오픈소스 공개는 학계-산업계 협업 가속 측면에서도 긍정적으로 평가된다.
SGLang, vLLM, TensorRT-LLM 다중 프레임워크 지원 범위
DFlash는 SGLang, vLLM, TensorRT-LLM 3대 추론 프레임워크를 동시에 지원한다. SGLang은 라우팅과 구조화 출력에 강점이 있고, vLLM은 PagedAttention 기반의 메모리 효율성으로 알려져 있으며, TensorRT-LLM은 NVIDIA 환경에서 최적의 성능을 낸다. 이 세 프레임워크를 모두 지원한다는 것은 인프라 선택지에 구애받지 않고 DFlash를 도입할 수 있음을 의미한다. 마크테크포스트 보도에 따르면 통합 코드는 공개 저장소를 통해 배포된다.
한계와 향후 과제
블록 크기와 생성 품질 사이의 트레이드오프
블록 디퓨전은 블록 크기를 키울수록 한 번에 더 많은 토큰을 병렬로 생성할 수 있지만, 블록 내부의 상호 의존성이 커지면서 정확도가 떨어질 수 있다. 반대로 블록이 너무 작으면 자기회귀 드래프터 대비 병렬 이점이 줄어든다. DFlash는 KV injection으로 컨텍스트 조건을 강하게 부여해 이 균형을 잡았지만, 최적의 블록 크기는 모델과 작업의 종류에 따라 달라질 가능성이 있다. 향후 자동 블록 크기 선택과 적응형 스케줄링이 중요한 과제로 남는다.
다양한 모델 패밀리와 하드웨어 일반화 가능성
현재 공개된 결과는 Qwen3-8B와 NVIDIA Blackwell 위주의 측정으로 보고됐다. LLaMA, Mistral, GPT 계열 등 다른 모델 패밀리, 그리고 AMD GPU나 추론 전용 NPU 환경에서도 동일한 가속 비율이 나오리라 단정하기는 이르다. DFlash가 자기회귀 구조를 깨는 일반적인 해법으로 자리 잡으려면, 다양한 아키텍처와 하드웨어에 걸친 검증이 추가로 필요하다. 오픈소스 공개 20개 체크포인트가 다양한 모델 조합을 포함하고 있는 만큼, 커뮤니티 차원의 후속 벤치마크가 기대된다.
정리 포인트
- DFlash는 자기회귀 드래프터를 블록 디퓨전으로 대체해 드래프팅의 직렬 병목을 제거한 신형 추측 디코딩 프레임워크다.
- KV injection을 통해 타깃 LLM의 히든 피처를 조건으로 사용해 별도 인코더 없이 고품질 초안을 생성한다.
- Qwen3-8B에서 최대 6.08배 무손실 가속, NVIDIA Blackwell에서 최대 15배 처리량 향상을 기록했다.
- 20개 공개 체크포인트와 SGLang, vLLM, TensorRT-LLM 3종 프레임워크 지원으로 즉시 배포가 가능하다.
- 블록 크기-품질 트레이드오프와 다양한 모델·하드웨어 일반화는 향후 검증이 필요한 과제다.
참고 자료: MarkTechPost – DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel, UC San Diego DFlash 연구(논문/체크포인트 출처)