[태그:] 이미지 분할

  • Tencent, 통합 비전 모델 WeVisOne-VL로 탐지부터 알파 매팅까지 통합

    Tencent, 통합 비전 모델 WeVisOne-VL로 탐지부터 알파 매팅까지 통합

    Tencent WeChat Vision 팀이 객체 탐지와 OCR뿐 아니라 이미지 분할, 알파 매팅까지 한 모델에서 처리하는 통합 비전 모델 WeVisOne-VL을 공개했다. WeVisOne-VL은 별도의 탐지기나 OCR 엔진, 세그먼터를 연결하는 대신 하나의 추론 경로에서 다양한 지각 작업을 수행하는 데 초점을 둔다. MarkTechPost의 원문 보도에 따르면 이 모델은 Hugging Face에서 2B와 4B 규모로 제공되며 Apache 2.0 라이선스를 따른다.

    탐지부터 픽셀 출력까지 단일 모델로

    WeVisOne-VL은 detection, referring, counting, pointing, OCR, segmentation, alpha matting의 일곱 가지 작업을 지원한다. 출력 형태는 점과 상자, 바이너리 마스크, 연속적인 알파 매트 가운데 필요한 정밀도에 맞춰 선택할 수 있으며, 모델의 목표는 개방형 대화보다 세밀한 위치 추정에 가깝다. 요청한 대상이 없을 때는 추측한 상자 대신 “None”을 출력한다.

    마스크와 알파 매트는 960만 파라미터의 pixel decoder가 생성한다. 이 구성은 별도의 SAM 실행 없이 픽셀 단위 결과를 얻을 수 있다는 의미이며, 탐지와 마스크 생성의 책임이 하나의 모델에 더 집중됐다는 점에서도 기존 perception 파이프라인과 방식이 다르다.

    좌표 토큰과 박스 기반 query가 결합된 구조

    WeVisOne-VL의 모든 작업은 구조화된 next-token prediction으로 처리된다. 상자와 점에는 0부터 1000까지의 정규화된 좌표 토큰이 사용되며, 픽셀 작업에서는 예측된 상자 뒤에 <OBJ> 토큰을 emitting한다. 해당 토큰의 hidden state는 pixel decoder의 query로 활용된다.

    Pixel decoder는 세 단계로 구성된다. Visual Feature Adapter는 두 번째 이미지 인코더를 추가하지 않고 Qwen3-VL의 여러 수준 ViT feature를 재사용한다. Box-Guided Query Decoder는 여섯 개의 deformable cross-attention block을 사용하며, <OBJ> 상태와 상자로 초기화되는 query를 처리한다. Dense Prediction Head는 S/4, S/2, S/1 해상도에서 결과를 정제해 전체 해상도 마스크 또는 매트를 만든다.

    대규모 annotation과 3단계 SFT

    학습 데이터는 knowledge-graph-driven data engine이 1억 개가 넘는 이미지에 약 36억 개의 상자를 생성한 방식으로 구축됐다. SAM3, Rex-Omni와 Tencent 자체 detector가 영역을 제안했고 Qwen3-VL이 이를 검증했다.

    SFT는 세 단계로 진행됐다. 첫 단계에서는 9천만 개의 예제로 출력 형식을 맞췄고, 두 번째 단계에서는 입력을 1,960 visual tokens, 응답당 최대 500개 상자까지 늘렸다. 세 번째 단계에서는 pixel decoder를 학습한 뒤 1억 3천만 개의 샘플로 matting 특화 학습을 진행했다. 최종 단계에서는 불확실성 기준을 거른 178K개의 예제로 GRPO를 적용했다.

    Benchmark 성적과 rejection rate이 드러낸 상충관계

    Tencent는 30개가 넘는 benchmark에서 동일 규모의 VLM baseline을 대체로 앞섰다고 밝혔다. 4B 모델은 LVIS detection에서 55.3 F1, Dense200에서 71.3 F1을 기록했고 RefCOCOg test에서는 81.8 F1, PixMo-Count test에서는 89.6% exact-match를 기록했다. OCR의 TotalText에서는 52.0 F1, segmentation의 ReasonSeg val에서는 71.2 gIoU를 제시했다. 해당 수치는 Tencent의 자체 주장으로 독립적인 검증이 필요하다.

    작업 평가셋 WeVisOne-VL 4B 비교 모델
    Dense detection Dense200 71.3 F1 LocateAnything-3B: 58.7 F1
    OCR TotalText 52.0 F1 PP-OCRv5: 25.7 F1
    Segmentation ReasonSeg val 71.2 gIoU LISA-13B: 65.0 gIoU
    Matting P3M-500-NP box prompts 7.3 MAD SAM2-Matting(SAM3): 15.4 MAD

    부정 부재 질의에 대한 거부 성능은 양호했다. WeRef-Bench 2,880개 질의에서 rejection rate는 96.4%로 비교 대상의 73.0%보다 높았다. 반면 PR-Bench에서는 52.6%의 rejection rate가 나타나 존재하지 않는 대상을 요청했을 때도 일부 상자를 출력하는 문제가 확인됐다. 두 결과는 단순한 점수 비교보다 통합 비전 모델의 실제 안전장치 성능을 다각도로 평가해야 함을 보여준다.

    Apache 2.0 공개와 남아 있는 배포 제약

    2B와 4B 가중치는 Hugging Face에 공개됐고, wevisone_vl 패키지는 Transformers와 vLLM 백엔드를 제공한다. 단일 GPU에서 BF16로 실행할 수 있으며 패키지에는 NPU와 CPU도 지원 대상으로 포함됐다. 실제 VRAM 요구량과 배포용 context length는 공개되지 않았지만, 학습 때는 최대 8,192 토큰까지 사용됐다. community GGUF를 이용한 사례는 6 GB RTX 2060에서 object-level task를 실행한 것으로 전해졌다.

    모델 가중치는 Apache 2.0 라이선스이지만 fine-tuning 코드는 아직 TODO 상태로 남아 있다. GGUF build는 native visual feature가 필요한 pixel decoder를 사용할 수 없어 마스크를 생성하지 못한다. Matting annotation에는 Tencent가 데이터 엔진에서 사용한 Mask2Alpha도 함께 공개됐다.

    WeVisOne-VL의 핵심 가치는 여러 지각 모델을 하나의 구조화된 출력 체계로 묶었다는 데 있다. 다만 PR-Bench의 rejection rate, 미완성인 파인튜닝 도구, GGUF의 마스크 제약은 통합 비전 모델을 실제 제품 파이프라인에 적용할 때 함께 검토해야 할 항목이다.

    참고 원문

    이 기사는 다음 원문을 확인해 작성했습니다: MarkTechPost — Tencent WeVisOne-VL Unifies Detection, OCR, Segmentation and Matting