추론 모델의 고질병, 도루프란 무엇인가
추론 모델은 다단계 사고를 거치며 긴 응답을 생성하는 과정에서 동일한 문장이나 구간을 끝없이 반복하는 현상을 보이는 경우가 있다. 컨텍스트 윈도우가 가득 찰 때까지 같은 패턴을 되풀이하면서 결국 정상적인 결론에 도달하지 못하는 이 현상을 가리켜 도루프(doom loop)라 부른다. 단순한 응답 품질 저하를 넘어 토큰 비용 폭증과 사용자 경험 훼손이라는 양면 손실을 동시에 유발하기 때문에, 추론 모델 운영 현장에서는 오래전부터 주요 품질 지표의 하나로 관리해 왔다.
기존의 대응 방식은 대표적으로 출력 길이 제한, 반복 페널티, 사후 필터링 정도가 사용되어 왔다. 그러나 이 방식들은 루프의 근본 원인이 되는 토큰 분포 자체를 교정하지 못해, 모델을 다시 호출하면 비슷한 비율로 동일한 패턴이 재현되는 한계가 있었다. 결과적으로 운영자는 매번 휴리스틱을 조정하는 비용을 부담해야 했으며, 근본적인 해결책으로 이어지지 못했다.
도루프의 정의와 컨텍스트 윈도우 소진 메커니즘
도루프는 모델이 이미 한 차례 출력한 n-gram을 후속 토큰 생성 단계에서 다시 높은 확률로 선택하면서 발생한다. 한 번 진입하면 자기강화(self-reinforcing) 경로가 형성되어 컨텍스트 윈도우가 모두 소진될 때까지 같은 구간이 누적되며 출력된다. 이 과정에서 의미 있는 추론 진행은 사실상 멈추고, 비용은 선형적으로 증가한다.
기존 대응 방식의 한계와 품질·비용 양면 손실
출력 길이 제한과 반복 페널티는 표면적인 중단에는 효과적이나, 모델이 추론을 이어갈 수 있는 근거 시퀀스를 손상시켜 응답 완결성을 떨어뜨릴 수 있다. 사후 필터링은 이미 소모된 토큰 비용을 환원하지 못한다. 따라서 학습 단계에서 분포 자체를 교정하는 접근이 구조적 대안으로 부상해 왔으며, 그 응답이 바로 Antidoom과 FTPO다.
- 문제 정의: 추론 모델이 컨텍스트 윈도우를 소진할 때까지 동일 구간을 반복하는 도루프(doom loop) 현상
- 솔루션: Liquid AI의 Antidoom, 루프 시작 토큰을 식별해 해당 위치만 Final Token Preference Optimization(FTPO) 방식으로 재학습
- 실증 결과: LFM2.5-2.6B 도루프 발생률 10.2% → 1.4%, Qwen3.5-4B 22.9% → 1%로 감소한 수치가 보고됨
도루프 해결의 무게중심이 출력 후처리에서 토큰 단위 선호도 최적화로 이동했다는 점에서, Antidoom은 추론 모델 학습 패러다임의 전환점으로 평가될 만하다.
Liquid AI Antidoom과 FTPO의 작동 원리
Antidoom은 크게 세 가지 구성요소로 이루어진다. 첫째, 도루프를 유발하는 응답을 생성하는 제너레이터, 둘째 생성된 응답에서 루프의 시작 지점을 정확히 짚어내는 탐지기, 셋째 해당 토큰 위치에 대해서만 선호도 최적화를 수행하는 FTPO 트레이너다. 세 요소가 하나의 파이프라인으로 결합되어, 추론 모델 운영자가 별도의 휴리스틱 설계 없이도 도루프 발생률 저감을 시도할 수 있도록 구성되어 있다.
루프를 시작하는 토큰을 식별하는 탐지 로직
탐지기는 생성된 토큰 시퀀스에서 이미 등장한 n-gram이 다시 나타나는 지점을 추적한다. 단순한 반복 매칭에 그치지 않고 이후 시퀀스가 컨텍스트 윈도우 끝까지 같은 패턴으로 이어질 가능성이 높은 경계 지점을 분리해 표시한다. 이렇게 식별된 시작 토큰은 FTPO가 집중적으로 교정할 대상 지점으로 사용된다.
선택적 위치 재학습을 통한 FTPO 최적화 구조
FTPO는 전체 시퀀스를 다시 학습시키는 대신, 탐지기가 지정한 토큰 위치에 대해서만 선호도 손실을 적용한다. 루프에 진입하는 경로의 확률 분포는 낮추고, 정상 추론으로 복귀하는 경로의 분포는 상대적으로 높이는 방향으로 파라미터를 갱신한다. 그 결과 모델의 일반적인 추론 능력은 유지하면서도 도루프 진입 빈도만 선택적으로 낮출 수 있는 것으로 분석된다.
실증 결과: 모델별 도루프 발생률 변화
Antidoom은 공개 자료에서 두 추론 모델에 대한 발생률 개선 수치를 함께 제시한다. 동일한 평가 조건에서 측정된 수치라는 전제로, 두 모델 모두 한 자릿수 수준 이하로 감소한 것으로 보고된다. 이는 도루프 저감 효과가 특정 모델 계열에 국한된 현상이 아니라 FTPO 패러다임 자체에서 기인했을 가능성을 시사한다.
| 모델 | 적용 전 발생률 | 적용 후 발생률 | 감소 폭 |
|---|---|---|---|
| LFM2.5-2.6B | 10.2% | 1.4% | 약 8.8%p |
| Qwen3.5-4B | 22.9% | 1.0% | 약 21.9%p |
LFM2.5-2.6B 기준 10.2%에서 1.4%로 감소
LFM2.5-2.6B 모델에서는 적용 전 10.2%였던 도루프 발생률이 1.4%까지 떨어진 것으로 보고된다. 이미 상대적으로 낮았던 기준치에서도 절대치 기준으로 약 8.8%p 포인트의 감소를 달성했다는 점에서, FTPO가 베이스라인이 양호한 모델에서도 추가적인 여지를 만들 수 있음을 보여준다.
Qwen3.5-4B 기준 22.9%에서 1%로 감소
Qwen3.5-4B에서는 적용 전 22.9%였던 발생률이 1.0%까지 떨어진 수치가 제시된다. 두 자릿수에 가까웠던 발생률이 단일 자릿수 초반으로 이동한 결과는, 동일 기법이 베이스라인 발생률이 더 높은 모델에 적용될 때 상대적으로 큰 폭의 개선을 제공할 수 있음을 시사한다.
오픈소스 공개의 의의와 활용 시나리오
Antidoom은 제너레이터, 탐지기, FTPO 트레이너를 포함한 코드 베이스 전부를 오픈소스로 공개한 형태로 제공된다. 연구자와 개발자는 별도의 비공개 인터페이스에 의존하지 않고, 공개된 모델 가중치와 함께 자신의 추론 모델 파이프라인에 즉시 결합해 재현 및 적용을 시도할 수 있다. 이는 도루프 저감을 특정 벤더에 종속된 영역이 아니라 커뮤니티가 함께 다듬어 갈 수 있는 공용 인프라로 끌어내렸다는 점에서 의의가 있다.
생성·탐지·트레이너 코드 공개 구성
생성과 탐지 트레이너가 함께 공개됨으로써, 운영자는 새로운 모델을 도입하더라도 같은 파이프라인 위에서 평가와 재학습을 일관되게 수행할 수 있다. 평가 지표의 정의와 학습 데이터 구성 방식이 함께 공개된다는 점은, 동일 효과를 재현하려는 후속 연구의 진입 비용을 낮추는 요소로 작용할 것으로 분석된다.
자체 추론 모델 운영 환경에서의 적용 포인트
자체 추론 모델을 운영하는 조직에서는 도루프가 발생할 때의 로그를 수집해, 탐지기가 추출한 시작 토큰을 기준으로 자체 데이터셋을 구성할 수 있다. 이렇게 구축한 데이터셋에 FTPO를 적용하면, 외부 모델 가중치에 의존하지 않으면서도 운영 환경에 최적화된 도루프 저감 모델을 확보할 수 있을 것으로 보인다. 특히 토큰 비용 절감이 중요한 대규모 운영 환경에서 효과적인 접근이 될 가능성이 높다.
전망: 토큰 단위 최적화가 이끄는 추론 모델 신기준
Antidoom과 FTPO의 등장은 도루프 대응의 무게중심을 출력 후처리에서 토큰 단위 선호도 최적화로 이동시켰다는 평가를 받기에 충분하다. 향후 추론 모델 평가에서는 단순 정확도뿐 아니라 도루프 발생률과 같은 안정성 지표가 별도의 품질 게이트로 자리 잡을 가능성이 있으며, 이를 위한 오픈소스 도구의 경쟁도 가속화될 것으로 전망된다. 동시에 토큰 단위 손실 설계는 도루프를 넘어 다른 형태의 퇴행적 생성 패턴에도 확장될 수 있는 범용 프레임으로 성장할 여지가 있다.
핵심 정리
- 도루프는 추론 모델이 동일 구간을 반복하며 컨텍스트 윈도우를 소진하는 퇴행적 생성 패턴이다.
- Antidoom은 루프 시작 토큰을 식별하고 해당 위치만 FTPO로 재학습하는 토큰 단위 선호도 최적화 기법이다.
- LFM2.5-2.6B는 10.2%에서 1.4%, Qwen3.5-4B는 22.9%에서 1.0%로 발생률이 감소한 수치가 보고됐다.
- 생성·탐지·트레이너 코드 전부가 오픈소스로 공개되어 자체 추론 모델 파이프라인에 즉시 결합할 수 있다.
- 향후 도루프 발생률은 추론 모델 평가의 별도 품질 게이트로 자리 잡을 가능성이 있는 것으로 분석된다.