핵심 요약
- 30분 단위 비교 실험에서 Fable 5(일반 모드)가 GPT-5.6 Sol보다 더 좁은 점수 변동 폭으로 안정성 우위를 보였으며, 평균 점수는 GPT-5.6 Sol이 더 높게 관측됐다.
- /goal은 단순한 시간 연장 옵션이 아니라 제어 루프와 탐색 경로를 바꾸며, 평균 점수는 Fable 5 -759점, GPT-5.6 Sol -868점으로 하락했다.
- 6회 직접 비교 승률은 4대 6으로 /goal 우위지만, 드문 큰 폭의 성능 저하가 평균을 끌어내리는 양면 효과가 분석됐다.
에이전트형 AI 기능을 평가할 때는 평균 점수뿐 아니라 분산과 최악 사례까지 함께 봐야 정확한 비교가 가능하다.
실험 배경 광섬유망 최적화와 NP-난해 벤치마크
최근 LLM을 코딩 에이전트로 활용하는 사례가 늘면서, 단순 코드 생성을 넘어 실제 최적화 문제에 모델을 투입해 성능을 비교하는 실험이 자주 등장하고 있다. 이번 글에서 다루는 실험은 정답을 명확히 점수로 환산할 수 있는 광섬유망 최적화 문제를 사용했다. 이 문제는 변수 조합이 폭발적으로 늘어나는 NP-난해 특성상, 모델이 얼마나 좋은 해를 근사하느냐를 정량적으로 측정하기 적합하다.
비교 대상으로 선택된 두 모델은 Fable 5와 GPT-5.6 Sol이다. 동일한 환경에서 동일한 시간 예산을 주고 어떤 모델이 더 높은 점수를 안정적으로 만들어 내는지, 그리고 에이전트 제어 토큰인 /goal이 그 결과에 어떤 영향을 주는지를 함께 관찰했다.
비교 설계 30분 타임박스와 6회 라운드
실험은 모델당 30분의 타임박스를 부여하는 방식으로 진행됐다. 이는 모델이 코드를 작성하고 실행하며 스스로 개선 루프를 도는 시간을 합쳐 30분 동안 풀이하도록 한 의미다. 같은 조건에서 여러 라운드를 반복해 평균 점수뿐 아니라 점수 분포까지 확인할 수 있도록 설계된 점이 일반적인 1회성 벤치마크와 다르다.
Fable 5 대 GPT-5.6 Sol 기본 성능 프로파일
원문에 따르면 Fable 5는 일반 모드에서 평균 32,386점, 점수 범위 319점을 기록했다. 범위가 좁다는 것은 라운드마다 결과가 크게 흔들리지 않는다는 의미로, 안정성 측면에서 우위에 있다는 해석이 가능하다. 반면 GPT-5.6 Sol은 평균 자체는 더 높게 관측됐지만 정확한 수치는 원문에 공개되지 않았으며, 라운드 간 격차가 더 컸던 것으로 보고됐다.
/goal이 만든 변화 제어 루프와 탐색 경로의 재설계
/goal은 단순히 모델에게 시간을 더 주는 토큰이 아니다. 원문에서는 /goal이 모델 내부의 제어 루프와 탐색 경로를 재설계한다고 분석한다. 즉, 동일 시간 안에서 어떤 전략을 우선하고 언제 새로운 시도를 멈출지를 바꾸는 개입이다.
그 결과 두 가지 상반된 현상이 동시에 관측됐다.
- 잘 풀릴 때는 더 좋은 해를 빨리 도달해 라운드 승률을 끌어올렸다는 분석이다.
- 잘못된 전략을 잡으면 그 전략을 끝까지 밀어붙이게 만들어 큰 폭의 점수 저하로 이어졌다.
승률 4대 6과 평균 점수 하락의 역설
6회 직접 비교가 진행됐고, 그 중 4회는 /goal 사용 모델이 승리했다. 라운드 단위 승률만 보면 /goal이 우위다. 그런데 /goal 적용 시 평균 점수는 Fable 5 일반 모드 대비 -759점, GPT-5.6 Sol에서 -868점 하락한 것으로 보고됐다.
이 역설의 핵심은 /goal이 드물게 발생하는 큰 폭의 실패를 만들어 내고, 그 실패가 평균을 끌어내린다는 점이다. 즉 라운드 승률과 평균 점수라는 두 지표가 서로 다른 이야기를 하고 있는 것이다.
안정성 지표로 다시 본 결과 분산과 최악 사례
평균만 보면 /goal의 효과가 손해처럼 보이지만, 최고점 구간에서는 /goal 모드에서 31,000점대의 최고 점수도 관측됐다. 이로부터 다음 표와 같은 요약 비교가 가능하다.
| 지표 | Fable 5 (일반) | Fable 5 (/goal) | GPT-5.6 Sol | GPT-5.6 Sol (/goal) |
|---|---|---|---|---|
| 평균 점수 | 32,386 | 평균 대비 -759 | 더 높음 | 평균 대비 -868 |
| 점수 범위(분산) | 319 (좁음) | 드문 큰 폭 저하 포함 | 상대적으로 넓음 | 드문 큰 폭 저하 포함 |
| 6회 직접 비교 승률 | – | /goal 사용 모델 4승 2패 (공동 통계) | ||
| 전체 최고 점수 | – | 31,000점대 관측됨 | ||
이 표에서 보이듯 /goal은 라운드 승률과 최고 점수에서는 우위이지만, 분산과 최악 사례에서는 부정적으로 작용한 것으로 분석된다.
시사점 에이전트 제어 기능의 평균-분산 트레이드오프
이번 결과는 에이전트형 AI의 제어 토큰을 설계할 때 평균-분산 트레이드오프를 반드시 함께 고려해야 함을 시사한다. 라운드 승률만 보면 /goal이 매력적인 기능이지만, 운영 환경에서는 드물게 발생하는 큰 실패가 비용을 좌우할 수 있다. 특히 다음과 같은 점을 운영 가이드로 삼을 수 있다.
- 성능 평가는 평균 점수 + 분산 + 최악 사례 세 지표를 함께 본다.
- 제어 토큰은 실패 시 복구 전략과 함께 설계해 큰 폭의 저하를 제한한다.
- 모델 선택 시 Fable 5처럼 좁은 점수 범위를 보이는 모델은 예측 가능한 결과가 필요한 업무에 적합하다.
- GPT-5.6 Sol처럼 평균은 높지만 변동이 큰 모델은 최고점 추구가 허용되는 탐색 업무에 더 적합할 수 있다.
결론적으로 NP-난해 최적화 문제라는 엄격한 평가 환경에서 /goal은 점수 평균뿐 아니라 분산과 최악 사례까지 함께 바꾸는 양면적 도구로 보이며, 에이전트 기능을 평가하고 설계할 때는 단일 평균 지표에 의존하지 않는 것이 안전하다는 교훈을 얻을 수 있다.
정리 포인트
- /goal은 라운드 승률을 높이지만 평균 점수와 최악 사례를 동시에 악화시킬 수 있다.
- Fable 5는 좁은 점수 범위로 안정성 우위를, GPT-5.6 Sol은 더 높은 평균과 더 넓은 변동을 보였다.
- 에이전트 제어 기능의 평가는 평균과 분산을 함께 보는 평균-분산 관점이 필요하다.
참고 출처: Fable 5 vs. GPT-5.6 Sol 원문 요약 (GeekNews), 원문 게시글 charlesazam.com