- WANDR는 증거 인용 능력을 평가하기 위해 설계된 500개 태스크로 구성된 오픈 벤치마크 및 평가 하네스이다.
- 현재 공개된 리더보드에서 Perplexity Search as Code가 soft F1 0.363, hard F1 0.133을 기록해 최고 성적을 거뒀으며, 이 점수는 Perplexity AI가 자체 운영한 평가에서 산출된 값으로 독립 외부 검증은 추가로 필요하다.
- 벤치마크가 오픈 형태로 공개되어 연구자와 개발자가 표준화된 환경에서 에이전트를 비교하고 재현할 수 있다.
리서치 에이전트의 평가는 답의 정확성보다 인용 가능한 증거의 폭과 깊이를 측정하는 방향으로 이동하고 있다.
2026년 7월 19일 MarkTechPost는 Perplexity AI가 리서치 에이전트 평가용 오픈 벤치마크 WANDR를 공개했다고 보도했다. 기사는 이 벤치마크가 검색 범위의 넓이와 깊이를 함께 측정하도록 설계되었으며, 인용과 재검증이 가능한 증거를 얼마나 확보하는지를 핵심 평가 축으로 삼는다고 설명했다. 이번 발표는 LLM 기반 검색 및 요약 시스템에 대한 외부 평가 표준이 부족하다는 업계 지적이 반복되던 시점에 나온 만큼 의미를 가진다.
WANDR의 등장 배경과 필요성
리서치 에이전트는 사용자의 질의에 대해 다수의 후보 엔티티를 발굴하고, 각 후보를 출처가 명확한 증거와 연결하는 작업을 수행하도록 설계된다. 그러나 에이전트가 제시하는 답변이 어떤 근거에 기반했는지를 외부에서 검증하기는 쉽지 않았다. 보고서나 메모와 달리 검색 에이전트는 근거가 분산된 웹 문서에 흩어져 있어, 동일한 질의에도 모델과 시점에 따라 결과가 달라질 수 있다.
리서치 에이전트 평가의 기존 한계
기존 벤치마크는 정답 일치 여부나 요약의 유창성에 초점을 두는 경우가 많았다. 검색 에이전트의 경우 후보 셋의 누락, 출처 혼동, 환각성 인용 문제가 별도로 평가되지 않아 실제 업무 환경에서 어떤 실패가 발생하는지 파악하기 어려웠다. WANDR는 이러한 공백을 메우기 위해 evidence-heavy tasks, 즉 증거가 많이 필요한 태스크 형태로 과제를 구성한 것으로 파악된다.
오픈 벤치마크가 갖는 의미
오픈 형태의 벤치마크는 누구나 동일한 데이터셋과 평가 하네스로 모델을 실행하고 점수를 산출할 수 있어재현할 수 있다는 점에서 표준화 도구로 기능한다. MarkTechPost 기사는 WANDR가 검색의 넓이와 깊이를 함께 평가하고, cited re-verifiable evidence를 요구한다고 명시했다. 이는 단순 정확도가 아니라 근거의 재현 가능성을 평가한다는 의미로 해석된다.
WANDR의 구성과 평가 지표
WANDR는 500개의 태스크로 구성된 증거 중심 데이터셋과 함께 평가 하네스를 제공한다. 각 태스크는 단일 정답을 맞히는 전통적 형식보다, 다수의 후보 엔티티를 얼마나 폭넓게 발굴하고 각 후보를 검증 가능한 출처로 뒷받침하는지를 본다.
500개 증거 중심 태스크의 설계 철학
증거 중심 태스크는 모델이 검색 결과를 나열하는 데서 그치지 않고, 각 항목이 독립적으로 인용 가능한 단위로 정리되었는지를 확인한다. 이를 통해 에이전트의 검색 전략과 요약 전략을 분리해 점검할 수 있다. 업계 관계자들은 이러한 설계가 환각 인용 등 흔한 실패 패턴을 표면화하는 데 유리하다고 평가하는 것으로 전해진다.
soft F1과 hard F1의 차이
평가 지표로 사용된 soft F1과 hard F1은 정답 집합과의 일치 정도를 서로 다른 엄격성으로 측정한다. 일반적으로 soft F1은 부분 일치에 가중치를 두는 완화된 지표이고, hard F1은 정답 집합의 정확한 일치를 요구하는 엄격한 지표로 소개된다.한 지표로 이해된다. WANDR에서 두 지표를 함께 제시하는 것은 에이전트의 광역 검색 능력과 정밀한 매칭 능력을 구분해 보기 위한 것으로 해석된다.
주요 모델 성능 비교
현재 공개된 리더보드 기준으로 WANDR에서 가장 높은 점수를 기록한 모델은 Perplexity Search as Code인 것으로 보고되었다. 이 모델은 Perplexity AI의 검색 인프라와 LLM을 결합한 형태로 공개된 에이전트로 소개됐다.
Perplexity Search as Code의 결과
보고된 수치는 soft F1 0.363, hard F1 0.133이다. 이는 500개 태스크 전체를 놓고 평균한 값으로, 다른 모델과의 비교에서 상위권에 해당한다. 다만 두 점수 사이의 큰 격차는 에이전트가 관련 후보를 부분적으로는 잘 찾지만, 평가 기준이 요구하는 완전 일치 수준까지는 도달하지 못한다는 점을 시사한다.
0.363과 0.133 수치가 말하는 것
soft F1 0.363은 관련 정답을 일부 회수하고 있다는 상대적 긍정 신호로 해석된다. 반면 hard F1 0.133은 평가 기준이 요구하는 엄격한 일치 조건을 만족하는 비율이 낮다는 의미이다. 두 수치의 간극은 후보 셋의 누락, 출처 표기 오류, 표현 불일치 등 현실적 실패 요인이 여전히 남아 있음을 보여주는 것으로 분석된다.
| 구분 | 설명 |
|---|---|
| 벤치마크 명 | WANDR |
| 태스크 수 | 500개 증거 중심 태스크 |
| 핵심 평가 축 | 검색의 폭과 깊이, 인용 가능한 증거의 재현 가능성 |
| 평가 지표 | soft F1, hard F1 |
| 현재 최고 모델 | Perplexity Search as Code |
| 보고된 최고 점수 | soft F1 0.363, hard F1 0.133 |
| 공개 형태 | 오픈 벤치마크 및 평가 하네스 |
| 보도 매체 | MarkTechPost |
| 보도 일자 | 2026-07-19 |
산업적 시사점과 향후 과제
WANDR의 등장은 리서치 에이전트 산업 전반에 두 가지 영향을 줄 것으로 보인다. 첫째, 평가 기준이 답변의 정확성에서 증거의 신뢰성으로 이동할 가능성이 커졌다. 둘째, 오픈 벤치마크 형태로 공개됨으로써 외부 연구자와 개발자가 동일한 환경에서 모델을 비교할 수 있게 되었다.
에이전트 신뢰성 문제와 증거 검증
리서치 에이전트가 업무용 보고서, 시장 조사, 기술 분석 등 영역으로 활용 범위가 확대될수록 결과에 대한 감사 가능성 요구가 커진다. WANDR의 hard F1과 같은 엄격 지표는 인용 누락, 잘못된 출처 매핑, 유사 문헌 혼동과 같은 문제를 정량적으로 드러내는 도구로 활용될 수 있다. 업계에서는 이러한 평가가 기업용 도입 의사결정의 참고 자료로 쓰일 가능성이 있다고 보는 견해가 있는 것으로 전해진다.
오픈 벤치마크 확산이 끌어올릴 표준
오픈 벤치마크가 확산되면 모델 개발사뿐 아니라 데이터 출처를 제공하는 플랫폼, 검색 인프라 운영사까지 평가 대상에 포함될 수 있다. WANDR가 soft F1과 hard F1을 함께 제시하는 것은 향후 후속 벤치마크에서도 다층 평가 체계가 기본으로 자리 잡을 가능성을 보여준다. 다만 표준화 과정에서 태스크 편향, 데이터 오염, 운영 환경 차이 등의 문제가 수반될 수 있어, 보완 지표와 함께 지속적으로 갱신될 필요가 있을 것으로 보인다.
정리 포인트
- WANDR는 500개 증거 중심 태스크로 구성된 오픈 벤치마크이며, 검색의 넓이와 깊이, 인용 가능성을 함께 평가한다.
- 현재까지 보고된 최고 점수는 Perplexity Search as Code의 soft F1 0.363, hard F1 0.133이다.
- soft F1과 hard F1의 점수 격차는 에이전트의 광역 검색 능력과 엄격한 정합성 사이에 현저한 개선 여지가 남아 있음을 시사한다.
- 오픈 벤치마크 형태는 연구자와 개발자가 동일한 환경에서 모델을 비교하고 재현할 수 있게 해 표준화 도구로 기능한다.
- 향후 리서치 에이전트 평가는 답변 정확성뿐 아니라 증거의 재현 가능성과 신뢰성 중심으로 확장될 가능성이 있다.
참고 자료