Anthropic과 Theorem은 Claude를 이용해 Google OSS-Fuzz 대상 오픈소스 라이브러리 123개, 퍼징 진입점 239개를 정형 검증했다. 버그를 수정한 뒤에는 특정 실행 환경과 입력 크기 조건에서 컴파일된 코드가 충돌하지 않음을 증명하는 수준까지 확장했다. 이 실험은 LLM 정형 검증의 규모와 재사용 가능성을 보여주는 동시에, 보장 범위를 어디까지 설정하느냐가 핵심 쟁점임을 드러낸다.
퍼즈 테스트를 ‘항상 충돌하지 않는 코드’로 바꾸다
정형 검증은 코드를 수학적 모델로 옮겨 정의된 규칙을 위반하지 않는다는 것을 보이는 방식이다. 기존 테스트는 특정 입력이 통과하거나 실패하는지 확인하지만, 실행 시간을 늘려도 모든 코드 경로를 탐색한다는 보장은 없다. 이번 실험은 개발자가 입력 진입점을 만들고 문제가 생기면 충돌하도록 만든 퍼즈 테스트를 ‘64MB 미만의 어떤 입력에서도 충돌하지 않는다’는 명세로 변환했다.
라이브러리와 퍼즈 테스트를 RISC-V 실행 파일로 컴파일한 뒤 Theorem의 RISC-V 명령어 및 Linux 프로세스 의미론으로 실제 바이너리의 동작을 모델링했다. 수만 개 명령어의 가능한 동작과 상호작용을 다루는 대규모 증명에 Claude가 활용됐고, Claude가 작성한 Rocq 코드는 커널이 명세 충족 여부를 검사한다. AddressSanitizer를 이용해 잘못된 메모리 접근을 충돌로 드러내는 방식은 메모리 안전성 명세를 만들기 위한 기반이 됐다.
퍼징이 놓친 경계에서 드러난 버그들
증명 과정에서는 Claude가 발견한 버그를 바로 패치하고 명세를 다시 생성하며 작업을 이어갔고, 수백 개의 버그가 확인됐다. 압축 해제 코드의 카운터 언더플로는 약 20MB 입력의 드문 특정 배치에서 경계 밖 쓰기를 일으켰으며, 이미지 디코더의 경계 밖 읽기는 64MB 입력과 2GB가 넘는 메모리가 필요했다. 다른 라이브러리에서는 동일 파일의 핸들 두 개에 대해 특정 호출 순서가 실행돼야 경계 밖 읽기가 발생했다.
Claude는 깊게 중첩된 입력이 필요한 libexpat의 CVE-2026-56132도 재발견했다. 최종 증명에 성공하지 못한 과제에서도 증명 시도가 실제로 수정해야 할 버그를 찾는 데 기여했다. 이는 정형 검증의 실패가 곧 결론을 폐기할|Division 아니라, 추가 조사와 패치가 필요한 지점을 알려주는 결과일 수 있음을 보여준다.
기계 검사의 신뢰 경계와 증명 재사용
전체 증명은 약 1억 8,000만 줄의 Rocq 코드로 구성됐고, 일반적인 증명의 약 60만 줄보다 훨씬 크다. 사람이 거대한 증명 코드를 모두 검토할 필요는 없지만, 보장은 단일 스레드 정적 바이너리와 Linux의 RISC-V CPU 실행이라는 가정에 의존한다. RISC-V와 Linux 프로세스의 형식 모델이 현실과 일치하고, 실제 증명된 정리의 서술이 정확한지 확인하는 과정은 여전히 남아 있다.
증명 생성에는 막대한 토큰이 들기 때문에 비용 절감도 핵심 과제로 떠올랐다. OSS-Fuzz 코드에서 만든 소규모 검증 과제 36개에서 Opus 5.5는 Opus 5보다 약 40% 적은 토큰으로 과제의 절반을 증명했다. 에이전트가 서로의 증명을 복사할 수 있는 공유 작업 공간은 토큰 사용량을 17% 줄였고, 단독에서는 실패했던 일부 과제도 성공했다. 공통 코드와 작은 증명을 재귀적으로 조합하는 방식은 LLM 정형 검증의 확장성을 높이는 핵심 전략으로 제시된다.
‘버그 없음’이 아닌 조건부 증명
검증 대상은 musl libc와 연결된 단일 스레드 정적 RISC-V 바이너리였다. 실제 사용 환경은 대체로 x86 또는 ARM에서 glibc에 동적으로 연결되는 형태이므로 배포 환경에 더 가까운 시스템 모델과 정확한 x86 의미론이 추가로 필요하다. ASan도 모든 메모리 안전성 버그를 탐지하지 못하며, 모든 진입점을 검증했다고 해서 도달 불가능한 코드까지 라이브러리 전체가 보장되는 것은 아니다.
정형 검증됨은 버그 없음과 같지 않다. 검사기는 형식 명세의 충족 여부만 확인하고, 명세가 현실과 일치하는지는 판단하지 못한다. 호출자가 공개 함수를 잘못 사용하거나 명세에 없는 실행 조건이 존재하면 보장 밖의 문제가 남는다. 이번 실험의 의미는 AI가 모든 소프트웨어의 완전한 정답을 제시한다는 데 있지 않다. 테스트 가능한 보장을 기계가 확인 가능한 형태로 확장하고, 그 범위와 신뢰 경계를 함께 드러내는 데 있다.
원문의 실험 집계와 세부 배경은 LLM 정형 검증 관련 보도에서 확인할 수 있다.
참고 원문
이 기사는 다음 원문을 확인해 작성했습니다: geeknews — LLM이 훨씬 더 큰 규모의 소프트웨어 정형 검증을 가능하게 하고 있음

답글 남기기