[태그:] 모델 지문

  • AI 모델 검증의 새 접근, Anthropic FlashProve 연구

    AI 모델 검증의 새 접근, Anthropic FlashProve 연구

    Anthropic은 AI 모델이 만든 출력의 출처를 암호학적으로 검증하는 오픈 소스 시스템 FlashProve를 연구하고 있다. 이 시스템은 지정된 모델에서 특정 출력이 생성됐음을 수학적 보장인 ‘provable inference’로 증명하는 것을 목표로 하며, AI 모델 검증의 새로운 접근으로 제시됐다. 공개된 기술 명세와 일부 작동 코드는 이용할 수 있지만, FlashProve는 연구 초기 단계이며 Anthropic이나 다른 연구기관에 배포할 계획은 없다.

    FlashProve는 다른 모델로 위장한 출력을 어떻게 찾나

    FlashProve는 이메일의 암호학적 서명과 비슷하게, 수신자가 메시지가 실제로 발신자에게서 왔는지 확인할 수 있도록 설계됐다. 한 모델을 다른 모델로 가장하는 시도에도 견딜 수 있으며, AI 기업이 비용 절감을 위해 더 저렴한 모델로 교체하거나 성능 주장을 부풀리기 위해 더 비싼 모델을 사용하는 행위를 검증할 수 있다.

    연구진은 개발자가 소프트웨어 라이브러리의 취약점 검사를 최첨단 사이버보안 모델이 수행했다고 주장하거나, 기업이 사업 계획을 적절한 모델이 검토했다고 주장하는 상황을 검토했다. FlashProve는 이런 주장이 실제로 어떤 모델에 연결되는지 확인하는 수단으로 제안됐다.

    이를 위해 AI 연구소는 출시하는 각 모델의 ‘fingerprint’를 공개해야 하며, 이 지문을 특정 출력과 연결한 뒤 암호학적으로 검증한다. 이메일 서명이 메시지의 발신자를 확인하는 것처럼, 모델 지문은 출력의 출처를 확인하는 정보를 제공하는 방식이다. TechCrunch의 FlashProve 보도를 보면 이 시스템이 모델의 정체성 검증에 초점을 둔 연구 프로젝트라는 점을 알 수 있다.

    가중치를 공개하지 않는 폐쇄형 모델 검증 방식

    모델 지문은 모델 내부의 가중치를 노출하지 않는다. 가중치는 모델의 작동 방식을 정의하는 내부 수치로, 폐쇄형 모델을 운영하는 기업은 보통 이를 비밀로 유지한다. 따라서 연구소는 지문을 공개하면서도 가장 중요한 자산을 내놓지 않을 수 있고, FlashProve는 상용 모델에도 적용될 가능성이 있다.

    검증 과정도 경량으로 설계됐다. FlashProve는 로컬 기기에서 검증할 수 있도록 만들어져 있어, 사용자가 별도의 중앙 서비스에 의존하지 않고 출력의 출처를 확인할 수 있도록 제시됐다. 다만 실제 서비스 환경에서 모든 폐쇄형 모델에 적용됐는지는 확인되지 않았으며, 현재 공개된 것은 연구의 중간 결과다.

    실무 활용 가능성과 남은 과제

    FlashProve는 서드파티가 특정 작업에 고급 모델을 사용했다고 주장하는 경우와 소프트웨어 보안 점검 결과를 확인할 때 활용될 수 있다. 다만 이 시스템은 기술 명세와 여러 요소의 작동 코드를 공개한 연구 결과 단계이며, 실제 배포 일정도 제시되지 않았다.

    연구진은 이번 공개를 다른 연구자가 기존 성과를 가져가 개선하도록 공유하는 중간 단계의 연구로 규정했다. FlashProve의 기술 명세와 일부 작동 코드는 오픈 소스 라이선스로 공개됐으며, 향후 배포 계획은 없다.

    참고 원문

    이 기사는 다음 원문을 확인해 작성했습니다: TechCrunch — Anthropic is working on a system to prove AI models’ identity