[태그:] AI 크롤링

  • AI 크롤링 옵트아웃, 공통 정책 토큰의 가능성과 남은 과제

    AI 크롤링 옵트아웃, 공통 정책 토큰의 가능성과 남은 과제

    OpenAI, Google, Microsoft, Anthropic이 AI 크롤링 옵트아웃을 위한 공통 표준을 채택하겠다고 선언하면서, 발행사와 AI 회사 사이의 데이터 이용 규칙이 한 단계 구체화될 가능성이 커졌다. 게시물러는 여러 회사의 AI 학습 선호를 한곳에서 관리할 수 있는 ‘정책 토큰’이 통합 신호 역할을 할 것으로 주목한다. AI 크롤링 옵트아웃의 실효성은 공통 선언뿐 아니라 각 제공업체가 이를 실제로 얼마나 강하게 적용하느냐에 달렸다.

    robots.txt에 삽입되는 공통 신호

    제안된 정책 토큰은 웹사이트의 robots.txt 파일 안에 배치되는 방식이다. robots.txt는 지금까지 검색 색인, 아카이빙, AI 학습을 포함한 웹 크롤러의 접근 범위를 표시하는 자리로 활용됐다. AI 학습을 허용하거나 제한하는 선택을 회사별로 반복해 전달하는 대신, 하나의 공통 신호로 여러 제공업체에 선호 사항을 통지할 수 있다는 점이 핵심이다.

    Microsoft는 AI 학습과 AI grounding을 각각 선택적으로 거부할 수 있는 세분화된 통제를 제공하므로, 이를 완전히 다른 방식으로 이해할 필요가 있다. AI grounding은 검증된 정보원에 AI 모델을 연결해 환각을 줄이는 절차다. Microsoft의 제어 기능과 관계없이 웹사이트는 Bing 검색 결과에는 계속 노출될 것이다. Google도 AI 검색 기능에 콘텐츠가 표시되는지, AI 학습에 활용되는지를 검색 노출과 분리해 관리하는 유사한 제어를 이미 도입했다.

    선언과 실제 차단 사이의 간극

    공통 정책 토큰은 합의된 도구지만 그 자체가 벽이 되지는 않는다. OpenAI, Google, Microsoft, Anthropic은 사이트에서 정책 토큰을 발견할 경우 AI 크롤러의 접근을 제한하겠다고 밝혔다. 실제 차단 수준과 정책의 세분화 정도는 제공업체가 결정할 영역이며, 통합 신호를 지원한다고 표준을 채택했다는 사실만으로 동일 수준의 강제력이 보장되지는 않는다.

    업계의 대응은 이미 여러 갈래로 나뉘어 있다. Really Simple Licensing은 방문하는 크롤러에 과금을 요구할 수 있게 하는 표준을 제공하고, Cloudflare는 AI 크롤러를 기본적으로 차단한다. 정책 토큰은 이용 제한과 과금, 기본 차단 사이의 선택지를 하나로 수렴시키는 대신 여러 제어 방식의 공통된 연결 신호로 기능하는 데 가깝다.

    지원 시점과 실행 책임

    도입 일정은 제공업체마다 다르다. Anthropic은 이미 새 신호를 도입했고, Google과 Microsoft는 다음 해 지원할 계획이다. OpenAI는 앞으로 몇개월 안에 구현하겠다고 밝혔다. Meta communications head Andy Stone은 지원 의사만 밝혔고 회사가 정책 토큰을 실제로 따를지는 밝히지 않았다.

    Andy Stone은 여러 제공업체에 선호를 한 번에 전달하는 공통 신호가 중요한 단계라고 말했다. 그는 다른 AI 회사와 함께 기준을 마련하고 업계 전반에 구현하는 일을 기대한다고 말했다. 이 구호가 공통 신호의 운영 거동, 예외 처리, 정책 변경 전파 방식까지 정해 준 것은 아니다.

    AI 크롤링 옵트아웃의 다음 단계는 토큰 자체보다 실행 책임에 달려 있다. 분기별 제어 기능과 검색 노출 정책을 구분하는 Microsoft, AI 검색 기능과 학습을 분리해 관리하는 Google, 다음 해 도입을 계획한 Anthropic과 Microsoft의 사례는 통합 신호 뒤에도 제공업체별 해석이 남는다는 점을 보여준다. 발행사는 공통 선호 사항을 표현할 수 있게 됐지만, 실제 차단 효과는 각 회사가 규칙을 어떻게 적용하느냐를 지켜봐야 확인할 수 있다.

    참고 원문

    이 기사는 다음 원문을 확인해 작성했습니다: The Verge — The biggest names in AI are backing a new way to opt out of scraping