- Cloudflare가 자동화 트래픽을 Search·Agent·Training 등 용도별로 분류해 고객이 선택적으로 허용 또는 차단할 수 있는 옵션을 공개했다.
- 제어 옵션은 무료 플랜을 포함한 모든 요금제 고객에게 제공되어 접근성이 확대되었다.
- 분류 기준은 AI 봇 여부가 아니라 사이트에서 수행하는 행동과 콘텐츠 용도로, 크롤링 정책의 새로운 기준으로 자리 잡을 가능성이 있다.
Cloudflare의 용도 기반 제어는 게시자와 AI 사업자 사이 데이터 사용 협상의 기준선을 행동 단위로 재정의했다는 점에서 업계 표준 변화의 신호로 읽힌다.
AI 크롤러가 학습 데이터와 검색 결과를 수집하기 위해 사이트를 잠식하면서, 게시자와 AI 사업자 사이의 데이터 사용 갈등이 빠르게 확대돼 왔다. Cloudflare는 2026년 7월 27일, 이 문제에 대응하기 위해 자동화 트래픽을 일괄이 아닌 용도별로 분류해 고객이 직접 통제할 수 있는 옵션을 공식 공개했다.
배경: AI 크롤링과 게시자 갈등의 확산
일괄 차단 방식의 한계
기존의 AI 봇 대응은 대부분 User-Agent(웹 요청 시 클라이언트를 식별하는 문자열) 또는 IP 대역을 기준으로 트래픽을 판별하고, 명백한 봇은 차단하며 애매한 경우 허용하는 식이었다. 이 방식은 신생 봇의 빠른 등장, 동일 사업자의 다양한 사용자 에이전트(웹 요청 클라이언트 식별 문자열) 운용, 그리고 AI 검색과 학습 데이터 수집을 구분하지 못한다는 한계가 반복적으로 지적돼 왔다.
Cloudflare의 정책 전환 시점과 의미
Cloudflare가 2026년 7월 27일 새 옵션을 공개한 시점은, 전 세계 주요 매체가 AI 검색·요약 서비스의 데이터 사용에 대해 공동성명을 내는 등 크롤링 거버넌스(데이터 수집·활용에 대한 관리 체계)에 대한 논의가 활발해진 때와 맞물린다. 따라서 이번 발표는 단순 기능 업데이트가 아니라, 게시자 보호 정책의 방향성을 행동 기반으로 재정의한 선언적 조치로 해석된다.
Cloudflare의 새로운 제어 옵션 핵심 구조
3
Search·Agent·Training 등 용도별 분류 체계
Cloudflare가 도입한 분류 체계는 자동화 트래픽을 Search(검색 결과 노출 목적), Agent(사용자 요청에 따라 동적으로 동작하는 자동화 프로그램이 콘텐츠를 조회하는 목적), Training(모델 학습 데이터 수집 목적) 등으로 나눈다. 고객은 자신의 콘솔에서 각 용도에 대해 허용, 제한, 차단 상태를 개별적으로 선택할 수 있으며, 사이트 단위로 정책을 다르게 적용하는 것도 가능하다.
| 용도 분류 | 대표 사례 | 게시자가 통제 가능한 항목 |
|---|---|---|
| Search | AI 검색·요약 엔진이 결과 노출을 위해 페이지를 가져오는 행위 | 허용 또는 차단, 색인(인덱싱) 범위 제한 |
| Agent | 사용자 질의에 응답하기 위해 자동화 프로그램이 페이지를 조회하는 행위 | 허용 또는 차단, 요청 빈도 제한 |
| Training | 언어 모델·이미지 모델 학습을 위한 데이터 수집 행위 | 허용 또는 차단, 섹션별 차등 정책 |
행동과 콘텐츠 용도 기반 분류의 기술적 정의
분류의 핵심은 AI 봇 여부가 아니라 실제 행동과 콘텐츠 용도라는 점이다. Cloudflare는 요청 패턴, 참조 경로(리퍼러), 데이터 사용 시그널 등을 종합해 동일 사업자의 트래픽이라도 검색용 호출과 학습용 호출을 분리해 식별한다. 이로 인해 User-Agent 위장이나 IP 로테이션(여러 IP를 순환하며 요청하는 우회 기법)으로 봇을 숨기는 전통적 회피 방식의 효과가 줄어들 것으로 분석된다.
기존 AI 봇 차단 대비 차별점
식별 기반에서 행위 기반으로의 이동
기존 차단 로직은 누가 요청했는지를 식별하는 데 초점이 맞춰져 있었다. 반면 새 옵션은 무엇을 하고 있는지를 기준으로 정책을 적용한다. 예를 들어 동일한 AI 검색 엔진이라도 검색 결과를 표시하는 호출은 허용하고 학습 데이터 수집용 호출은 차단하는 식의 세분화된 제어가 가능해진다. 이는 게시자에게 단순 차단 이상의 협상 카드를 쥐어주는 변화로 평가된다.
모든 요금제 대상 제공의 전략적 함의
무료 플랜을 포함한 모든 요금제에서 동일한 옵션이 제공된다는 점은 Cloudflare의 시장 전략에서도 의미가 크다. 콘텐츠 보호 기능을 유료 차별화 포인트에서 표준 기능으로 전환함으로써, 중소기업과 개인 블로그도 세분화된 정책의 적용 대상에 포함되었다. 결과적으로 플랫폼 전체 차원에서 행동 기반 통제의 점유율이 빠르게 높아질 가능성이 제기된다.
영향과 전망
콘텐츠 크리에이터 및 뉴스 매체에 미치는 영향
콘텐츠 크리에이터와 뉴스 매체는 AI 검색에는 트래픽 유입 효과를 유지하면서, 모델 학습에는 사용료를 협상하거나 차단하는 선택지를 동시에 확보하게 된다. 특히 매체별 기사 단위 메타데이터(데이터에 대한 설명 정보)와 결합해 활용할 경우, 부서·도메인·콘텐츠 유형별 차등 정책을 자동으로 운영할 수 있는 기반이 마련된 것으로 분석된다.
AI 모델 학습·검색 서비스 사업자에 대한 시사점
AI 사업자 입장에서는 동일 서비스가 검색과 학습이라는 두 가지 용도로 사용될 경우, 게시자별로 별도 사용자 에이전트 또는 명시적 헤더를 제공해 의도를 구분해야 할 필요성이 커진다. 정책 위반 여부가 과거처럼 식별 기반이 아니라 행동 기반으로 판단되므로, 사전 고지·옵트아웃(수집 거부) 절차·데이터 사용 명세 제공이 표준 관행으로 자리 잡을 것으로 보인다.
업계 표준화 가능성과 향후 과제
Cloudflare의 행동·용도 기반 분류가 사실상의 표준으로 확산될 경우, IETF(국제 인터넷 표준화 기구)·W3C(웹 표준화 컨소시엄) 등 표준화 단체에서도 크롤링 의도 표현을 위한 새로운 HTTP 헤더나 메타 태그 규격 논의가 촉진될 수 있다. 다만 용도 분류의 경계가 모호한 사례, 예를 들어 학습 겸 검색을 주장하는 호출의 경우 게시자 입장에서는 여전히 사각지대가 존재하며, 향후 세부 가이드라인과 분쟁 조정 절차가 병행돼야 할 것으로 분석된다.
핵심 정리
- Cloudflare는 자동화 트래픽을 Search·Agent·Training 등 용도별로 분류해 고객이 개별 허용·차단할 수 있는 옵션을 2026년 7월 27일 공개했다.
- 제어 기준은 AI 봇 식별이 아니라 사이트에서 수행되는 실제 행동과 콘텐츠 용도로, 행동 기반 크롤링 정책의 새 표준으로 작용할 가능성이 제기된다.
- 옵션은 무료 플랜을 포함한 모든 요금제에서 제공되어, 콘텐츠 크리에이터와 뉴스 매체가 AI 사업자와 데이터 사용 협상에서 보다 정밀한 카드를 쥐게 되었다.
- AI 사업자는 검색과 학습의 의도를 명확히 구분해 게시자에게 사전 고지하고, 표준 헤더나 명세 제공 같은 업계 관행을 정착시킬 필요성이 커졌다.
참고 자료: GeekNews 원문 토픽, Cloudflare 공식 블로그