LLM 학습 데이터를 확보하기 위한 웹 스크레이핑 공격이 1년 넘게 증가하면서, 중소 독립 사이트는 더 이상 관찰자 자리에 머물 수 없게 됐다. 공격자는 악성코드와 취약한 미디어 스트리밍 기기, 무료 VPN, 앱 SDK로 구성된 대규모 주거용 프록시 망을 통해 위장을 시도하고, 사이트는 차단과 CAPTCHA 강화라는 익숙한 대응에 매달리고 있다. 결과적으로 LWN이 지적한 것처럼 실제 독자와 검색 엔진, Internet Archive 같은 합법 크롤러까지 부작용에 노출되는 역설이 만들어지고 있다.
핵심 요약
- AI 학습 데이터 수집용 스크레이퍼 공격은 1년 넘게 증가 추세이며, 중소 독립 웹사이트의 트래픽 비용을 급격히 끌어올리고 있다.
- 공격자는 악성코드 감염 기기, 취약한 미디어 스트리밍 장비, 무료 VPN, 앱 SDK로 구성된 수백만 대 규모의 주거용 프록시 망을 통해 IP당 소량의 요청만 보내고 user-agent를 위장한다.
- 작업 증명(Anubis), CAPTCHA, 로그인·유료 구독 장벽, 학습 데이터 오염(data poisoning) 도구 등이 대응 수단으로 거론되지만, LWN은 이 과정에서 실제 독자와 검색 엔진·Internet Archive 같은 합법 크롤러까지 영향을 받는 부작용을 경고한다.
개방형 웹은 이제 콘텐츠 저자의 선택지라기보다, 인프라 비용과 정책 설계의 문제로 재정의될 국면에 도달했다.
주거용 프록시로 둔갑한 공격 인프라
전통적인 데이터센터 기반 스크레이퍼는 IP 차단과 속도 제한으로 비교적 쉽게 걸러낼 수 있었다. 그러나 최근 1년 이상 관측된 흐름은 다르다. 공격자는 일반 가정과 모바일 기기, 취약한 미디어 스트리밍 장비, 무료 VPN, 앱 SDK로 구성되는 주거용 프록시 망을 통해 요청을 분산시킨다. IP당 소량의 요청만 흘리고 user-agent 문자열을 위장하기 때문에, 방어 측에서 관측되는 신호는 일반 사용자 접속과 거의 구분이 어렵다.
Google이 IPIDEA와 NetNut 같은 상업용 프록시 사업자를 광고 플랫폼에서 해제한 뒤 공격량이 일시적으로 감소한 사례가 보고된 것으로 보이지만, 그 공백은 곧 새로운 주거용 프록시 망으로 채워졌다. 차단 정책이 상업 사업자만 겨냥하는 동안, 악성코드와 합의 기반 SDK는 사실상 우회 통로로 남아 있었던 셈이다.
| 구분 | 기존 데이터센터형 | 주거용 프록시형 |
|---|---|---|
| IP 출처 | 데이터센터 대역 집중 | 가정·모바일·스트리밍 기기 등 분산 |
| 차단 난이도 | IP 대역 차단으로 비교적 용이 | IP당 소량 요청으로 차단 효과 제한적 |
| 식별 단서 | user-agent, 헤더 위조 가능성이 높음 | user-agent 위장 + 정상 트래픽 패턴 모방 |
| 대응 비용 | 서버 수준 필터링 중심 | 사용자 행동 분석, 작업 증명 등 고급 도구 필요 |
이러한 분산 구조는 단순한 보안 이슈를 넘어 비용 구조의 문제로 확장된다. 트래픽이 폭증해도 정작 광고 수익과 구독료로 연결되는 것은 소수 실제 방문자에 한정되기 때문이다. 중소 운영자는 결국 CDN 비용과 인프라 유지 부담을 떠안게 되며, 콘텐츠 제작 자체를 멈추는 선택지까지 고려해야 하는 상황으로 내몰린다.
작업 증명과 CAPTCHA, 그리고 예기치 않은 부작용
대응책으로 가장 자주 거론되는 도구는 Anubis 같은 작업 증명(Proof of Work)이다. 접속자에게 일정 수준의 연산 비용을 지불하게 함으로써 자동화된 대량 요청을 수학적으로 비싸게 만든다. CAPTCHA, 로그인 장벽, 유료 구독, 학습 데이터 오염(data poisoning) 도구 역시 같은 결을 따른다. 그러나 LWN은 이러한 장치가 정상 사용자 경험과 검색 엔진, Internet Archive 같은 합법 크롤러까지 함께 느리게 만든다고 지적한다. 정보 접근의 개방성을 지향하던 사이트가 개방성을 스스로 깎아내는 방식으로 전환되는 모순이 발생한다.
주요 대응 수단의 효과와 부작용을 정리하면 다음과 같다.
- 작업 증명 (Anubis): 자동화 트래픽 억제 효과는 있으나, 저사양 기기 사용자와 접근성 보조 도구 이용자에게는 추가 부담으로 작용할 수 있다.
- CAPTCHA 강화: 단순 봇에는 효과적이나, 주거용 프록시 망에서 사람이 직접 해소를 운영하는 사례가 보고되고 있어 효과가 제한적일 수 있다.
- 유료 장벽·로그인 요구: 수익 모델 전환의 촉매가 될 수 있지만, 광고 의존도가 높은 중소 사이트에는 단기간 내 적용이 어렵다.
- 데이터 오염 도구: 모델 학습을 교란한다는 의미에서는 유효하나, 검색 색인 등 다른 데이터 수집 경로에는 영향을 주지 못한다.
플랫폼·정책·기술이 함께 풀어야 할 지점
이 문제의 무게중심은 개별 사이트 운영자의 손에 모두 남겨져 있지 않다. LLM 학습용 데이터 수집은 상업적 목적의 자동화된 행위이며, 그에 상응하는 책임은 데이터 수집 주체인 기업과 이를 유통시키는 플랫폼, 그리고 광고 생태계에 함께 분산되어야 한다. 주거용 프록시를 구성하는 악성코드와 취약 기기의 확산을 막지 못했다는 점은, 보안 산업과 가전·미디어 기기 제조사의 책임 영역이기도 하다.
정책적 관점에서 보면, robots.txt 같은 자발적 규범만으로 대응하기에는 이미 시장 균형이 무너진 상태로 보인다. 데이터 수집 기업의 opt-out 신뢰성 확보, 합법 크롤러와 비합법 수집을 구분할 수 있는 표준, 그리고 중소 사이트에 대한 비용 보전 또는 분담 메커니즘이 병행되어야 한다. 그렇지 않으면 개방형 웹은 자본력이 충분한 대형 플랫폼만이 유지할 수 있는 사치재가 될 위험이 커진다.
독자·운영자·플랫폼 간 새로운 합의의 방향
현실적 합의점은 다음 세 가지에서 출발할 것으로 분석된다.
- 학습 데이터 수집에 대한 투명한 공개와 합법 크롤러 인증 체계 도입
- 악성코드와 취약 SDK를 통한 주거용 프록시 확산을 줄이기 위한 기기·플랫폼 책임 강화
- 개별 사이트 운영자에게 검색·보존 기능을 유지하면서도 비합법 수집을 걸러낼 수 있는 표준 도구 제공
이러한 합의가 작동하려면 독자 입장에서도 사이트를 직접 구독하고, 광고 외의 수익 모델을 지지하는 선택이 뒷받침되어야 한다. 인프라는 결국 그 비용을 감당하는 주체에 의해 유지되며, AI 학습 데이터를 무상으로 빨아들이던 구조가 영속화될 수는 없기 때문이다. 관련한 보다 깊은 논의는 LWN 원문에서, 한국어 요약은 GeekNews 토픽에서 함께 확인할 수 있다.
정리 포인트
- AI 학습용 스크레이퍼는 주거용 프록시 망을 통해 IP 차단을 사실상 무력화시키고 있다.
- Anubis, CAPTCHA, 유료 장벽은 대응 수단이지만 정상 사용자와 합법 크롤러에 대한 부작용을 동반한다.
- 개방형 웹의 지속 가능성은 사이트 운영자 단독의 노력만으로는 확보되기 어렵다.
- 플랫폼·정책·기술이 함께 비용과 책임을 분담하는 구조적 합의가 필요하다.