AI 스크레이퍼 공격으로 유지가 어려워지는 개방형 웹 — 개방성을 지키는 5가지 기술적 해법

요즘 작은 독립 웹사이트를 운영하는 사람들이 한 목소리로 말하는 고통이 있습니다. "AI 모델 훈련 데이터를 긁어가는 봇들이 너무 많아서 서버 비용이 감당이 안 된다." 단순한 트래픽 폭주가 아닙니다. 수백만 개의 감염된 일반 사용자 기기로 구성된 주거용 프록시 residential proxy가 IP를 갈아끼우며, 정상 사용자처럼 위장해 끊임없이 요청을 보내는 구조입니다. lwn.net이 정리한 최근 보고서에 따르면 이런 공격 패턴은 1년 넘게 증가 추세이며, 기존의 IP 차단 방식으로는 더 이상 막을 수 없다고 합니다.

1. 왜 갑자기 AI 스크레이퍼가 문제가 되었나

대규모 언어 모델의 성능은 결국 학습 데이터의 양과 다양성에 비례합니다. 모델 회사들은 공개 웹을 하나의 거대한 데이터셋으로 보고 가능한 한 많이 긁어갑니다. Common Crawl 같은 오픈 코퍼스도 있지만, 특정 도메인의 신선한 콘텐츠나 전문 지식은 직접 방문해서 받아와야 합니다. 그래서 등장한 것이 residential proxy 기반의 분산 스크레이퍼입니다.

악성코드, 취약한 미디어 스트리밍 박스, 무료 VPN, 앱 안에 숨어든 SDK가 사용자 모르게 트래픽 중계 노드가 됩니다. 공격자는 이 노드들을 짧은 시간 동안만 돌려가며 쓰기 때문에, IP 차단 리스트로 막으면 바로 다른 IP가 나타납니다. 사용자 에이전트 문자열도 일반 브라우저와 구별이 안 되도록 정교하게 위장합니다.

2. 개방형 웹이 무너지면 우리 모두 손해다

여기서 "개방형 웹"이라는 말이 중요합니다. 누구나 글을 쓰고, 누구나 읽을 수 있는 자유로운 웹이었습니다. 거대 플랫폼의 폐쇄형 가든 walled garden과 대비되는 말입니다. 작은 사이트 한 곳이 AI 스크레이퍼를 막기 위해 회원제를 도입하거나 robots.txt로 검색 엔진을 차단하기 시작하면, 그게 누적되면서 인터넷 전체의 다양성이 줄어듭니다.

LWN의 표현을 빌리자면, "열린 문이 점점 닫히는" 현상입니다. 결국 데이터를 가장 잘 갖고 있는 대형 사이트만 살아남고, 작은 독립 사이트는 트래픽 비용을 견디지 못해 사라집니다. 모델 입장에서는 데이터 소스가 줄어들고, 사용자 입장에서는 읽을 거리가 줄어듭니다.

3. 5가지 기술적 해법

(1) 행동 기반 anomaly detection

IP는 갈아끼울 수 있어도 행동 패턴은 위장이 어렵습니다. 짧은 시간 동안 너무 많은 페이지를 순차적으로 요청하거나, 마우스 이동 없이 바로 다음 링크로 넘어가는 패턴을 점수화해서 차단합니다. Cloudflare의 Bot Management, DataDome, Anubis 같은 서비스가 이런 방식을 씁니다.

(2) Proof-of-work / proof-of-personhood

요청 한 번당 간단한 계산 작업을 요구해, 봇 운영 비용을 비싸게 만드는 방법입니다. 인간 사용자는 한 번의 추가 딜레이만 느끼지만, 수백만 요청을 보내는 스크레이퍼는 컴퓨팅 비용이 급격히 커집니다. Anubis 프로젝트가 이 방식을 무료로 제공합니다.

(3) 메타데이터 기반 fingerprinting

User-Agent 문자열은 위장 가능해도, TLS 핑거프린트 JA3/JA4, HTTP/2 frame ordering, TCP 타임스탬프 패턴 등은 일반 사용자의 OS/브라우저 조합에서 크게 벗어나지 않습니다. 이걸 통계적으로 비교하면 residential proxy도 어느 정도 식별 가능합니다.

(4) Rate limiting을 도메인 단위로

특정 IP 하나가 아니라, ASN 단위, 국가 단위, TLS 핑거프린트 단위로 요청 빈도를 묶어서 제한합니다. 정상 사용자도 잠깐 영향을 받지만, 봇은 동일한 fingerprint로 대량 요청을 보내므로 더 빠르게 누적 차단됩니다.

(5) robots.txt + 표준 크롤러 화이트리스트

완벽한 해결책은 아니지만, 정식 신호를 보내는 것이 출발점입니다. 명시적으로 AI 트레이닝 크롤러를 차단 의사를 밝히고, 동시에 Googlebot, Bingbot, DuckDuckBot 같은 검증 가능한 표준 크롤러는 허용합니다. 역설적으로 차단 의사를 분명히 표시하면, 일부 모델 회사는 정책적으로라도 존중합니다.

4. 개인 개발자가 당장 할 수 있는 것

• Cloudflare 무료 플랜을 CDN 앞에 붙이고 Bot Fight Mode 활성화
• nginx limit_req로 동일 IP 대역 단위 분당 요청 수 제한
• fail2ban으로 짧은 시간 내 404/403이 폭증하는 IP 자동 차단
• 본문은 robots.txt와 로 명시적 차단 선언
• 가능하면 RSS/Atom 피드는 정상 검색 엔진만 허용

5. 더 큰 질문

기술적 해법은 시간벌기일 뿐, 본질적 해결은 아닙니다. AI 모델 회사가 학습 데이터에 정당한 대가를 지불하는 시장 구조가 자리 잡거나, 합성 데이터 synthetic data로 실제 웹 크롤링 의존도가 줄어들어야 작은 사이트들이 숨 쉴 틈이 생깁니다.

개방형 웹의 가치는 그것을 운영하는 사람들의 비용으로 유지됩니다. 그 비용이 한쪽으로 과도하게 전가되는 구조가 지속 가능하지 않다는 점만은 분명합니다.

• --

참고: lwn.net 원문과 Hacker News 해시 토론을 종합했습니다. 댓글에서 다뤄진 Anubis, go-away, ipligence 같은 오픈소스 도구들이 실전 적용 사례가 늘고 있습니다.

---

📰 원본 출처 · https://news.hada.io/topic?id=31323 (#N=31323)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.