Cloudflare, 고객별 AI 트래픽 제어 옵션 공개 — 검색·에이전트·학습을 분리해 차단하는 새로운 표준

Cloudflare, 고객별 AI 트래픽 제어 옵션 공개 — 검색·에이전트·학습을 분리해 차단하는 새로운 표준

Cloudflare가 2026년 7월, 모든 요금제 고객에게 AI 트래픽을 세 가지 카테고리(검색·에이전트·학습)로 나눠 허용하거나 차단할 수 있는 세분화 옵션을 공개했다. 기존의 일괄 AI 봇 차단과 달리, 사이트에서 어떤 행동이 일어나는지, 콘텐츠가 어떤 용도로 쓰이는지를 기준으로 정책을 설정할 수 있다.

왜 이제 AI 트래픽 제어가 중요한가

크롤러·LLM 학습·에이전트 자동화가 한꺼번에 늘면서 robots.txt만으로는 한계가 뚜렷해졌다. Cloudflare의 발표에 따르면 고객 트래픽에서 자동화 요청이 차지하는 비중이 빠르게 상승했고, 다목적 크롤러는 단일 User-Agent 안에 검색과 학습을 함께 수행해 사이트 운영자가 의도를 분리하기 어려웠다. 새 옵션은 행동과 용도를 분류 기준으로 삼아, 크롤러가 누구인지보다 무엇을 하러 왔는지를 본다.

세 가지 카테고리 — Search / Agent / Training

Cloudflare는 자동화 트래픽을 다음 세 가지로 나눈다.

• Search: 검색 엔진 인덱싱용 크롤링. 노출 효과를 기대하는 공개 콘텐츠라면 허용이 일반적이다.
• Agent: 에이전트가 작업을 수행하며 가져가는 요청. B2B SaaS나 API 문서처럼 사람 대행이 필요한 경우에 해당한다.
• Training: 모델 학습 데이터 수집. 기사·블로그·코드 저장소에서 대부분 차단하는 추세다.

각 카테고리는 Cloudflare 대시보드에서 토글로 제어하며, User-Agent별 화이트리스트·블랙리스트와 결합해 정책 충돌을 줄일 수 있다.

실무에서 바로 쓰는 설정 예시

가장 무난한 시작점은 Training 차단 + Search 허용 + Agent는 사이트 정책에 따라 선택이다. 다음은 그 출발점에 가까운 robots.txt 형태다.

# Cloudflare AI 트래픽 제어 — robots.txt 예시

User-agent: GPTBot
Allow: /public/
Disallow: /private/

User-agent: ClaudeBot
Disallow: /

AI 봇 카테고리별 분리 (2026 Cloudflare 정책)
SearchBot   → 검색 인덱싱 허용
AgentBot    → 에이전트 작업 허용
TrainingBot → 모델 학습 차단

Cloudflare는 User-Agent를 신뢰하는 기존 방식 외에, IP·ASN·TLS 핑거프린트를 결합한 봇 분류 신호도 함께 제공해 단순 우회를 어렵게 한다.

운영자가 챙겨야 할 함정

전부 차단하면 검색 노출과 에이전트 트래픽까지 같이 막혀 트래픽이 급감할 수 있다. 반대로 전부 허용하면 학습용 크롤링이 몰려 CDN 비용이 늘어난다. 핵심은 경로별 차등이다. 공개 블로그는 Search 허용, 회원 전용 문서는 Agent 차단, API 응답은 Training 차단처럼 경로 단위로 정책을 갈라 두는 것이 안전하다.

전망 — 2026년 하반기, AI 트래픽은 '기본 통제'로

Cloudflare의 이 변화는 사실상 AI 봇 차단 표준이 robots.txt 단일 파일에서 '플랫폼 단위 정책'으로 옮겨갔음을 의미한다. Vercel·Fastly·Akamai 등 다른 CDN도 유사한 카테고리화 옵션을 뒤따라 도입할 가능성이 높고, SEO·에이전트 경제 양쪽 모두에서 '트래픽 명세'가 새로운 경쟁축이 될 것이다.

요약

• Cloudflare가 모든 요금제에서 Search / Agent / Training 카테고리별 AI 트래픽 제어 옵션을 공개했다.
• 분류 기준은 User-Agent가 아니라 '무엇을 하러 왔는가(행동·용도)'다.
• 출발점은 Training 차단 + Search 허용 + Agent는 사이트 정책에 따라 선택. 경로별 차등 적용이 핵심이다.

원문: Cloudflare, 고객별 AI 트래픽 제어 옵션 공개 (긱뉴스)

---

📰 원본 출처 · https://news.hada.io/topic?id=31857 (#N=31857)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.