클라우드플레어, AI 크롤러 3종 분류·차단 기능을 전 고객 무료 제공
한 줄 요약: 클라우드플레어가 7월 2일 AI 트래픽 관리 기능을 대폭 강화해, 사이트 오너가 검색·에이전트·학습 크롤러를 각각 허용·차단할 수 있게 했다.
핵심
- 무료 플랜 포함 전 고객이 robots.txt를 자동 생성하거나, 광고가 붙은 페이지에서만 AI 봇을 차단하는 세분화 제어 가능
- 기업용 BotBase 데이터베이스: 알려진 봇 분류·행동 정보를 검색할 수 있는 중앙 카탈로그 제공
- 9월 15일부터 신규 도메인은 광고 페이지에서 학습·에이전트 봇이 기본 차단(검색 봇은 허용 유지)
- Pay Per Crawl → Pay Per Use 확장: AI 에이전트가 콘텐츠를 실제로 사용할 때 콘텐츠 제작자에게 수익 분배
왜 중요한가
클라우드플레어 CEO Matthew Prince는 봇 트래픽이 사상 처음으로 인간 트래픽을 추월했다고 밝혔다. 이번 조치는 웹 퍼블리셔가 AI 크롤러 수익화 구조를 직접 설계할 수 있는 첫 번째 대규모 인프라 레이어 수단이 됐다는 점에서, 미디어·광고 업계의 AI 저작권 논쟁의 판도를 바꿀 수 있다.