인터넷 상의 웹 콘텐츠는 수십 년 동안 검색 엔진을 통해 색인화되고 사용자를 원본 웹사이트로 유도하는 방식으로 정보의 확산과 수익의 선순환 구조를 형성해왔다. 그러나 최근 생성AI의 확산으로 인해 AI 크롤러가 기사, 이미지, 텍스트 등 다양한 콘텐츠를 수집하고, 사용자에게 직접 답변을 제공하면서 원 출처에 대한 방문이나 보상 없이 정보를 소비하는 방식이 확산되고 있다. 이는 창작자의 수익 감소뿐 아니라 창작 동기의 상실로 이어져, 궁극적으로 건강한 인터넷 생태계 전반에 위협이 되고 있다. 이러한 상황은 웹 콘텐츠에 대한 통제권 회복과 크롤링의 투명성을 요구하는 움직임으로 이어지고 있다.

커넥티비티 클라우드 기업 클라우드플레어(Cloudflare)는 AI 크롤러가 무단으로 웹사이트 콘텐츠를 수집하는 것을 기본적으로 차단하는 정책을 도입했다고 발표했다. 클라우드플레어는 AI 크롤러 차단 기능을 기본값으로 설정한 최초의 인터넷 인프라 기업이며, 이를 통해 웹사이트 소유자가 AI 크롤러의 접근을 사전에 설정하고 허가할 수 있도록 지원한다. 이번 조치는 콘텐츠 제공자와 AI 기업 간의 균형을 회복하고 지속 가능한 인터넷 환경을 구축하기 위한 핵심 전략으로 평가받고 있다.

AI 허가 기반 크롤링 모델 본격 도입

클라우드플레어는 AI 기업이 크롤러를 통해 어떤 목적으로 콘텐츠를 수집하는지를 사전에 공개하도록 하고, 웹사이트 소유자가 이를 바탕으로 접근 여부를 결정할 수 있는 허가 기반 모델을 도입했다. AI 크롤러가 학습, 추론, 검색 등 어떤 용도로 데이터를 사용하는지를 명시하는 것이 필수이며, 웹사이트는 이를 기준으로 허용 여부를 선택하게 된다. 새롭게 가입한 도메인의 경우 기본값은 ‘차단’이며, 사용자가 원할 경우 이후 설정을 변경해 AI 크롤러를 허용할 수 있다.

이러한 변화는 기존의 ‘무제한 크롤링’ 중심의 AI 데이터 수집 관행을 전환하는 구조적 조치이다. 기존에는 AI 기업들이 웹사이트의 동의 없이 방대한 콘텐츠를 수집하고 활용해 왔다.

클라우드플레어 CEO 매튜 프린스(Matthew Prince)는 “인터넷이 AI 시대에도 지속 가능하려면, 창작자와 퍼블리셔에게 통제권을 돌려주는 동시에 AI 기술이 혁신을 이어갈 수 있도록 균형 잡힌 모델이 필요하다”고 강조했다.

글로벌 인프라 기반 콘텐츠 보호 기능 확대

클라우드플레어는 자사 인프라를 기반으로 웹 트래픽의 20%를 관리하며, 매일 수조 건의 요청을 처리하는 글로벌 네트워크를 운영하고 있다. 2024년 9월부터는 사용자가 클릭 한 번으로 AI 크롤러를 차단할 수 있는 기능을 제공해, 이미 100만 개 이상의 고객이 이를 활용 중이다. 이 기능은 AI 대응 전략이 필요한 기업들에게 간편한 콘텐츠 보호 수단으로 자리잡았다.

또한, 클라우드플레어는 AI 크롤러에 대한 정확한 식별과 구분을 위한 프로토콜 개발에도 참여하고 있다. AI 봇이 스스로를 인증하고, 웹사이트가 이를 식별할 수 있도록 하는 기술을 제안함으로써, 창작자가 자신들의 콘텐츠에 접근할 수 있는 크롤러를 선택적으로 허용할 수 있게 된다. 이로써 AI 크롤링의 투명성과 제어 권한이 실질적으로 강화되고 있다.

이 같은 클라우드플레어의 조치는 핀터레스트(Pinterest), 레딧(Reddit), 포춘(Fortune), 콘데 나스트(Condé Nast), 유니버설 뮤직 그룹(Universal Music Group) 등 전 세계 주요 콘텐츠 및 미디어 기업의 지지를 받고 있다.

핀터레스트 CEO빌 레디(Bill Ready)는 “우리는 콘텐츠가 의도한 목적에 맞게 활용될 수 있는 건강한 인터넷 생태계를 조성하는 데 최선을 다할 것”이라고 말했으며, 스티브 허프먼(Steve Huffman) 레딧 CEO는 “AI 크롤러가 누구이며 왜 콘텐츠를 수집하는지를 밝히는 것은 생태계의 질을 높이는 핵심 요소”라고 강조했다.

향후 클라우드플레어는 웹사이트 소유자, 퍼블리셔, AI 기업이 모두 협력할 수 있는 투명하고 상생 가능한 콘텐츠 관리 체계를 구축하는 데 집중할 예정이다. AI 시대의 인터넷 지속 가능성을 위한 기술적 인프라 제공과 더불어, 클라우드플레어는 새로운 산업 표준 정립에도 적극 참여할 계획이다.