Cloudflare글로벌 클라우드 서비스 제공업체인 는 웹사이트가 인공지능(AI) 기업에 콘텐츠 접근료를 부과할 수 있도록 설계된 새로운 시스템을 테스트하고 있다고 합니다. "크롤링당 과금(Pay per Crawl)"이라는 이름의 이 새로운 기능은 웹사이트 소유자가 AI 봇이 AI 모델 학습, 추론 실행, 검색 기능 구동 등의 목적으로 웹사이트 콘텐츠를 활용하는 방식과 시기를 스스로 설정할 수 있도록 하는 것을 목표로 합니다.
콘텐츠 제어권 회복
이 이니셔티브는 디지털 경제의 고조되는 긴장감을 해소합니다. 현재 많은 웹사이트가 AI 모델에 의해 아무런 보상 없이 스크래핑되고 있으며, 이러한 AI 모델이 기존 검색 엔진의 트래픽을 빼앗아가는 것으로 알려졌습니다. 클라우드플레어의 새로운 시스템은 급성장하는 AI 경제에서 콘텐츠 게시자들이 귀중한 콘텐츠가 어떻게 활용되는지에 대한 통제권을 되찾도록 지원합니다. 클라우드플레어는 기본적으로 AI 크롤러가 명시적인 허가 없이 웹사이트에 접근하는 것을 차단합니다. 사이트 소유자는 봇의 접근을 허용하거나, 접근 권한을 무료 또는 유료로 설정할지 선택할 수 있습니다. AI 이에 따라 회사들은 크롤러가 훈련, 추론 또는 검색에 사용되는지 여부를 공개해야 하며, 이를 통해 게시자에게 의사 결정에 중요한 맥락을 제공해야 합니다.
'크롤링당 지불'의 메커니즘
"크롤링당 과금" 기능은 지난 1년 동안 AI 크롤러 차단 또는 모니터링을 위해 출시된 Cloudflare의 기존 도구를 기반으로 합니다. 이 도구에는 AI 봇을 완전히 차단하는 원클릭 설정과 어떤 봇이 어떤 콘텐츠를 스크래핑하는지에 대한 인사이트를 제공하는 대시보드가 포함되어 있습니다. "크롤당 과금" 기능은 방문당 몇 센트에 불과하더라도 액세스에 대한 가격 책정 메커니즘을 도입하여 이를 한 단계 더 발전시킵니다. 비공개 베타 단계에서 게시자는 개별 크롤러를 허용하거나, 완전히 차단하거나, 각 크롤링에 대해 특정 요금을 설정할 수 있습니다. Cloudflare는 이 과정에서 중개자 역할을 하며 AI 회사의 결제를 처리하고 창출된 수익을 웹사이트 소유자에게 직접 전달합니다. 참여하려면 게시자와 AI 회사 모두 Cloudflare 계정을 보유해야 합니다.
변화하는 검색 패러다임
이 회사는 이 시스템이 인간 사용자가 아닌 AI 에이전트가 웹사이트의 주요 방문자가 되는 미래 시나리오에서 특히 유용할 수 있다고 제안합니다. 그러한 미래에는 AI 에이전트가 데이터를 수집하고 처리한 후 원본 출처를 거치지 않고 사용자에게 요약이나 답변을 직접 제공할 수 있습니다. Cloudflare는 사용자가 신뢰할 수 있는 출처에서 고품질 콘텐츠를 가져오도록 AI 에이전트에 예산을 할당할 수 있으며, "크롤링당 과금"과 같은 시스템이 이러한 유형의 콘텐츠 소비 모델을 지원할 수 있다고 생각합니다. 이러한 비전은 게시자가 구글과 같은 검색 엔진이 가시성과 추천 트래픽을 대가로 사이트를 무료로 크롤링하도록 허용하는 오랜 모델의 잠재적 붕괴를 보여줍니다. AI가 이러한 모델을 약화시키기 시작했다고 합니다. 검색을 전통적인 검색을 점차 대체하여 사용자를 원래 소스로 안내하지 않고 크롤링된 콘텐츠에서 직접 답변을 추출합니다.
퍼블리셔의 과제와 AI의 영향
AI 기업의 온라인 콘텐츠 활용 방식을 둘러싼 갈등이 고조되고 있습니다. 뉴욕타임스와 같은 일부 대형 언론사는 이미 허가 없이 기사를 스크래핑했다는 혐의로 기술 기업을 상대로 소송을 제기했습니다. 반대로, 다른 주요 언론사들은 훈련 데이터를 제공하고 자사 콘텐츠가 챗봇 응답에 게재될 수 있도록 라이선스 계약을 체결했습니다. 그러나 이러한 계약은 주요 기업에만 국한된 것으로 알려졌으며, 이를 통해 창출되는 실제 수익은 아직 불확실합니다. 특히 소규모 언론사들은 이처럼 변화하는 환경에서 선택의 폭이 제한적이라고 합니다. "크롤링당 과금(Pay per Crawl)" 방식은 이러한 소규모 언론사들이 콘텐츠에 대한 요금을 직접 청구할 수 있는 수단을 제공하여 중개업체에 대한 의존도를 줄이거나 현재 감소하고 있는 추천 트래픽을 기대할 수 있게 해 줄 수 있습니다.
하지만 이미 많은 AI 기업들이 허가 없이 콘텐츠를 스크래핑하고 있다는 보고가 있어, AI 기업들이 접근 비용을 지불하도록 설득하는 것은 어려울 수 있습니다. 더욱이 경제적 측면이 퍼블리셔에게 당장 유리하지 않을 수도 있습니다. Cloudflare는 퍼블리셔가 AI 봇으로부터 트래픽을 얼마나 자주 회수하지 못하는지 보여주는 데이터를 공유했습니다. Cloudflare에 따르면, Google의 크롤러는 클릭 14회당 1,700회의 사이트를 스크래핑한 것으로 알려졌습니다. OpenAI의 크롤러는 조회당 73,000회, Anthropic의 크롤러는 조회당 무려 XNUMX회의 사이트를 스크래핑한 것으로 알려졌습니다. 광고 수익을 위해 트래픽에 크게 의존하는 비즈니스 모델을 가진 퍼블리셔에게 이러한 수치는 불리한 교환입니다.
산업 지원 및 향후 전망
AI가 자신의 작업을 사용하는 방식에 대한 보다 강력한 보호를 지지하는 미디어 및 콘텐츠 조직의 목록은 다음과 같습니다. BuzzFeed, TIME, Reddit, Condé Nast, Stack Overflow. Cloudflare는 신규 웹사이트에 대한 기본 설정을 이제 AI 크롤러 차단으로 변경하여 사이트 소유자가 특정 봇을 수동으로 허용하도록 요구합니다. Cloudflare는 이를 "제어의 기본"이라고 부르며, 이를 통해 게시자에게 권한을 부여합니다. Cloudflare CEO 매튜 프린스 또한 회사는 자체 스테이블코인을 개발하거나 다른 공급업체와 협력하여 이러한 거래를 지원하기 위해 스테이블코인을 활용하는 방안을 모색하고 있다고 밝혔습니다. 클라우드플레어 모델의 규모 확장 효과는 퍼블리셔의 합리적인 가격 책정과 AI 기업의 지불 의사에 따라 여전히 불확실합니다. AI 에이전트는 사용자가 온라인에서 정보에 접근하는 방식에서 더 큰 역할을 할 가능성이 높습니다. 이러한 추세가 지속된다면, 클라우드플레어 시스템은 이러한 AI 시스템을 구동하는 콘텐츠의 수익화 가능성을 조기에 시험해 볼 수 있는 기회가 될 수 있습니다.
