1년 전, 우리는 콘텐츠 독립기념일을 선언했습니다. 당시 우리는 업계 곳곳에서 감지되기 시작한 변화를 확인할 수 있었습니다. 인터넷의 근본적인 경제 구조가 바뀌고 있었던 것입니다. AI 도입은 빠르게 가속화되고 있었고, 퍼블리셔는 추천 트래픽이 급격히 감소하는 상황을 겪고 있었으며, AI 기업은 의도를 명확히 밝히지 않은 채, 그리고 대부분 어떠한 보상도 제공하지 않은 채 전례 없는 규모로 웹을 크롤링하고 있었습니다.
우리는 기본 설정을 변경했습니다. Cloudflare의 모든 신규 도메인에서 도메인 소유자가 별도로 허용하지 않는 한 AI 학습 크롤러를 기본적으로 차단하도록 했습니다. 이는 웹을 폐쇄하기 위해서가 아니었습니다. 보다 건강한 생태계를 위해서는 투명성, 제어, 희소성, 그리고 궁극적으로는 고품질 콘텐츠가 정당한 가치를 인정받고 공정하게 거래될 수 있는 시장이 필요하다고 믿었기 때문입니다.
1년이 지난 지금, 그 시장은 현실이 되었습니다. 그러나 인터넷의 변화는 우리의 예상보다 훨씬 더 빠르게 진행되었습니다. 이번 보고서에서는 인터넷의 비즈니스 모델이 얼마나 빠르게 변화했는지를 보여주는 주요 데이터를 공유하고, 이러한 새로운 콘텐츠 시장이 퍼블리셔와 사이트 소유자에게 어떤 의미를 갖는지 살펴봅니다.
1부: 인터넷은 모두의 예상보다 더 빠르게 변화했습니다
AI는 단순한 또 하나의 기술 주기가 아닙니다. 스마트폰보다 2배 이상 빠른 속도로 진행되고 있는 플랫폼 전환입니다. 불과 3년 반 만에 전 세계 인구의 30%가 넘는 25억 명의 활성 사용자가 생성형 AI를 일상적으로 사용하게 되었습니다. AI 도입 곡선은 단순히 가파른 수준이 아니라, 거의 수직에 가깝게 치솟고 있습니다.
사람들이 정보를 접하고, 업무를 수행하며, 온라인에서 시간을 보내는 방식이 이처럼 빠르게 변화한 적은 없었습니다.
인터넷을 사용하는 방식도 극적으로 달라지고 있습니다. 오늘날 사람들이 온라인에서 정보를 찾는 데 사용하는 시간 가운데 개방형 웹에서 보내는 시간은 15분에 불과합니다. 사용자가 AI 기반 검색과 콘텐츠 소비 방식으로 이동하면서 기존의 검색 행태는 빠르게 쇠퇴하고 있습니다. 과거에는 정보를 찾고 비교하기 위해 여러 웹사이트를 방문했지만, 이제는 프롬프트만 입력하면 거의 즉시 종합된 답변을 받을 수 있습니다.
올해 에이전트 트래픽은 처음으로 역사적인 전환점을 넘어섰습니다. 현재 인터넷 트래픽의 50% 이상이 사람이 아닌 주체에 의해 발생하고 있습니다. 이러한 변화는 퍼블리셔와 콘텐츠 소유자, 그리고 개방형 웹의 미래에 매우 큰 영향을 미칩니다.
Cloudflare가 목적에 따라 분류한 크롤러를 살펴보면 크롤러 트래픽의 구성이 이러한 변화를 분명하게 보여줍니다.
2026년 6월 기준 크롤러 요청의 52%가 AI 학습을 위한 것으로, 2025년 봄의 22%에서 크게 증가했습니다.
검색, 에이전트 사용, 학습을 함께 수행하는 혼합형 크롤러가 전체 활동의 36% 이상을 차지합니다.
순수 검색 크롤링은 퍼블리셔의 검색 가능성을 유지하는 데 여전히 중요하지만, 전체 크롤러 활동에서 차지하는 비중은 작아지고 있으며 계속 감소하고 있습니다.
AI 학습이 크롤러 활동의 주요 목적이 되면서 검색을 위한 크롤링과 학습을 위한 크롤링을 구분하는 능력이 그 어느 때보다 중요해지고 있습니다. 그러나 혼합형 크롤러는 이러한 구분을 모호하게 만들어 콘텐츠 소유자에게 어려운 선택을 강요합니다. 에이전트 시대에 검색 가능한 상태를 유지할 것인지, 아니면 가장 가치 있는 콘텐츠를 아무런 보상 없이 제공할 것인지 선택해야 하는 것입니다.
기존의 비즈니스 모델은 더 이상 통하지 않습니다
수십 년 동안 개방형 웹의 경제 모델은 단순했습니다. 콘텐츠 제작자는 검색 엔진에서의 가시성을 얻는 대가로 자신의 콘텐츠에 대한 액세스를 제공했고, 검색 엔진은 추천 트래픽을 돌려주었습니다. 이러한 트래픽은 퍼블리셔와 크리에이터, 기업이 경제적 가치를 창출하는 핵심 수단이었습니다.
그러나 이제 이러한 교환 구조는 무너지고 있습니다. 콘텐츠는 여전히 크롤링되고, 색인 생성되며, 활용되고 있지만, 그에 상응하는 트래픽은 점점 더 원본 콘텐츠로 돌아오지 않고 있습니다. AI 시스템이 직접 질문에 답하고, 제품을 비교하고, 조사를 수행하고, 작업을 처리하면서 개방형 웹의 정보는 점점 AI 학습 및 정보 검색 시스템의 일부가 되고 있습니다. 여기서 제기되는 근본적인 질문은 단순합니다. 이용자가 원본 사이트를 방문하지 않은 채 콘텐츠만 소비된다면, 콘텐츠 제작자는 어떻게 지속 가능한 활동을 이어갈 수 있을까요?
가장 먼저 영향을 받은 산업은 뉴스 조직과 미디어 기업이었습니다. 그러나 이제는 리테일, 소프트웨어, IT, 금융 등 다양한 산업에서도 같은 현상이 나타나고 있습니다. 가장 많이 크롤링되는 일부 분야에서는 사람에 의한 트래픽이 1년도 채 되지 않아 최대 40%까지 감소했습니다.
많은 퍼블리셔는 이제 'Google Zero'라고 부르는 시대에 대비하고 있습니다. 검색 추천으로부터 유입되는 트래픽이 거의 없거나 전혀 없는 세상을 의미합니다.
이러한 변화는 사실상 모든 산업에 영향을 미칩니다. 인터넷에 독점적인 정보를 게시하는 모든 조직은 에이전트 시대에서 어떻게 운영해야 하는지 이해해야 합니다. 이는 콘텐츠 소유자만의 문제가 아니라 우리 모두와 관련된 문제입니다. 인터넷은 세계 경제의 핵심 기반이자 정보를 발견할 수 있도록 하는 가장 중요한 공공 자원 가운데 하나입니다. 인터넷이 앞으로도 건강하고 지속 가능한 생태계로 유지되도록 하는 것은 우리 모두에게 필수적인 과제입니다.
콘텐츠 독립기념일을 발표하면서 우리는 세 가지를 약속했습니다.
사이트 소유자가 콘텐츠에 대한 액세스 방식과 수익화 방식을 직접 결정할 수 있도록 투명성과 제어 기능을 제공합니다.
콘텐츠 소유자에게 다시 협상력을 돌려줄 수 있도록 희소성을 만들어내는 도구를 제공합니다.
모든 규모의 콘텐츠 제작자와 AI 기업이 콘텐츠를 더욱 효율적으로 발견하고, 라이선스를 체결하며, 가치를 평가할 수 있는 마켓플레이스를 구축합니다.
1년이 지난 지금, 수익화된 콘텐츠 시장은 현실이 되었으며, 역동적인 마켓플레이스가 형성될 수 있는 여건도 갖춰지고 있습니다.
과거에는 퍼블리셔가 AI 기업이 자신의 콘텐츠에 어떻게 액세스하고 이를 어떻게 활용하는지 파악할 수 있는 방법이 거의 없었습니다. 추천 트래픽이 감소하면서 이러한 가시성 부족은 경제적인 문제로 이어졌고, 퍼블리셔는 새로운 수익 창출 방안을 모색하기 시작했습니다.
Cloudflare의 귀속성, 비즈니스 인텔리전스 및 정책 시행 도구는 퍼블리셔가 네트워크 수준에서 AI의 콘텐츠 소비 현황을 파악할 수 있도록 지원했습니다. 이는 robots.txt와 같은 자발적 표준보다 훨씬 효과적인 정책 시행 수단입니다. 퍼블리셔는 처음으로 자신의 콘텐츠가 어떻게 액세스되고 수익화되는지 확인할 수 있게 되었습니다. 이러한 제어 기능은 희소성을 만들어냈고, 공급과 수요에 기반한 콘텐츠 경제를 형성했습니다.
콘텐츠 액세스를 적극적으로 관리한 퍼블리셔는 성공적으로 희소성을 만들어냈고, 이는 더 유리한 계약을 이끌어내는 협상력으로 이어졌습니다. 또한 퍼블리셔는 처음으로 운영 수준의 귀속성 데이터를 확보하게 되었습니다. 여기에는 LLM이 콘텐츠에 얼마나 자주 액세스를 시도했는지, 어떤 경쟁 LLM이 콘텐츠를 크롤링했는지, 가장 수요가 높은 URL이 무엇인지, 그리고 크롤링 대비 추천 트래픽 비율이 어떠한지에 대한 정보가 포함됩니다. 이러한 정보는 라이선스 협상에서 정보 비대칭을 줄였으며, 퍼블리셔가 충분한 정보를 바탕으로 협상에 임할 수 있도록 지원했습니다.
이러한 협상력은 고객에게 실질적인 힘을 제공했습니다. AI 시스템이 콘텐츠에 어떻게 액세스하고 이를 활용하는지에 대한 가시성이 높아지면서 고객은 이러한 변화가 자신의 비즈니스에 미치는 영향을 더 잘 이해하게 되었고, 자신이 구축한 정보와 브랜드, 그리고 독자의 가치를 더욱 자신 있게 설명할 수 있게 되었습니다.
콘텐츠 소유자와 AI 기업 간의 힘의 균형이 바뀌기 시작하면서 라이선스 경제도 형성되고 있습니다.
2023년 이후 퍼블리셔와 AI 기업 간 50건이 넘는 계약이 체결되었습니다.
주요 AI 기업은 차별화된 프리미엄 콘텐츠의 가치를 점점 더 인정하며 적극적으로 콘텐츠 라이선스를 확보하고 있습니다.
공동 라이선스 모델도 계속 등장하며 확대되고 있습니다.
대형 퍼블리셔는 의미 있는 라이선스 계약을 체결하며 AI 생태계에서 콘텐츠가 실질적인 경제적 가치를 지닌다는 사실을 입증하고 있습니다.
이제 논의의 초점은 콘텐츠에 보상이 이루어져야 하는지 여부가 아닙니다. 이제는 어떻게 보상할 것인가가 핵심입니다.
시장은 성숙하고 있지만 비효율성은 여전히 남아 있습니다
초기의 라이선스 계약은 수요가 존재한다는 사실을 입증했습니다. 그러나 현재의 라이선스 계약은 대부분 개별 협상 방식으로 이루어지고 있으며, 감소한 추천 트래픽이나 광고 및 제휴 수익을 완전히 대체하기는 어려울 것으로 보입니다. 이에 따라 퍼블리셔는 기존의 사람 중심 검색 가능성을 유지하는 동시에 AI 소비를 최적화하고, 새로운 수익화 방안을 모색하고 있습니다.
공급과 수요를 효율적으로 연결하는 일은 여전히 쉽지 않습니다. 또한 모든 콘텐츠의 가치가 동일하지 않다는 점에는 공감대가 형성되어 있지만, 콘텐츠 가치 평가 방식은 아직 정립되지 않았습니다.
이 시장을 논하면서 Google의 독특한 역할을 빼놓을 수는 없습니다. Google은 여전히 온라인 검색의 주요 관문으로, 전체 추천 트래픽의 약 88%를 차지하고 있습니다. 그러나 동시에 Google은 자사 AI 환경 안에서 사용자가 콘텐츠를 직접 소비하도록 하는 방향으로 점점 더 이동하고 있습니다.
검색과 콘텐츠 소비는 근본적으로 서로 다른 목적을 가집니다. 검색은 사용자를 콘텐츠로 유도하는 반면, AI 기반 환경은 사용자가 원본 사이트를 방문하지 않아도 콘텐츠를 요약하고 재활용하는 방향으로 발전하고 있습니다. 웹사이트 소유자가 이 둘을 다르게 바라보는 이유도 여기에 있습니다. 하나는 트래픽을 만들어내지만, 다른 하나는 점점 그 트래픽을 대체하고 있기 때문입니다.
이러한 차이는 사이트 소유자가 누구에게 어떤 목적으로 콘텐츠 액세스를 허용할지 결정할 때 특히 중요해집니다. 대부분의 선도적인 AI 기업은 검색용 크롤러와 학습용 크롤러를 분리하여 운영하기 때문에, 퍼블리셔는 목적에 따라 콘텐츠 액세스를 허용하거나 차단하기가 비교적 쉽습니다. 그러나 Google은 그렇지 않습니다. 현재 Google은 선도적인 AI 기업보다 약 2배 더 많은 정보에 액세스할 수 있습니다. Google은 검색과 AI 활용을 함께 수행하는 혼합형 봇을 사용하기 때문에, 고객은 Google의 AI 생태계에도 참여하지 않고서는 Google 검색 생태계에 참여하기가 어렵습니다.
다른 AI 제공업체와 달리 Google의 혼합형 크롤러는 사이트 소유자의 투명성도 제한합니다. 검색과 AI 액세스가 하나의 크롤러에 결합되어 있기 때문에 퍼블리셔는 Google이 어떤 목적으로 콘텐츠에 액세스하는지 알 수 없으며, 검색에 사용되는 트래픽과 AI 환경에 사용되는 트래픽을 구분할 수도 없습니다. 또한 네트워크 수준에서 이러한 활동을 각각 허용하거나 차단함으로써 얻을 수 있는 가시성과 근거 데이터도 확보할 수 없습니다.
이러한 상황은 콘텐츠 소유자와 모든 규모의 AI 기업을 보다 효과적으로 지원하기 위해, 더 높은 수준의 투명성과 제어 기능, 그리고 새로운 수익화 모델에 대한 요구를 더욱 가속화하고 있습니다.
Cloudflare는 새롭게 형성되고 있는 에이전트 경제의 중심에 자리하고 있습니다.
웹사이트의 20% 이상이 Cloudflare 네트워크를 사용하고 있습니다. 전 세계에서 가장 많이 방문하는 웹사이트 가운데 36%가 Cloudflare 네트워크를 이용하고 있으며, Fortune 500 기업의 40% 이상이 Cloudflare 고객입니다. 또한 선도적인 AI 기업의 약 80%가 수천 개의 개발자 및 신생 AI 기업과 함께 Cloudflare를 사용하고 있습니다.
이러한 독보적인 위치를 통해 우리는 시장의 양측을 모두 볼 수 있습니다. 우리는 콘텐츠를 만드는 콘텐츠 소유자와 이를 소비하는 AI 기업, 그리고 양측을 점점 더 긴밀하게 연결하는 다양한 신호를 모두 확인하고 있습니다. 이러한 관점은 지난 1년 동안 시장이 어떻게 변화해 왔는지, 그리고 이제 시장이 무엇을 필요로 하는지에 대해 독보적인 통찰을 제공하고 있습니다.
퍼블리셔와 AI 기업이 새로운 에이전트 경제에 적응해 나가는 가운데, Cloudflare는 이제 이 생태계에 무엇이 필요한지 더욱 명확하게 이해하게 되었습니다.
콘텐츠 소유자는 누가 자신의 콘텐츠에 액세스하는지, 어떻게 활용하는지, 그리고 어떤 목적으로 사용하는지에 대한 가시성과 제어 기능을 점점 더 필요로 하고 있습니다. AI 기업 역시 투명성이 퍼블리셔와의 신뢰를 구축하고 마찰을 줄여준다는 사실을 점점 더 인식하고 있습니다. 이제 가시성과 정책 시행은 더 이상 보안만의 문제가 아닙니다. 라이선스 협상과 비즈니스 의사결정에 직접적인 영향을 미치는 필수적인 비즈니스 요건이 되었습니다.
Cloudflare는 투명성을 새로운 표준으로 만들기 위해 귀속성, 측정 기능 및 퍼블리셔 제어 기능을 지속적으로 강화하고 있습니다. 이를 통해 콘텐츠 소유자는 자신의 콘텐츠가 어떻게 액세스되고 활용되는지에 대해 더욱 높은 수준의 가시성과 제어 기능을 확보할 수 있습니다.
업계가 더 높은 수준의 투명성을 향해 나아가는 가운데, 우리는 검증 가능한 봇의 자기 식별과 크롤링 목적에 대한 명확한 선언이 지속 가능한 생태계를 위한 핵심 요소라고 믿습니다. 현재도 우리 네트워크에서 발생하는 크롤러 활동의 3분의 1 이상은 콘텐츠 소유자가 크롤링 목적을 구분할 수 없도록 만드는 혼합형 봇에서 발생하고 있습니다. Cloudflare는 생태계와 적극적으로 협력하는 한편, 내년 이맘때까지 이 비율을 0으로 낮추는 것을 목표로 관련 기능에 지속적으로 투자하고 있습니다.
지난 1년 동안 AI 기업에는 단순한 콘텐츠 액세스만으로는 충분하지 않다는 사실이 점점 더 분명해졌습니다. 무엇에 액세스해야 하는지, 언제 액세스해야 하는지, 그리고 콘텐츠가 얼마나 자주 변경되었는지를 판단할 수 있는 더 나은 방법이 필요합니다. 무분별한 크롤링은 AI 기업의 컴퓨팅 자원을 낭비하고 퍼블리셔에는 불필요한 대역폭 부담을 초래하여 생태계 전반의 효율성을 떨어뜨립니다.
우리는 더 나은 답변을 위해서는 더 나은 정보가 필요하다고 믿습니다. Cloudflare는 신뢰성, 품질, 관련성을 더욱 풍부하게 반영하는 실시간 최신 신호에 투자하여 AI 기업이 차별화된 정보를 더욱 효과적으로 발견할 수 있도록 지원하는 동시에, 웹 전반에서 불필요한 크롤링을 줄이고 있습니다.
시장에는 더 나은 가격 책정보다 더 나은 검색이 먼저 필요합니다
우리는 더 나은 검색이 더 나은 가격 책정보다 먼저 이루어져야 한다고 믿습니다. 시장이 성숙하기 위해서는 퍼블리셔와 AI 기업이 서로에 대해 더 많은 정보를 확보해야 합니다. Cloudflare는 더욱 풍부한 시장 인텔리전스, 콘텐츠 신호, 그리고 생태계 양측의 검색 가능성을 향상시키는 기능에 투자하면서, 이를 통해 시간이 지남에 따라 더욱 확장 가능한 시장 메커니즘의 기반을 마련하고 있습니다.
1년 전 콘텐츠 독립기념일은 하나의 단순한 아이디어를 제시했습니다. 콘텐츠 소유자는 AI 기업이 자신의 정보를 어떻게 액세스하고 활용하는지에 대해 더 큰 통제권을 가져야 한다는 것이었습니다.
지난 12개월 동안 이러한 통제권은 새로운 시장의 형성을 이끌었습니다. 투명성은 희소성을 만들었고, 희소성은 협상력을 만들었습니다. 협상력은 라이선스 계약을 가속화했습니다. 한때 AI와 콘텐츠의 미래를 둘러싼 이론적 논의에 불과했던 것이 이제는 퍼블리셔와 AI 기업, 기술 제공업체 모두가 새로운 경제적 현실에 적응하는 실제 시장으로 발전했습니다.
이제 이 시장은 새로운 인프라를 요구하는 새로운 단계에 접어들고 있습니다. 인터넷이 점점 더 에이전트 중심으로 변화함에 따라 이를 뒷받침하는 기반 시스템도 권한 관리, 라이선스, 상업적 거래를 대규모로 처리할 수 있도록 발전해야 합니다. 콘텐츠 소유자와 AI 기업에는 서로 연결되고 가치를 교환할 수 있는 더욱 효율적인 방법이 필요합니다. 우리는 이러한 기능이 콘텐츠 검색과 수익화를 위한 프로그래밍 가능하고 확장 가능한 메커니즘으로 발전하여, 마찰은 줄이고 더욱 다양한 형태의 가치 교환을 가능하게 할 것이라고 믿습니다.
Cloudflare의 역할은 시장이 콘텐츠의 가치를 더욱 효율적으로 결정할 수 있도록 지원하고, 퍼블리셔와 AI 기업이 더욱 건강하고 역동적인 콘텐츠 경제에 참여할 수 있도록 하는 인프라와 비즈니스 인텔리전스를 구축하고, 이를 가능하게 하는 표준 수립에 기여하는 것입니다.
인터넷은 언제나 진화해 왔습니다. 그러나 이번 변화는 그 어느 때보다 빠르고 영향력이 큽니다. 그럼에도 올바른 인프라와 올바른 인센티브, 그리고 투명성에 대한 확고한 의지가 뒷받침된다면, 우리는 에이전트 인터넷이 모두에게 더욱 지속 가능하고, 더욱 효율적이며, 더욱 유익한 환경으로 발전할 수 있다고 믿습니다.
방법론:
이 보고서의 데이터는 Cloudflare Radar와 Cloudflare Investor Day 2026 발표 자료에서 수집되었습니다.
Cloudflare Radar는 전 세계의 인터넷 트래픽, 공격, 기술 동향, 인사이트를 보여주는 허브입니다. Cloudflare 전역 네트워크의 데이터로 운영되는 Radar는 보안, 성능, 사용이라는 관점에서 인터넷에서 일어나는 상황을 누구나 이해할 수 있도록 돕기 위해 마련되었습니다.
Cloudflare의 독특한 인터넷 파악 방식은 100여 개국 330여 개의 도시에 걸쳐 있는 세계 최대 규모의 전역 네트워크와 더불어 빠른 비공개 인터넷 브라우징 방식으로 널리 사용되는 Cloudflare의 1.1.1.1 공용 DNS 리졸버에서 집계한 익명 데이터를 이용하고 있습니다. 웹사이트의 20% 이상이 Cloudflare 네트워크를 사용하고 있습니다.