人工智能（AI）打破了网络的核心经济契约，即内容创作者分享内容，平台则以流量作为回报。
当机器人在未经同意或补偿的情况下大规模攫取价值时，内容创作者将无法生存。若高质量原创内容消失，AI系统最终也会随之退化。
解决之道在于重构网络基础设施，使创作者能够知晓谁在抓取其内容、能够控制访问或就访问收费，并参与公平市场，从而维系多元化、高质量的数字生态。
互联网是浩瀚的人类知识与创造力宝库，它建立在一种简单而强大的交换之上：分享内容，网络便回馈流量。这一根本契约数十年来支撑着数字经济，推动了新闻业、文化、商业和创新。
如今，这一契约已被打破，网络架构正经历根本性重构，内容与商业领域也出现了不同的交易模式。
作为Cloudflare首席战略官，我近距离见证了数字基础设施层所发生的巨大变革。我们的数据显示，“机器人之战”急剧升级，这一冲突亟需全球领导者、政策制定者和创新者立即关注。
我们面临的关键问题是：如何保护那些推动数字经济发展的高质量原创内容与商业活动？
AI巨头的崛起
自20世纪90年代以来，网络爬虫一直充当数字图书管理员，为信息建立索引以便检索。然而，过去两年间，人工智能（AI）爬虫开始涌现。
与其前辈不同，后者会将流量引回信息源，这些新型AI机器人则吸收内容，用以训练并充实能够直接回答用户问题的模型。
一方面，这带来了令人惊叹的用户体验，提供即时、综合的答案，消除了传统搜索的种种阻碍。另一方面，这些机器人在未将用户引向原始来源的情况下消耗网络的原材料，威胁着滋养它们的生态系统本身。
要维系充满活力、可普遍获取的数字经济，我们必须在这种无缝的用户体验与可持续的商业模式之间取得平衡，后者应公平地评估并支持原创内容的创作者。
从规模来看，根据Cloudflare Radar的最新数据，2025年搜索和AI爬虫的合并流量增长了19%。部分最大的AI爬虫的请求量增长了超过300%（仅一年之内）。
更令人震惊的是，这些机器人向其所抓取网站的所有者回馈的流量：几乎为零。
举例来说。2025年12月第一周，每有28,400个HTML页面被一个知名AI机器人请求，它仅向原始网站带回了一次访问。新旧模型都显示，它们所消耗的内容与其为内容创作者带来的回报之间存在明显失衡。
试看其中的不对称性：一次真人访问会为网站带来价值，例如通过广告展示、产品购买、订阅等方式；而一次替代了十亿次真人访问的机器人访问，则威胁着该网站的生存。
互联网被打破的契约
与创作者最初的约定是：你们提供内容，作为交换，我们将为你们带来流量，这是数字经济的货币。
如今，互联网用户正从提供链接列表供用户自行浏览的搜索引擎，转向由AI驱动的答案引擎。这一根本性转变意味着，用户如今期望并获得针对复杂问题的直接综合答案，并加速了“零点击”搜索的趋势。
当流量引荐下降，相较于“旧版谷歌”模式，降幅达750倍，甚至30,000倍，商业模式便会崩溃。互联网未来的争夺战正在发生，而参战者正是机器人。
这并非反对AI的发展。AI仍有可能带来变革性的数字复兴与民主化。要兑现这一承诺，AI既需要数据、语境和训练才能发挥作用，也需要一个健康的生态系统，使原创内容不被视为无限、免费的资源。
若高质量内容因创作者无法维持其工作而消失，AI模型最终将以噪音、重复和低价值材料为食，导致对所有人而言，互联网都变得更不可靠、最终也更无用。
世界经济论坛如何帮助领导者理解AI并携手推动负责任的创新
人工智能卓越中心连接各行业领导者，共同理解人工智能的快速演进及其对经济和社会的影响。该中心支持围绕人工智能应用所涉及的机遇、风险与权衡展开知情对话。
通过可信赖的交流空间和协作性倡议，该中心助力合作伙伴建立共同理解，并携手推进负责任的人工智能创新与应用。
构建更公平人工智能的三大支柱框架
未经同意的抓取不可持续。只有当我们建立新规则，以及能够为创作者、商户和企业提供控制权与选择权的底层基础设施时，互联网才能保持开放与多元的空间。
这一转变包含三大关键支柱：
1. 透明度
要建立运转良好的市场，我们必须明确谁在访问网站以及访问目的。AI平台必须清楚披露其抓取行为的性质。该机器人是在收集用于一般搜索的信息，还是专门囤积数据用于专有训练模型？
网站所有者需要这些信息，才能就是否授权做出知情决定。若缺乏这种基本透明度，AI公司便不只是在收集数据，而是在破坏维系网络运转的信任。
2. 控制权
一旦零售商或创作者知道访问机器人的身份与意图，他们就必须有权定义交互条款。无论你是出版商还是零售商，都必须能够针对特定行为进行屏蔽、允许或收费。
例如，一家小企业可能希望对使用其产品规格训练专有模型的权利收费，同时又允许为购物者在研究产品时回答其问题而进行索引。
新的可持续平衡依赖于使网站能够控制访问，并决定是否就其内容所提供的价值收费。这为按抓取次数付费（pay-per-crawl）模式创造了可能，使新闻工作者、艺术家和商户因驱动这些强大AI引擎的“燃料”而获得补偿。
3. 可持续的生态系统
过去，搜索引擎维系着内容生态，但这一责任将越来越多地转移到AI公司身上。要构建健康的数字经济，互联网的底层基础设施必须通过更高效的模式演进，以提供高质量数据并实现互惠，使为数字世界提供动力的创作者、出版商和小企业得以繁荣发展。
它们能否将正确的内容呈现给模型，以准确展现其品牌？零售商能否让日益依赖AI获取答案的消费者更轻松地发现产品？能否防止AI代理代替人类购买时出现欺诈？这些问题是我们必须自问的，以构建一个惠及所有人的生态系统。
这并非反对创新，而是致力于构建可持续、公平的数字经济。我们应当努力实现的未来，是拥有众多AI公司、声音和卖家的未来。
作为数字生态系统的领导者，我们有责任制定规则，以鼓励合作、创新与相互尊重。只有当这种关系公平、基于自愿并且透明时，AI才能与各类创作者、商户和小企业完全共存。
