数十亿次白跑

Cloudflare 在自己的网络上看到,一大批守规矩的机器人一遍遍抓取根本没变过的页面,数十亿次请求换不来任何结果。

这些不是恶意爬虫。它们守规矩、按节奏来访,只是每次都把整页重新拉一遍,哪怕上面一个字都没改。算力全烧掉了,结果是零。

人打开一个页面会看图、会往下滚、会点进去下一页;程序不会。它只要那几行字,却被迫把整套版式、样式、图片位置一起搬走一次,再原样扔掉。

数十亿次请求,全部落在没变过的页面上。

Cloudflare 的判断是:网页是照着人的习惯做的,而来敲门的已经不是人了。

数十亿次 重复抓取没变过的页面
Cloudflare 在自己网络上观察到的机器人请求量级:大量抓取落在内容没有任何变化的页面上,不产生任何结果。原文未给出统计时间范围。

它不是爬虫

这个新访客不看你的图、不点你的广告,但另一端坐着一个正在付钱的人。把它当爬虫处理,赶走的是客户。

浏览器一直用一个叫 User-Agent 的字段向网站自报身份,直译就是「用户的代理人」。这个名字过去有点多余,现在成了字面意思:agent(能自己拆任务、连续干活、替人跑腿的 AI 程序)真的在代替一个人上网。今天最成熟的形态是写代码的 agent,它读文档、改代码、调接口,从头到尾没有「看」过任何一个页面。

关键在另一端。agent 每发一次请求,都有人为它烧掉的算力买单,请求本身也带着明确目的:替某个人办一件具体的事。

拦掉它,你拦掉的就是你的客户。

Cloudflare 用一句话概括这个转变:机器人已死,机器人万岁。旧世界的规则是机器人坏、人类好;新世界里,一个机器人是好是坏,要看它读得省不省资源、守不守站长定的规矩、用了东西给不给钱。

agent 是什么 替一个正在付钱的人办事的访客, 每次请求都带着目的和账单 不是什么 不是无差别抓数据、不给回报的爬虫, 更不是“机器人=坏”的旧分类
Cloudflare 提出的新分类:好坏不再看是人还是机器,而看它读得省不省、守不守规矩、付不付钱。

读、找、用、付

Cloudflare 把 agent 时代的网络拆成四件事:能被找到、能被读、能被调用、能被付费,顺序是先被找到。

一个 agent 想读一篇文章、调一个功能、付一笔钱,前提都是先知道这东西存在。「被发现」是所有经济行为的起点。

这四件事底下垫的是四套开放标准(规则公开写在纸上、任何公司都能照着实现的技术约定):x402 管付款、MCP 管工具调用、Web Bot Auth 管机器人身份、PACT 管匿名担保。Cloudflare 反复强调自己没有偷跑的通道,用的是和客户完全同一套接口,没有只对自己开放的内部 API。站点可以自己选身份服务商、自己选支付渠道、自己选合作的 agent。

普通人最终不会关心这些名词。他们判断这套东西好不好,标准和当年判断网页一样朴素:订一张餐桌,是一次对话搞定,还是像现在这样来回九次。

被发现 AI Search 让站点可搜,AEO 测可见度 被读取 Markdown for Agents、Kitesurf 浏览器 被调用 WebMCP 直接声明功能,Code Mode 用代码调 被付费 x402 直付商家,Monetization Gateway 收款 四步各自垫着一套任何公司都能实现的公开标准,身份验证(Web Bot Auth、PACT)贯穿全程。
Cloudflare 设想的 agent 网络四步走。顺序不能颠倒——原文明确说,agent 得先知道资源存在,才谈得上读、调用和付钱。

先自报家门

Web Bot Auth 让机器人用密码学签名证明自己是谁,网站不用再靠猜,伪造身份的把戏也就失效了。

过去网站判断来客是不是机器人,基本靠推测和特征匹配,而任何程序都能在请求里随便写一个假身份。签名不一样:它伪造不了,来的是谁一目了然。网站从此可以按名单办事。

还有一层更省事的做法。很多网站早就通过登录、下单、使用记录知道请求背后的那个人是谁。这类网站可以签发 PACT,替这个人做一次匿名担保,agent 拿着这张凭证去别的网站,一路少受很多阻拦。这套方案是 Cloudflare 和 Mozilla、Google、Microsoft、Shopify 一起宣布的。

有了身份,站长才谈得上选择。Cloudflare 举了三种典型态度:

  1. 开发者工具:巴不得被 agent 找到、推荐、付费,越早对 agent 友好越好。
  2. 新闻出版商:拦掉光抓不给的 agent,放行愿意按内容付费的那些。
  3. 非营利数据机构:超出流量额度的一律拦,但允许对方付钱解封,这笔钱正好覆盖多消耗的服务器成本。

给机器读的网页

Markdown for Agents 在服务器这一端把网页剥成纯文本发给 agent,Kitesurf 则是客户端那一头一个用完就扔的极简浏览器。

AI 读写文字是按 token(可以理解成计价器上的跳数,读得越多跳得越多、花的钱越多)结算的。字体、间距、图片框、广告位,这些给人看的 HTML 标签对 agent 是双重浪费:先花带宽搬回来,再花钱读一遍然后忽略掉。

Kitesurf 走的是另一条路:一个瘦到能直接跑在 Cloudflare 服务器上的浏览器,每来一个请求现开一个,用完就销毁。它只提供 agent 真正需要的能力,把传统浏览器里为人准备的那一大堆功能全部砍掉。

看不见就等于下线

AI Search 让任何公开站点能被 agent 搜到,AEO 则用来测量你的品牌在各家模型和 agent 眼里到底有多大存在感。

agent 找东西的方式不是人那一套。人对着搜索框慢慢打字、扫一眼结果、点开三条对比;agent 需要的是为它设计的接口,一次问清楚。Cloudflare 说 AI Search 现在就能用,任何公开网站都可以接。

另一半是被看见。内容作者和接口提供方现在多了一个新指标:我在 agent 那里有多少存在感。Cloudflare 把这件事命名为 AEO,对应人类时代那个人人都懂的 SEO,只不过优化对象从搜索引擎换成了模型和 agent。

如果你在客户使用的那些 agent 眼里不具备可测量的可见度,那么对这些客户来说,你实际上已经下线了。

把按钮变成接口

WebMCP 让网站直接把「加一条待办」这样的动作声明给 agent,省掉它猜哪个按钮该点的全部环节。

看看今天一个 agent 想往待办清单里加一条要经历什么:把整页 HTML 拆开、猜哪个元素是「添加」按钮、伪造一次点击,然后祈祷网站从上次到现在没改过版。任何一次前端调整都可能让它当场失灵。

WebMCP 的做法是让网站主动写清楚:我提供一个叫 add-todo 的功能,需要一段文字作为参数,调用它就会把这条内容加进用户当前的清单。契约从此是明写的。这些功能在页面内部执行,agent 直接复用用户已经登录好的状态,不用另想办法带身份。

Cloudflare 还往前推了一步,叫 Code Mode:agent 本来就用代码思考,让它写几行代码去调这些功能,比用一段散文描述自己想干什么更快也更准。这里还藏着一个对站长的好处:agent 调的是明确的功能接口而不是乱抓网页,站长第一次能清楚看到自己的哪些内容和能力真的被用了。

之前 之后 怎么找到操作 拆 HTML 猜按钮 网站明写功能 出错风险 改版就点错 参数契约明确 登录状态 得另想办法带 复用页内会话 站长看到什么 一堆抓取记录 哪个功能被调用
同一件事——让 agent 往待办清单加一条——在 WebMCP 前后的差别。四行都出自原文对 callable 一节的描述,无数据统计。

每次抓取几分之一美分

广告和按人头收费在 agent 这里同时失效,Cloudflare 押的是按次计费:一次抓取收几分之一美分,一篇报道在被读的那一刻完成授权。

先看旧模式为什么塌。广告要有人看才值钱,而 agent 根本不渲染广告位;按席位收费的前提是用户是个人,而这里的用户是个程序。靠没有发生过的页面浏览量,养不活我们每天都在依赖的那些媒体。

新模式的算法完全不同。一个靠广告永远没盈利过的食谱网站,按每次抓取收几分之一美分,在 agent 的访问量级上就可能是赚钱的;一家地方报纸不必先谈一份授权合同、也不必让对方注册账号,文章被读到的那一刻就完成计费。另一端,agent 带着一个钱包和一个人类只设定过一次的预算额度上路。

每一笔付费都会留下一张双向的收据:出版方能证明是哪个 agent 取走了哪个页面,agent 能证明自己为用过的东西付过钱。Cloudflare 提供的具体入口叫 Monetization Gateway,站长点几下就能开通向 agent 收费。

开放的那一半在别人手里

标准确实是公开的,但决定互联网会不会变成围墙花园的那一半,不在 Cloudflare 手上。

先说这套东西真实的开放程度:x402、MCP、Web Bot Auth、PACT 都是任何人能实现的公开规范,站点可以用别家的身份服务、别家的支付渠道。同时也要看清另一面:Cloudflare 是这套铁轨的铺设方,也是上面卖票的公司之一。让站点「对 agent 就绪」的控制台、收费网关、可见度测量产品,都要在它这里注册。铺路和收费站是同一家,这不算隐瞒,但读的时候得记着。

更要紧的是,Cloudflare 自己点破了这套构想最脆弱的地方:开放必须两边都开放。供给侧的网站再多元,只要需求侧收敛成少数几个 agent 入口,互联网照样是围墙花园。

而需求侧恰恰不归 Cloudflare 管。造出主流 agent 的是另外几家公司,它们愿不愿意走这些公开标准、还是自己建一套只对自己开放的通道,是这件事的真正胜负手。Cloudflare 能做的是先把路修好、把闸机装上,然后等对面的人决定要不要走这条路。