数十亿次白跑
Cloudflare 在自己的网络上看到,一大批守规矩的机器人一遍遍抓取根本没变过的页面,数十亿次请求换不来任何结果。
这些不是恶意爬虫。它们守规矩、按节奏来访,只是每次都把整页重新拉一遍,哪怕上面一个字都没改。算力全烧掉了,结果是零。
人打开一个页面会看图、会往下滚、会点进去下一页;程序不会。它只要那几行字,却被迫把整套版式、样式、图片位置一起搬走一次,再原样扔掉。
数十亿次请求,全部落在没变过的页面上。
Cloudflare 的判断是:网页是照着人的习惯做的,而来敲门的已经不是人了。
它不是爬虫
这个新访客不看你的图、不点你的广告,但另一端坐着一个正在付钱的人。把它当爬虫处理,赶走的是客户。
浏览器一直用一个叫 User-Agent 的字段向网站自报身份,直译就是「用户的代理人」。这个名字过去有点多余,现在成了字面意思:agent(能自己拆任务、连续干活、替人跑腿的 AI 程序)真的在代替一个人上网。今天最成熟的形态是写代码的 agent,它读文档、改代码、调接口,从头到尾没有「看」过任何一个页面。
关键在另一端。agent 每发一次请求,都有人为它烧掉的算力买单,请求本身也带着明确目的:替某个人办一件具体的事。
拦掉它,你拦掉的就是你的客户。
Cloudflare 用一句话概括这个转变:机器人已死,机器人万岁。旧世界的规则是机器人坏、人类好;新世界里,一个机器人是好是坏,要看它读得省不省资源、守不守站长定的规矩、用了东西给不给钱。
读、找、用、付
Cloudflare 把 agent 时代的网络拆成四件事:能被找到、能被读、能被调用、能被付费,顺序是先被找到。
一个 agent 想读一篇文章、调一个功能、付一笔钱,前提都是先知道这东西存在。「被发现」是所有经济行为的起点。
这四件事底下垫的是四套开放标准(规则公开写在纸上、任何公司都能照着实现的技术约定):x402 管付款、MCP 管工具调用、Web Bot Auth 管机器人身份、PACT 管匿名担保。Cloudflare 反复强调自己没有偷跑的通道,用的是和客户完全同一套接口,没有只对自己开放的内部 API。站点可以自己选身份服务商、自己选支付渠道、自己选合作的 agent。
普通人最终不会关心这些名词。他们判断这套东西好不好,标准和当年判断网页一样朴素:订一张餐桌,是一次对话搞定,还是像现在这样来回九次。
先自报家门
Web Bot Auth 让机器人用密码学签名证明自己是谁,网站不用再靠猜,伪造身份的把戏也就失效了。
过去网站判断来客是不是机器人,基本靠推测和特征匹配,而任何程序都能在请求里随便写一个假身份。签名不一样:它伪造不了,来的是谁一目了然。网站从此可以按名单办事。
还有一层更省事的做法。很多网站早就通过登录、下单、使用记录知道请求背后的那个人是谁。这类网站可以签发 PACT,替这个人做一次匿名担保,agent 拿着这张凭证去别的网站,一路少受很多阻拦。这套方案是 Cloudflare 和 Mozilla、Google、Microsoft、Shopify 一起宣布的。
有了身份,站长才谈得上选择。Cloudflare 举了三种典型态度:
- 开发者工具:巴不得被 agent 找到、推荐、付费,越早对 agent 友好越好。
- 新闻出版商:拦掉光抓不给的 agent,放行愿意按内容付费的那些。
- 非营利数据机构:超出流量额度的一律拦,但允许对方付钱解封,这笔钱正好覆盖多消耗的服务器成本。
给机器读的网页
Markdown for Agents 在服务器这一端把网页剥成纯文本发给 agent,Kitesurf 则是客户端那一头一个用完就扔的极简浏览器。
AI 读写文字是按 token(可以理解成计价器上的跳数,读得越多跳得越多、花的钱越多)结算的。字体、间距、图片框、广告位,这些给人看的 HTML 标签对 agent 是双重浪费:先花带宽搬回来,再花钱读一遍然后忽略掉。
Kitesurf 走的是另一条路:一个瘦到能直接跑在 Cloudflare 服务器上的浏览器,每来一个请求现开一个,用完就销毁。它只提供 agent 真正需要的能力,把传统浏览器里为人准备的那一大堆功能全部砍掉。
看不见就等于下线
AI Search 让任何公开站点能被 agent 搜到,AEO 则用来测量你的品牌在各家模型和 agent 眼里到底有多大存在感。
agent 找东西的方式不是人那一套。人对着搜索框慢慢打字、扫一眼结果、点开三条对比;agent 需要的是为它设计的接口,一次问清楚。Cloudflare 说 AI Search 现在就能用,任何公开网站都可以接。
另一半是被看见。内容作者和接口提供方现在多了一个新指标:我在 agent 那里有多少存在感。Cloudflare 把这件事命名为 AEO,对应人类时代那个人人都懂的 SEO,只不过优化对象从搜索引擎换成了模型和 agent。
如果你在客户使用的那些 agent 眼里不具备可测量的可见度,那么对这些客户来说,你实际上已经下线了。
把按钮变成接口
WebMCP 让网站直接把「加一条待办」这样的动作声明给 agent,省掉它猜哪个按钮该点的全部环节。
看看今天一个 agent 想往待办清单里加一条要经历什么:把整页 HTML 拆开、猜哪个元素是「添加」按钮、伪造一次点击,然后祈祷网站从上次到现在没改过版。任何一次前端调整都可能让它当场失灵。
WebMCP 的做法是让网站主动写清楚:我提供一个叫 add-todo 的功能,需要一段文字作为参数,调用它就会把这条内容加进用户当前的清单。契约从此是明写的。这些功能在页面内部执行,agent 直接复用用户已经登录好的状态,不用另想办法带身份。
Cloudflare 还往前推了一步,叫 Code Mode:agent 本来就用代码思考,让它写几行代码去调这些功能,比用一段散文描述自己想干什么更快也更准。这里还藏着一个对站长的好处:agent 调的是明确的功能接口而不是乱抓网页,站长第一次能清楚看到自己的哪些内容和能力真的被用了。
每次抓取几分之一美分
广告和按人头收费在 agent 这里同时失效,Cloudflare 押的是按次计费:一次抓取收几分之一美分,一篇报道在被读的那一刻完成授权。
先看旧模式为什么塌。广告要有人看才值钱,而 agent 根本不渲染广告位;按席位收费的前提是用户是个人,而这里的用户是个程序。靠没有发生过的页面浏览量,养不活我们每天都在依赖的那些媒体。
新模式的算法完全不同。一个靠广告永远没盈利过的食谱网站,按每次抓取收几分之一美分,在 agent 的访问量级上就可能是赚钱的;一家地方报纸不必先谈一份授权合同、也不必让对方注册账号,文章被读到的那一刻就完成计费。另一端,agent 带着一个钱包和一个人类只设定过一次的预算额度上路。
每一笔付费都会留下一张双向的收据:出版方能证明是哪个 agent 取走了哪个页面,agent 能证明自己为用过的东西付过钱。Cloudflare 提供的具体入口叫 Monetization Gateway,站长点几下就能开通向 agent 收费。
开放的那一半在别人手里
标准确实是公开的,但决定互联网会不会变成围墙花园的那一半,不在 Cloudflare 手上。
先说这套东西真实的开放程度:x402、MCP、Web Bot Auth、PACT 都是任何人能实现的公开规范,站点可以用别家的身份服务、别家的支付渠道。同时也要看清另一面:Cloudflare 是这套铁轨的铺设方,也是上面卖票的公司之一。让站点「对 agent 就绪」的控制台、收费网关、可见度测量产品,都要在它这里注册。铺路和收费站是同一家,这不算隐瞒,但读的时候得记着。
更要紧的是,Cloudflare 自己点破了这套构想最脆弱的地方:开放必须两边都开放。供给侧的网站再多元,只要需求侧收敛成少数几个 agent 入口,互联网照样是围墙花园。
而需求侧恰恰不归 Cloudflare 管。造出主流 agent 的是另外几家公司,它们愿不愿意走这些公开标准、还是自己建一套只对自己开放的通道,是这件事的真正胜负手。Cloudflare 能做的是先把路修好、把闸机装上,然后等对面的人决定要不要走这条路。