AI 的知识有保质期
AI 助手靠训练时背下来的内容回答问题,而软件文档几个月就变一次,于是它经常一本正经地教你用早就改掉的写法。
AI 模型的知识是在训练那一刻被冻结的。训练结束之后世界发生了什么,它不知道。聊天写文案时这个滞后可以忍。写代码就是硬伤:某个功能的用法上个月刚改,模型还在教你旧的。
现有的补救办法是让 AI 自己上网搜。Cloudflare 说这条路「慢、耗 token、而且经常搜到错的或过期的来源」。AI 搜到一个链接,得把整个网页抓下来读一遍,而网页里大半是导航栏、页脚、广告位,真正有用的可能只有三段话。读这些垃圾要花钱,还容易被搜索引擎排在前面的旧博客带跑偏。
Cloudflare 这次的动作,是把「上网搜」换成「查一个只装了自家最新文档的专用库」。
从拼零件到一条命令
以前开发者要自己把五六个不同的服务拼起来才能做出这套搜索,现在敲一行命令就有了。
这次更新的核心是省掉了组装工序。以前想给自己的数据做一个 AI 能用的搜索,得自己张罗五样东西:抓网页的、算向量的、存向量的、存文件的、管模型调用的。每一样都要配置,还要写代码把它们串起来,任何一环出错整条链就断。
现在 Cloudflare 的 AI Search 把这些活自动做完了。你只需要告诉它两件事:搜哪个网站、要不要开混合搜索。剩下的抓取、切块、转成向量、建索引、查询排序,全在后台跑。
还有一道门槛被拆掉:以前接入一个网站,这个网站必须有站点地图(一份列出网站所有页面网址的清单文件,方便机器按单子逐个抓)。没有清单就用不了。现在多了一个「Discover」选项,机器从首页开始,看到链接就点进去,像人顺着导航一页页翻,自己把网站摸清楚。
关键词和意思一起搜
Cloudflare 让每次查询同时跑两套逻辑:一套按字面对词,一套按意思对语义,因为用户问的问题分两类。
按字面对词擅长精确查找:你知道那个函数叫什么名字,只想找到它出现的那一页。这时候语义搜索反而碍事,它会给你一堆「意思差不多」的页面。
按意思对语义擅长开放提问:「这个东西是干什么用的」,你不知道文档里用了什么词,只能描述意图。这时候按字面找就落空,因为文档里可能压根没出现你用的那个词。
Cloudflare 的做法是两套一起跑,叫混合搜索(一次查询里同时用关键词匹配和语义匹配,再把两边结果合起来排序)。建库时加一个参数就能开启。
十个网站,一次搜完
Cloudflare 把自家十个不同域名的文档站分别建库,再让 AI 一次调用横扫全部十个,返回结果自带来源标记。
这十个站分别是:Cloudflare 官方文档、博客、API 文档、社区论坛,以及 Astro、Vite、Vitest、Hono、Replicate、OpenNext。后面这几个是 Cloudflare 收购或维护的开源项目,各自有独立的网站。
它们域名不同、结构不同,但都归 Cloudflare 所有,能被当成一个整体处理。每个站建一个独立的库,十个库归到同一个「命名空间」下,一次查询打进去,十个库同时搜,结果合并排序返回。
返回的每一段都标了来自哪个库、原文在哪一页。这对 AI 写代码很关键:它不只是拿到答案,还能把出处报给你,让你自己去核。
开发者有两条路可选。想把搜索缝进已有的程序里,就写几行代码调用;只想要一个能分享的搜索链接,就打开公开端点开关,一键出一个网址,不用写代码,也不用登录就能访问。Cloudflare 自己走的是第一条,它要把这个搜索工具塞进原本就有的那套 AI 工具集里。
它抓网页时守规矩
Cloudflare 的抓取程序用一个固定不可改的名字标明自己身份,并遵守网站主人设的禁抓规则。
这条在当下值得单独说。大量 AI 公司的抓取程序被指控伪装身份、绕过禁令、无视网站主人的意愿扒内容。
Cloudflare 的 AI Search 用的名字叫 Cloudflare-AI-Search。这个名字是不可变的(写死在程序里、无法被使用者修改的标识),任何网站都能认出「这是 Cloudflare 的 AI 搜索在抓我」,并据此决定放不放行。它也遵守 robots.txt,那是网站根目录下一份告诉机器「哪些页面别抓」的文件。
分量在于 Cloudflare 的位置:全球很大一部分网站的流量都经过它。它既卖抓取工具,又卖拦抓取的服务。在这个位置上把自己的抓取程序标记清楚,是它必须做的自我约束。
账单长什么样
Cloudflare 把最难预测的两笔开销直接免费了,把成本压成了一个开发者能提前算出来的数。
这套服务现在还在测试期,免费,但 Cloudflare 提前公布了收费模型。真正的设计在于哪些东西不计费。
有两个环节被免掉了:把文字转成向量(embedding),和把搜索结果重排序让最相关的排前面(reranking)。只要用它默认的模型,这两步不花钱。而这两步的开销恰好最难预估,你无法提前知道一次搜索会消耗多少 token,它们又在每次搜索里都要跑。免掉之后,开发者不用再为这笔算不清的账担心。
Cloudflare 给了一个样例账单:两万份文档(约两千万 token 的文字)加一千张图片,每月三万次搜索。首月约五十美元,之后每月约二十一美元。差价来自建索引,那是一次性的活,建完就不用再建。
这个价格本身是一种定位。每月二十一美元大约等于一顿外卖的钱,说明这套东西不是卖给大企业采购部门的,而是卖给个人开发者和小团队的:门槛低到不需要打申请。
这是在抢一个入口
Cloudflare 想成为 AI 写代码时默认去查资料的那个地方,这比一个搜索功能大得多。
注意 Cloudflare 在文章里的一句话:接上这个工具,就能「替掉通常的退路,先网页搜索,再抓整页下来」。它明确指出自己要替代什么:AI 现在的上网查资料方式。
替代有实打实的好处。AI 拿到的是切好的、带出处的、来自官方最新文档的内容,不是一堆网页原始 HTML。搜得准、花得少、还能溯源。写代码容错率极低,这三点都是硬需求。
代价也要看清。你把文档搜索交给 Cloudflare,索引、存储、查询就都跑在它的平台上;它自家十个站的例子演示得再漂亮,前提是那些站都归它所有,你自己的网站要接入,今天必须先是 Cloudflare 的客户。文章承认了这一点,说「更多验证归属的方式即将推出」,但那还是没做出来的事。
这是一篇 Cloudflare 自己写的 Cloudflare 产品文章。好处是它写出了真实的实现细节和真实的账单,坏处是所有效果对比都由它自己给出,没有第三方测过。