问题不在模型

让 AI 可靠地干完一件事,靠的不是换一个更聪明的模型,而是围着模型搭起来的那一圈东西。

AI 圈现在最常见的失望是这样的:换上最新最强的模型,让它自己去完成一个真实任务,整理一批文档、修一个 bug、处理一批订单。它前两步做得漂亮,第三步跑偏,第五步交出一个看着像对的错答案。

LangChain 这家公司做的就是帮开发者搭这类程序的工具,他们在自家博客上给出的诊断是:问题不在模型,在外壳。这里说的 agent(能自己拆解任务、连续调用工具干活的 AI 程序)之所以不可靠,是因为大多数人只搭了最里面那一层,把任务丢给模型,让它自己转。

真正让它可靠的,是外面一层层包上去的机制:谁来验收它的结果、什么时候该叫它干活、它干砸了之后谁去改它。LangChain 把这些统称为 harness(外壳,指围着模型搭的那套工具、规则和流程),并且拆成四层,由内往外一层套一层。

这个分法不是 LangChain 原创。他们在文中提到,说法借自技术写作者 swyx 提出的「loopcraft」(循环工艺):把循环一层层叠起来,做出更管用的 agent。

第 1 层 模型循环调工具, 把活干完 第 2 层 打分员验收, 不合格打回 第 3 层 事件一来自己启动 第 4 层 读自己的记录, 回头改自己
LangChain 把 agent 的可靠性拆成由内往外的四层循环。前三层自动化的是干活,第四层自动化的是变好——原文称它"可能是最重要的一层"。

第一层:干活

最里面这层就是 agent 的全部本体,模型在一个圈里反复调用工具,直到它自己认为活干完了。

这一层的算法简单到有点不像回事:给模型上下文,让它调用工具,循环,直到结束。就这一句。

工具是这层的关键。模型本身只会生成文字,是工具让它能真的动手:打开一个文件、改一行字、发一封邮件。LangChain 的 create_agent 这个功能提供的就是这层,选一个模型,插上一组工具,一个能跑的 agent 就有了。

用他们自己那个文档 agent 举例。它接到一个改文档的请求,模型先想清楚要改什么,然后依次调用工具:把 代码仓库(存放一个项目全部文件和修改历史的地方)复制到本地、读文件、写文件,最后开一个 pull request(一份写着「我改了这些地方,请你过目」的修改申请,等人或系统批准后才真正生效)。

这一层能把活干完。它做不到的,是保证干对。

接到请求 Slack 里一句「这段文档要改」 模型规划 拆成几步,决定先做哪个 调用工具 复制仓库、读文件、改写内容 看结果 没做完就带着结果再想一轮 收尾交付 开一个修改申请等人过目 中间三步反复转圈,直到模型自己判断任务完成 ——这个圈就是第 1 层。
agent 最里层的运作方式:模型在一个圈里反复调用工具,直到它认为活干完了。步骤取自 LangChain 自家文档 agent 的实际流程。

第二层:验收

在干活的循环外面套一个打分员,不合格就带着评语打回去重做。

agent 第一遍交出来的东西经常不达标:链接是死的、改动范围超出了要求、顺手改坏了别的地方。第二层的做法是加一个打分员,拿一份评分标准逐条检查结果,没过就把结果连同评语一起退回给模型,让它再来一遍。

打分员有两种。一种是死规则,比如跑一遍自动测试,通过就是通过;另一种是让另一个模型当裁判,读一遍产出,按标准打分。LangChain 提供了一个叫 RubricMiddleware 的组件来做这件事。

文档 agent 每改完一次,打分员会检查三件事:所有链接能不能打开、自动测试有没有全过、改动范围有没有超出请求。这几类错误不需要人看一眼就能拦住。

代价是明摆着的:多一层验收,就多一轮延迟和一份账单。LangChain 的判断是,大多数正式上线的场景里质量比速度值钱,这钱该花。

第三层:自己启动

把 agent 接进日常用的系统里,事情一发生它自己就跑,不用人打开某个页面点开始。

前两层解决的是干得好不好,第三层解决的是什么时候干。

LangChain 认为这层的重点是接线:把 agent 接到你本来就在用的那套系统上,让它在后台一直待命。有新文档进来、到了约定的时间点、某个网站发来一条通知,agent 就自己启动。它不再是一个你去调用的工具,而是一个一直挂在系统里运行的零件。

触发方式主要两类:定时(每天早上八点跑一次),和事件(某件事发生就跑)。LangChain 提到一个例子是 openclaw 里的「心跳」,让 agent 按固定节奏自己醒来看看有什么要做。从一个你问它才答的工具,变成一个会主动来找你的助理。

他们自己的文档 agent 接的是 Slack。团队里谁在 #docs-plz 这个频道发一条消息,agent 就被叫醒开工。没有人需要登录任何后台。

第四层:改自己

最外面这层不生产任何结果,它读 agent 的运行记录,回头改写 agent 自己的指令和工具。

前三层自动化的是干活,第四层自动化的是变好。LangChain 认为这层可能是四层里最重要的。

agent 每跑一次都会留下一条 运行记录:模型当时怎么想的、调了哪些工具、打分员给了什么评语,全在里面。这些记录里埋着一个别处拿不到的信号,这个 agent 到底在哪儿反复摔跤。第四层派另一个分析程序去读这批记录,找出规律,然后动手改外壳:改提示词、改工具、甚至改打分标准。LangChain 用来做这件事的产品叫 Engine。

他们自己的用法是:让 Engine 定期扫一遍文档 agent 的运行记录,当多条记录同时指向同一个毛病时,自动开一张工单,要求修改那段出问题的指令或工具。

关键的一步在于这条返回箭头不是绕回起点,而是伸进里面那几层,直接改它们。外层每转一圈,里面几层就变得更好用一点。

LangChain 还提了一句更远的用法:改提示词和工具只是最容易做的那种改进。如果一个团队用的是权重公开、可以自己继续训练的模型,这批运行记录可以直接当教材,去调整模型本身。

循环是那个不变的套路;至于它用来优化什么,由你决定。
第 3 层 · 触发器 Slack 消息 / 定时 / 网站通知 第 1 层 · 干活的 agent 调工具,把任务做完 第 2 层 · 打分员 照标准验收结果 运行记录堆 每跑一次留一条完整回放 第 4 层 · 分析程序 读记录,找反复出现的毛病 事件一来就叫醒它 交出结果待验 没过,带评语 打回重做 留下这一次的完整回放 打分评语也一起存进去 多条记录指向同一个毛病 回头改它的指令和工具 也能改验收标准
四层怎么咬合:虚线是第四层最特别的地方——它不把结果交还给起点,而是直接伸进里面两层,改写它们的指令和标准。

人站在哪

四层全自动不等于没有人,每一层都有一个人该守的位置,只是人守的东西变了。

LangChain 在文中反复强调一件事:自动化不是把人从流程里拿掉。

他们给的例子很实在:一个自动打分员能查出链接是不是死的,但它看不出这篇文档的语气对错了对象,写给新手的东西写成了给专家看的。这种判断来自上下文、经验和品味,是人该留在这里的理由。

另一类必须留人的是敏感操作:转账、改数据库。这些地方不能等到事后发现。LangChain 说他们的框架把「人在回路里」做成了四个层各自的一个标准接口:

  1. 干活的那层:调用敏感工具之前,先停下来等人点头
  2. 验收的那层:遇到敏感流程,直接让人来当打分员
  3. 面向用户的那层:结果返回给用户之前,先由人过一眼
  4. 改自己的那层:对外壳的修改要先走人工审核,才能上线

第 4 条值得多看一眼。它意味着 LangChain 自己也认为,让 agent 直接改自己的指令这件事,不该完全放手。

怎么看这篇文章

四层分法值得拿走,但这篇文章每一层的落地方案都指向 LangChain 自家产品,而且全文没有一个数字。

先说值得拿走的部分。把「agent 不好用」拆成四个可以分别下手的层次,这个框架是通用的,跟用不用 LangChain 无关。他们指出的重心转移也站得住:多数团队还在折腾第一层和第二层,真正会滚雪球的是第三层和第四层,接进系统、持续自我改进。

再说这篇文章的另一面。第一层对应 create_agent,第二层对应 RubricMiddleware,第三层对应 LangSmith Deployment 和 Fleet,第四层对应 Engine,四层一一对应四个自家产品。这不是错,但读的时候要知道:你在读的是一份产品地图,只是它被写成了一套方法论。

更值得留意的是全文没有一个数字。没有说加了第二层之后错误率降了多少,没有说第四层跑了几个月、改对过几次、改错过几次。唯一的实例是他们自己那个写文档的 agent,一个出了错代价极低的场景。

还有个细节能说明这篇文章写给谁看。文末列举同行时,原文只写了四个名字:Steipete、Boris、Andrej、Satya。没有姓,没有职位,默认你认识。其中 Satya 被引用的观点是:那些早早建起学习循环、让人的判断力和算力投入一起复利增长的公司,会攒出别人难以复制的优势。(从上下文谈的是公司组织和算力投入推断,这里指的应是微软 CEO 萨提亚·纳德拉,但原文未写明。)

agent 的潜力,在你围着它搭的那些循环里。

这句话是对的。只是说这话的人,正好在卖搭循环的工具。