一句话划清界限

LangChain 的判据只有一条:程序下一步走哪儿,如果是大模型当场定的,它就是 agent。

做了四年 agent 产品的 LangChain 团队,把定义压成了一句话:agent(能自己决定下一步做什么的 AI 程序)就是用大模型来决定一个程序控制流的系统。

控制流说的是程序的路线:先干什么、再干什么、遇到情况是拐弯还是继续、什么时候停。传统软件里这条路线是程序员一行行写死的。agent 的全部特别之处,就是把画路线的笔交给了模型。

按这条线,不少被厂商叫做 agent 的东西都不算。一个客服机器人如果只是把用户的话理解一遍、按固定顺序查三张表、再回一句,那模型干的是填空,路线仍然是代码定的。反过来,一个没有任何华丽外壳、但每一步都在自己判断该调哪件工具的小脚本,它是 agent。

这条线真正的价值,在于它直接告诉你要准备什么:模型手里的决定权越多,你就越需要把每次运行都记录下来、有办法衡量好坏、管住它的权限、给它一个摔了也不伤人的地方跑代码。

这才算 agent 下一步走哪儿,由大模型 在运行时自己决定 这些常被误当成 agent 会聊天、会调工具, 但路线早被代码写死的程序
这张图告诉你分界线落在哪:不是看它会不会调工具,而是看路线由谁定。依据 LangChain 给出的定义句。

自主是一条滑梯

agent 不是有或没有,而是你把多少决定权交给了模型,交得越多,周边工具越要跟上。

LangChain 把自主程度拆成三个问题,每一级的差别就是这三个问题的答案归谁:

  1. 每一步的结果由谁定?
  2. 下一步走哪儿由谁定?
  3. 一共有哪些步可选,由谁定?

从底往上,答案一个接一个从代码转到模型手里。最底下是程序员写死的逻辑,最顶上是模型自己造工具、还把工具记住留给下次用。

原文拿自动驾驶做参照,这个类比很值得借。没有人争论 L2 辅助驾驶算不算真自动驾驶,因为整个行业早就定好了分级,工程师直接说自己在做第几级。AI 这行还没有这套刻度,于是省下来的争论时间都花在了吵谁才是真 agent 上。

单次调用 模型只出内容, 路线写死 固定链条 几次调用按预定 顺序串起来 路由器 模型挑走 哪条分支 状态机 模型在一组 步骤里反复自选 全自主 agent 自己造工具, 还记住下次用 越往后,模型手里的决定权越多,对记录、评估、权限和沙箱的要求也越高。
这张图告诉你自主程度的五个台阶,从模型只负责填内容,到模型自己造工具并记住。来源:原文的六级自主度表述,略去了最底层不含大模型的纯手写逻辑。

该写死的就写死

要求明确的步骤用写死的代码,只有必须临场判断的地方才交给模型,两边用反了都要出事。

工作流(按事先写好的路径,把模型和工具一步步串起来跑)和 agent 的区别,在生产环境里就是一个具体的设计决定。

该用工作流的地方上了 agent,等于凭空给自己引进不确定性:同样的输入,这次这么走,下次那么走,出了问题查都难查。该用 agent 的地方上了工作流,等于把路径焊死,输入一变形就断。

答案通常是混着来。 报销单里金额对不对、日期格式合不合规,这类要求写得清清楚楚的步骤,用代码写死;用户那句含糊的话到底想办什么事、该调哪件工具,交给模型判断。

拆开就是个循环

agent 内部没有魔法,不过是模型在一个圈里反复读状态、选动作、调工具、看结果,再决定要不要接着转。

模型之所以能攥住控制流,靠的就是这个圈。每转一轮,它读一遍当前状态,挑一个动作,调用工具,看回来的结果,更新自己记住的东西,然后决定是继续还是收工。

拆到零件层面只有四样:做决定的模型、能读写外部世界的工具、跨轮次留住上下文的记忆,还有把这三样串起来的推理循环。

像一个人在陌生城市找路:看一眼自己现在在哪,决定往哪拐,走过去,看看对不对,把走错的那个路口记住,再决定还要不要往前。区别只在于 agent 每一轮都可能换一件工具。

读当前状态 现在进行到哪一步了 选一个动作 这一轮该干什么 调用工具 去外部世界读或写 看结果、记下来 更新自己的记忆 决定要不要继续 继续就回到第一步 四个零件在这个圈里协同:模型、工具、记忆,加上把它们串起来的推理循环。
这张图告诉你 agent 每转一轮都在干什么。依据原文对 agent loop 的逐步描述。

先别急着加 agent

LangChain 的五条建议里最硬的一条是:你自己都判断不出对错的活,别指望 agent 能判断。

所有这些架构只在你真需要 agent 时才有意义。任务简单的时候,一条写死的工作流、一个检索系统、一次大模型调用,表现都会比 agent 更好。只有控制流必须在运行时才能定,才轮到 agent 上场。

  1. 先做一个 agent,把提示词写好。一个提示词写得好、手里有几件称手工具的模型,能解决的真实问题多得出人意料。
  2. 要加能力先加工具,别加 agent。给它一件新工具,比把推理拆到好几个 agent 身上便宜得多,也好查得多。
  3. 撞上明确的墙再上多 agent。上下文装不下了、工具多到模型挑不清了、或者干脆是两个团队各管一块,这三种情况才值得拆。
  4. 先想检索,再想推理。大多数查知识的活,一条搭好的检索流水线胜过一个平庸的 agent。
  5. 判断不了的事别外包。你自己认不出什么是正确答案,agent 也认不出。

这五条指向同一件事:自主程度不是越高越好。合适的那一级,由任务本身、它需要的工具,以及你有没有能力验收结果共同决定。

两种评估缺一不可

线上评估告诉你线上出没出事,离线评估告诉你这次改动到底有没有变好,少一样都不够。

线上评估跑在真实流量的追踪记录(一次运行里模型每一步想了什么、调了哪件工具、拿回什么结果的完整记录)抽样上。它是温度计,不是标准答案:能告诉你有用性分数昨晚是不是掉了,某件工具是不是比以前更常失败。

离线评估跑在人工整理好的数据集上。它才是有标准答案的考试,回答的是另一个问题:换个提示词、换个模型、换套架构,到底有没有变好?而且是在上线之前就知道。

LangChain 把这两件事接成了一个圈:建、测、发、看,四步首尾相连。线上跑出来的记录和用户反馈,回流成下一轮的测试用例。如果评估只对着编出来的数据跑,那 agent 也只擅长应付编出来的问题。

让模型给模型打分

用大模型批量给 agent 的输出打分是可行的,但不先校准,你拿到的就是一堆看起来严谨、其实没意义的分数。

人工一条条看根本看不过来,所以用另一个模型当判官,按人定的标准给输出打分:有没有帮上忙、有没有瞎编、任务到底完成没有。

判官的水平上限就是你给它的标准的清晰度。 LangChain 的校准做法是:人工给一批真实记录打上标签,让判官也打一遍,看哪几条打得不一样,再改判官的提示词,直到两边对得上。他们把这套流程做成了一个可重复的工具,叫 Align Evals,目的是 agent 改版之后判官还能继续准。

只看答案会漏错

在多个 agent 协作的系统里,最终答案对不等于过程对,派错了子 agent、调错了工具、顺序颠倒,全被一个正确答案盖住了。

所以要评的不只是输出,还有路径。原文管这种叫路径评估,问的是三件事:有没有叫对该叫的那个子 agent、顺序对不对、用的工具对不对。多 agent 系统事先往往说不准哪个子 agent 会接手,只验收最后那段文字,等于放过了中间所有走错的路,包括那些白花钱的多余调用。

人的位置也在这里。对于敏感的、做了就撤不回来的动作,LangChain 建议让 agent 停下来等人批准、修改、驳回或者追问。

关键在于别让这些人工动作白白消失。领域专家在审核队列里把一个回答改成本该有的样子,那条修改就应该直接变成下一版的标准答案样本。每一次人工纠正,要么沉淀成数据,要么就是纯成本。

落地的不到一成

agent 眼下的真实状态是试的人多、跑起来的少,而这篇把方法论讲得最清楚的公司,同时在卖配套的货。

麦肯锡 2025 年 11 月的 State of AI 调查:62% 的受访者在试 agent,但任何一个业务部门里真正做到规模化的都不超过 10%。Gartner 的预测更冷:到 2027 年底,超过四成的 agent 项目会被砍掉,原因是成本失控、说不清商业价值、风控不到位。

原文开的药方是把模型周围的基础设施补齐:能逐次检查运行过程的可观测性、能衡量改动的评估和数据集、隔离跑代码的沙箱(让 agent 写出来的代码只能在一个封闭环境里跑,搞砸了也波及不到真系统),以及限制它能碰什么的权限控制。这四样确实是从原型到生产的门槛。

但要看清一件事:原文点名的每一样,追踪、评估、沙箱、多用户鉴权,都是 LangChain 自家 LangSmith 的产品。方法论和货架在同一篇文章里。

这不等于建议是错的。一家连续四年在生产环境里发 agent 的公司,对哪些坑会把项目拖垮的判断是有分量的,五条建议里没有一条是为了卖东西才存在的。只是当一篇文章既定义问题又卖解药,读者得自己分清:哪部分是经验,哪部分是导购。

62% 受访者在试 agent 不到 10% 任一业务部门做到规模化
这张图告诉你 agent 的落地缺口有多大:试的人是跑起来的六倍还多。数字出自麦肯锡 2025 年 11 月 State of AI 调查。