一句话划清界限
LangChain 的判据只有一条:程序下一步走哪儿,如果是大模型当场定的,它就是 agent。
做了四年 agent 产品的 LangChain 团队,把定义压成了一句话:agent(能自己决定下一步做什么的 AI 程序)就是用大模型来决定一个程序控制流的系统。
控制流说的是程序的路线:先干什么、再干什么、遇到情况是拐弯还是继续、什么时候停。传统软件里这条路线是程序员一行行写死的。agent 的全部特别之处,就是把画路线的笔交给了模型。
按这条线,不少被厂商叫做 agent 的东西都不算。一个客服机器人如果只是把用户的话理解一遍、按固定顺序查三张表、再回一句,那模型干的是填空,路线仍然是代码定的。反过来,一个没有任何华丽外壳、但每一步都在自己判断该调哪件工具的小脚本,它是 agent。
这条线真正的价值,在于它直接告诉你要准备什么:模型手里的决定权越多,你就越需要把每次运行都记录下来、有办法衡量好坏、管住它的权限、给它一个摔了也不伤人的地方跑代码。
自主是一条滑梯
agent 不是有或没有,而是你把多少决定权交给了模型,交得越多,周边工具越要跟上。
LangChain 把自主程度拆成三个问题,每一级的差别就是这三个问题的答案归谁:
- 每一步的结果由谁定?
- 下一步走哪儿由谁定?
- 一共有哪些步可选,由谁定?
从底往上,答案一个接一个从代码转到模型手里。最底下是程序员写死的逻辑,最顶上是模型自己造工具、还把工具记住留给下次用。
原文拿自动驾驶做参照,这个类比很值得借。没有人争论 L2 辅助驾驶算不算真自动驾驶,因为整个行业早就定好了分级,工程师直接说自己在做第几级。AI 这行还没有这套刻度,于是省下来的争论时间都花在了吵谁才是真 agent 上。
该写死的就写死
要求明确的步骤用写死的代码,只有必须临场判断的地方才交给模型,两边用反了都要出事。
工作流(按事先写好的路径,把模型和工具一步步串起来跑)和 agent 的区别,在生产环境里就是一个具体的设计决定。
该用工作流的地方上了 agent,等于凭空给自己引进不确定性:同样的输入,这次这么走,下次那么走,出了问题查都难查。该用 agent 的地方上了工作流,等于把路径焊死,输入一变形就断。
答案通常是混着来。 报销单里金额对不对、日期格式合不合规,这类要求写得清清楚楚的步骤,用代码写死;用户那句含糊的话到底想办什么事、该调哪件工具,交给模型判断。
拆开就是个循环
agent 内部没有魔法,不过是模型在一个圈里反复读状态、选动作、调工具、看结果,再决定要不要接着转。
模型之所以能攥住控制流,靠的就是这个圈。每转一轮,它读一遍当前状态,挑一个动作,调用工具,看回来的结果,更新自己记住的东西,然后决定是继续还是收工。
拆到零件层面只有四样:做决定的模型、能读写外部世界的工具、跨轮次留住上下文的记忆,还有把这三样串起来的推理循环。
像一个人在陌生城市找路:看一眼自己现在在哪,决定往哪拐,走过去,看看对不对,把走错的那个路口记住,再决定还要不要往前。区别只在于 agent 每一轮都可能换一件工具。
先别急着加 agent
LangChain 的五条建议里最硬的一条是:你自己都判断不出对错的活,别指望 agent 能判断。
所有这些架构只在你真需要 agent 时才有意义。任务简单的时候,一条写死的工作流、一个检索系统、一次大模型调用,表现都会比 agent 更好。只有控制流必须在运行时才能定,才轮到 agent 上场。
- 先做一个 agent,把提示词写好。一个提示词写得好、手里有几件称手工具的模型,能解决的真实问题多得出人意料。
- 要加能力先加工具,别加 agent。给它一件新工具,比把推理拆到好几个 agent 身上便宜得多,也好查得多。
- 撞上明确的墙再上多 agent。上下文装不下了、工具多到模型挑不清了、或者干脆是两个团队各管一块,这三种情况才值得拆。
- 先想检索,再想推理。大多数查知识的活,一条搭好的检索流水线胜过一个平庸的 agent。
- 判断不了的事别外包。你自己认不出什么是正确答案,agent 也认不出。
这五条指向同一件事:自主程度不是越高越好。合适的那一级,由任务本身、它需要的工具,以及你有没有能力验收结果共同决定。
两种评估缺一不可
线上评估告诉你线上出没出事,离线评估告诉你这次改动到底有没有变好,少一样都不够。
线上评估跑在真实流量的追踪记录(一次运行里模型每一步想了什么、调了哪件工具、拿回什么结果的完整记录)抽样上。它是温度计,不是标准答案:能告诉你有用性分数昨晚是不是掉了,某件工具是不是比以前更常失败。
离线评估跑在人工整理好的数据集上。它才是有标准答案的考试,回答的是另一个问题:换个提示词、换个模型、换套架构,到底有没有变好?而且是在上线之前就知道。
LangChain 把这两件事接成了一个圈:建、测、发、看,四步首尾相连。线上跑出来的记录和用户反馈,回流成下一轮的测试用例。如果评估只对着编出来的数据跑,那 agent 也只擅长应付编出来的问题。
让模型给模型打分
用大模型批量给 agent 的输出打分是可行的,但不先校准,你拿到的就是一堆看起来严谨、其实没意义的分数。
人工一条条看根本看不过来,所以用另一个模型当判官,按人定的标准给输出打分:有没有帮上忙、有没有瞎编、任务到底完成没有。
判官的水平上限就是你给它的标准的清晰度。 LangChain 的校准做法是:人工给一批真实记录打上标签,让判官也打一遍,看哪几条打得不一样,再改判官的提示词,直到两边对得上。他们把这套流程做成了一个可重复的工具,叫 Align Evals,目的是 agent 改版之后判官还能继续准。
只看答案会漏错
在多个 agent 协作的系统里,最终答案对不等于过程对,派错了子 agent、调错了工具、顺序颠倒,全被一个正确答案盖住了。
所以要评的不只是输出,还有路径。原文管这种叫路径评估,问的是三件事:有没有叫对该叫的那个子 agent、顺序对不对、用的工具对不对。多 agent 系统事先往往说不准哪个子 agent 会接手,只验收最后那段文字,等于放过了中间所有走错的路,包括那些白花钱的多余调用。
人的位置也在这里。对于敏感的、做了就撤不回来的动作,LangChain 建议让 agent 停下来等人批准、修改、驳回或者追问。
关键在于别让这些人工动作白白消失。领域专家在审核队列里把一个回答改成本该有的样子,那条修改就应该直接变成下一版的标准答案样本。每一次人工纠正,要么沉淀成数据,要么就是纯成本。
落地的不到一成
agent 眼下的真实状态是试的人多、跑起来的少,而这篇把方法论讲得最清楚的公司,同时在卖配套的货。
麦肯锡 2025 年 11 月的 State of AI 调查:62% 的受访者在试 agent,但任何一个业务部门里真正做到规模化的都不超过 10%。Gartner 的预测更冷:到 2027 年底,超过四成的 agent 项目会被砍掉,原因是成本失控、说不清商业价值、风控不到位。
原文开的药方是把模型周围的基础设施补齐:能逐次检查运行过程的可观测性、能衡量改动的评估和数据集、隔离跑代码的沙箱(让 agent 写出来的代码只能在一个封闭环境里跑,搞砸了也波及不到真系统),以及限制它能碰什么的权限控制。这四样确实是从原型到生产的门槛。
但要看清一件事:原文点名的每一样,追踪、评估、沙箱、多用户鉴权,都是 LangChain 自家 LangSmith 的产品。方法论和货架在同一篇文章里。
这不等于建议是错的。一家连续四年在生产环境里发 agent 的公司,对哪些坑会把项目拖垮的判断是有分量的,五条建议里没有一条是为了卖东西才存在的。只是当一篇文章既定义问题又卖解药,读者得自己分清:哪部分是经验,哪部分是导购。