加工具不等于加能力

在小范围测试里,多给一个工具就是多一项本事;进了真实工作流,同一个新工具会顺着整个系统扩散出一连串副作用。

Sidekick 是 monday.com(一款团队用来管项目进度的在线看板软件)里内置的 AI 助手。它的第一版和大多数原型一样:一个通用 agent(能自己拆解任务、连续调用工具干活的 AI 程序),外加一份不断变长的工具清单。用户想让它多干一件事,就给它多一件工具。

这个做法在验证阶段是有效的,它帮团队确认了用户真正想要什么:总结项目、找出卡住的环节、起草进展更新、分析文件、直接改看板。但推到生产环境后,能力在纸面上还在涨,在实际使用中已经在跌。Omri Bruchim 列了七条反复出现的症状,其中最要命的是这三条:

  1. 工具选择变差了。几个功能相近、描述重叠的工具摆在一起,模型更难挑对那一个。
  2. 长流程变脆。中间某一步失败,整个推理过程就会失去方向,而不是只重试那一步。
  3. 出了问题查不出在哪。失败到底来自计划、选错工具、工具执行、取到的数据,还是最后那段回答,分不清。

还有三条同样致命:测试开始组合爆炸(新增一个工具会影响看起来毫不相关的流程)、延迟和成本随复杂度上涨、单个提示词被撑成什么领域都要管的大杂烩。

7 种 多加一个工具引发的连锁故障
monday.com 在生产环境里反复遇到的七类故障,全部由"继续加工具"这一个动作触发。来源:原文对第一版架构的复盘清单。

说明书挤掉了正事

每一轮对话,几十个工具的使用说明都要先占掉模型的阅读额度,用户的问题和真实业务数据反而挤不进去。

工具在模型眼里不是按钮,是一段文字说明:这个工具叫什么、要填哪些参数、什么时候该用。这些说明每一轮都要重新读一遍,不管这次用不用得上。工具越多,说明越长,留给用户提问和真实看板数据的空间就越少。

monday.com 的解法是把工具分成三档,平时只给 agent 看一份简目;agent 判断自己需要哪一个,才显式把它激活,完整说明书这时候才展开。Omri Bruchim 写道:

这就像递给模型一份菜单,而不是把整个厨房扔给它。

菜单上只有菜名,点了才给你看做法。省下来的额度,还给用户真正的问题。

关键不是拆成多个

重建的核心不是「从一个 agent 改成多个 agent」,而是给规划、领域推理、工具调用、实际执行各划一条清楚的界。

现在的 Sidekick 分成几段各管各的责任。主编排 agent 只负责一件事:搞懂用户想干什么、维持一个计划、决定这活该怎么派。简单请求它自己答或者调一个工具就完事;复杂的,它往下派。

往下派有两个去处。一个是专项子 agent:比如写内容的那个,根本拿不到管理看板的工具,它的指令只针对写作这一件事,评测起来也只测这一件事。另一个是沙箱,下一段再说。

在这一切之前,还有一层先跑:上下文与权限层。它负责决定这次请求该取哪些数据、以及这个用户有没有权限看。原文把这一层称为地基,而不是事后加的安全过滤器。顺序不能反。

带上发问位置 只交出可见数据 派发窄任务 简单动作直接调用 只拿得到自己那几件 脏活扔进工作台 只回传结果和摘要 请求入口 用户在哪个看板或文档发问 上下文与权限层 只取这个人有权看的数据 主编排 agent 懂目标、定计划、派活 专项子 agent 窄目标,小工具集 工具 读看板、改条目等一次性动作 沙箱 存文件、写脚本、跑代码
重建后的 Sidekick:权限筛选发生在数据进入 agent 之前,沙箱只把结论回传主线,中间文件不进主模型。来源:原文"The architecture, layer by layer"与沙箱章节。

沙箱是工作台

需要反复试错的活,给 agent 一间带临时文件的小机房,让中间产物待在里面,别流回主模型。

Omri Bruchim 用了一个很好懂的对照:你不会要求一个数据分析师「每改一列就调一次不同的接口」,你会给他一台电脑、相应的权限和一个明确目标,剩下的他自己搞。

沙箱(一块和主系统隔开的临时工作区,agent 可以在里面存文件、写代码、运行它)干的就是这件事。用户传了三个表格,要求和看板数据对上账。在沙箱里,agent 可以把文件存下来、看看列名叫什么、写个脚本跑一遍、撞上格式错误、改完再跑、最后生成一张图表。这些中间步骤和临时文件全程不进主模型的阅读额度,主 agent 只需要拿到结果和一句发生了什么的摘要。

反过来,像「读一个看板」「改一个条目」「发一条已批准的消息」这种输入输出都明确、一次做完的动作,就该是工具:边界清楚,也方便事后审计。

沙箱是什么 一块临时工作台:存文件、 写脚本、跑出错、改完再跑, 中间产物留在里面 沙箱不是什么 不是又一个工具调用。 工具是输入输出都定死、 一次做完的动作
工具解决"能碰哪些东西",沙箱解决"在哪儿干活"。来源:原文"A sandbox gives the agent a place to work"一节。

一个请求怎么跑完

真实请求常常三种机制全用上:工具负责取数,子 agent 负责专项判断,沙箱负责脏活。

拿原文给的例子:「把这三个看板的项目数据和附件里的表格一起分析,找出主要的交付风险,写成一份给高管的更新。」

主 agent 先用工具按权限把三个看板的数据取出来,然后把风险分析派给专门的分析子 agent,它的目标更窄,读到的东西也更少。表格需要合并、计算、出图,分析子 agent 就把文件和选中的看板数据丢进沙箱处理,跑完验证结果。最后由主 agent 或者一个专管写作的子 agent,把这些结论写成高管要的格式。

用户这一侧看到的,自始至终只是一个助手回了一段话。内部的检索、工具、子 agent、沙箱,他一个都不需要知道。原文把这条总结成一句话:对用户的简单,和对内部的简单,是两件事。

主 agent 取数 按权限拉三个看板的数据 分析子 agent 接手 只管找交付风险这一件事 沙箱处理表格 合表、计算、出图,撞错就改 结果回主线 只交结论和摘要,不交中间文件 写作子 agent 收尾 写成高管要的更新格式 用户只看到一个助手回了一段话。
一句请求跑完全程:工具取数、子 agent 判断、沙箱干脏活,三种机制各管一段。来源:原文给出的示例请求"分析这三个看板和附件表格的交付风险,写成高管更新"。

他们唯一后悔的决定

Omri Bruchim 说如果重来一次,会更早划清能力边界。一个 agent 包打天下适合快速学习,但他们让它背了太久太多责任。

这篇文章值得读的地方,在于它的结论和当下的主流方向是反着的。过去两年行业的默认动作是给 AI 接更多工具、更多数据源、更多外部系统,能接的都接上。monday.com 的复盘说的是另一回事:能力的上限由结构决定,不由工具数量决定。加工具是加法,加到某个点之后,它在实际使用中变成减法。

Omri Bruchim 给出的几条原则本身不新鲜:责任划清、权限前置、执行可观察、认真做评测。但它们被放在一个具体的失败经验后面,分量不一样。他还补了一句容易被跳过的话:agent 的行为是概率性的,接口调用成功,不等于用户的目标达成了。

要留意的是这篇文章的位置。它发表在 LangChain 的官方博客上,作者是 monday.com 的工程负责人,文中推荐的编排框架、追踪工具和沙箱,恰好都是 LangChain 自家的产品。架构判断可以借鉴,选型结论要打个折扣。