一个模型包干所有活

把「帮我读一下这个文件」和「查清这个测试为什么挂了」交给同一个模型、按同一个价格计费,这个默认做法已经不划算了。

一个 agent(能自己拆解任务、连着干好几步的 AI 程序)完成一件事,通常不是问一次答一次。LangChain 这套测试里的 145 个任务,平均每个要调用 6.3 次模型。

早些年一个模型包干没什么问题,那时各家模型的价格和能力都挨得近。现在两头都被拉开了:最强的模型更贵也更强,开源小模型则便宜到几乎不要钱,足够应付 agent 日常干的活里相当大的一部分。

浪费就出在这里:一件几秒钟就能办完的琐事和一次需要真本事的排查,今天仍然走同一个模型、按同一个价格计费,哪怕前一件根本不需要动用最贵的那个脑子。

先走便宜的,连错两次才换

英伟达开源的 Switchyard 用一条单向规则决定每次调用去哪:所有任务默认走便宜模型,一个小裁判连续两次判定跑偏,才把这条任务整个交给贵模型,并且不再换回来。

Switchyard 是一个 模型路由(按每一步的难度,自动决定这次调用交给哪个模型)库,开源,可以当成一个代理服务跑,也可以塞进 agent 进程里。LangChain 实测的是它的「升级模式」。

每个任务开局都交给便宜的那个:英伟达的 Nemotron 3.5 Lightning,300 亿参数的开源模型。每完成一轮,一个更小的裁判模型(专门给这一轮打分、判断 agent 是不是跑偏了的小模型)投一票。连续两票说跑偏,这条任务从此改由 Claude Opus 4.8 接手。

单向这一点很关键:任务一旦升级,裁判就不必再逐轮跟着跑,路由自身的开销也停在那里。代价是升上去就下不来,后面哪怕遇到简单的一步,也按贵的算。

默认走便宜模型 每个任务都从 300 亿参数的开源模型开始 裁判逐轮打分 一个更小的模型判断这轮是不是跑偏了 连续两票判定跑偏 配置项 confirmations = 2 整条任务交给 Opus 此后不再换回便宜模型 升级是单向的:换到贵模型之后,裁判不再逐轮跟跑, 路由自己的开销也停在那里。
这就是 LangChain 实测的那套规则:先便宜、连错两次才升级、升上去不回头。「连错两次」是配置里的 confirmations = 2。

钱和活对不上

跑完 145 个任务,Nemotron 接了 93% 的调用只花掉 10.4% 的钱,Opus 接了 7% 却拿走 68.4%。

调用次数的分布和账单的分布,几乎是反过来的。

单次价格解释了这个错位:一次 Opus 调用 3.24 美分,一次 Nemotron 调用 0.037 美分,差 87 倍。七次里的半次走贵的那条路,就足以撑起三分之二的账单。

这个 7% 是整件事的地基。如果真正需要贵模型的调用占到三成、五成,路由省下的钱根本不够抵消它自己的开销。实测下来,在一套贴近生产的 agent 工作流里,必须动用最强模型的时刻比大多数团队默认的少得多。

占路由方案总花费的比例 Claude Opus 68.4% 只接了 7% 的调用 裁判模型 21.2% 每轮都跑,直到任务升级 Nemotron 30B 10.4% 接了 93% 的调用
路由跑完一遍,每一块钱去了哪。干了 93% 活的开源模型只占 10.4%,而只负责打分的裁判占了 21.2%,是第二大开销。

裁判自己也收费

剩下 21.2% 的钱付给了那个只负责打分的裁判模型,它是路由方案里的第二大开销。

裁判每一轮都要跑,直到任务升级为止。哪怕一个任务从头顺到尾、最终一次都没升级,这笔钱也照付。它是每次运行的固定税。

更吃亏的是,裁判享受不到 缓存折扣(同一段内容被反复送进模型时的降价)。它最终占了路由总花费的 21.2%,大约是 Opus 那笔的三分之一。

所以想把路由的账单再往下压,只盯着「少升级几次」是一半的功课。换一个更便宜的裁判,或者让它跳过那些明显没出问题的轮次,省下来的是直接从账单上扣掉的。LangChain 自己也把这条列为下一步最该试的改进。

省 74%,丢 6 分

路由把账单砍掉 74%,准确率从 86.0% 掉到 80.0%,这 6 分是真掉了,不是测量噪声。

路由跑一遍 3.00 美元、准确率 80.0%;全程用 Opus 跑一遍 11.45 美元、准确率 86.0%。

同一套方案反复跑,分数本身会上下浮动约 2.7 分。6 分的差距明显在这个浮动之外,不能当成误差抹掉。换个角度看这笔交易:最后那 6 分准确率,让每完成一个任务的成本涨了 3.5 倍。

值不值,取决于你的活错一次赔多少。客服对话里答错一句,和线上事故排查时判断错方向,损失不是一个量级。

74% 账单比全程用 Opus 少 6 分 准确率掉掉的分数
路由的全部交易内容:账单少 74%(3.00 美元对 11.45 美元),准确率从 86.0% 降到 80.0%。同方案反复跑的浮动约 2.7 分,6 分在浮动之外。

最省钱的其实不是路由

全程用便宜模型跑一遍只要 0.72 美元、准确率 77.7%,只比路由低 2.3 分,而这个差距小于方案自身的浮动,这次实测并没能证明路由比小模型单干更准。

路由比便宜模型贵 4.2 倍,换来 2.3 分,而 2.3 分还落在 2.7 分的浮动里。这一点 LangChain 写得很直白:不能说路由在这套测试上赢了便宜模型。

但这个比较开了上帝视角。LangChain 已经知道这 145 个任务最后都跑成了什么样;线上不一样,请求刚进门的那一刻,你不知道它是简单还是难。全程用小模型,等于把难题的答案也一并收下。

路由是你为「不必事先猜」付的钱。

路由同时压低了上限:实测里最贵的一次路由跑了 3.61 美元,大约是全程 Opus 的三分之一。所以结论分两半:如果你的流量长得像这套测试、首要目标又是最低成本,那就别路由,直接用便宜模型;路由是给那些「难题必须交给最强模型、但事先分不出哪些是难题」的团队准备的。

跑完整套 145 个任务一次的花费 全程 Claude Opus 准确率 86.0% $11.45 路由 准确率 80.0% $3.00 全程 Nemotron 准确率 77.7% $0.72
三种做法跑一遍的花费与准确率。路由比便宜模型单干贵 4.2 倍,只换来 2.3 分,而这 2.3 分小于运行之间 2.7 分的自然浮动。

同样的配置,账单差 67%

什么都没改,只是路由每次决定升级的时机不同,五次运行的账单就在 2.16 到 3.61 美元之间摆动,差了 67%。

被送到 Opus 的调用占比,五次跑下来在 4.1% 到 9.1% 之间,平均 6.9%。升级最多的那次是最少那次的两倍多。任务、模型、配置全都没变。

对照一下,全程用 Opus 的三次运行,成本只差 1.5%。一个固定方案给你一个可预测的数字,路由给你的是一个区间:平均值更低,但摆动更大。做预算按区间的上沿算,不要按平均值。

想把区间收窄,最直接的旋钮是「连错几次才升级」。实测用的是 2 次;调成 1 次,升级会更频繁,而升出去的每一次都是贵的调用。LangChain 没测过 1 次的效果,只说这个设置确实有影响。

动手前先算这个除法

裁判的开销除以两个模型的价差,得到的是你至少要把多大比例的调用分给便宜模型,路由才开始省钱。

这次实测里,裁判每跑一遍花 0.64 美元,两个方案之间的价差是 10.73 美元,门槛算出来是 5.9%。实际分出去了 93%,超过门槛 16 倍,差得太远,公式在这里几乎只是走个形式。它真正有用的是两个模型价格接近的时候。

价差越小,每分出去一次调用省下的钱越少,门槛就越高。高到超过 100%,意味着公式要求你把超过全部的调用都送给便宜模型,这做不到,任何裁判配置都救不回来。唯一的例外是把便宜模型跑在自己的机器上:推理成本接近于零,价差重新被拉开。

公式只有否决权。它算的是「如果路由每次都选对了,值不值得为此付钱」,至于这个路由器在你的流量上会不会真的选对,只有拿自己的活跑一遍才知道。

哪些情况可以直接放弃:

  1. 你在乎延迟。裁判是每一轮多出来的一次模型调用,大约 700 毫秒。
  2. 你的任务很短。升级机制要连着看好几轮才有东西可读,一两轮的任务它判断不了。
  3. 你的两个模型价格接近。公式会算出一个做不到的门槛。
公式能回答 两个模型的价差, 够不够付裁判那笔固定开销 公式不回答 这个路由器在你的流量上 会不会做对选择
这个除法只有否决权:它能在成本上排除路由,不能证明路由适合你。要确认,只能拿自己的活跑一遍。

这份数据该怎么看

这是一家公司用自家产品、在一套「太简单」的测试集上跑出来的结果,方向可信,数字不能直接搬。

测的人是 LangChain,用的是它自己的 Deep Agents 评测套件,跑的是英伟达开源的路由库。两家都是当事方,没有第三方在场。这不等于结果不可信,但它不是独立评测。

更要紧的一条,LangChain 自己写进了文章:这套测试已经饱和。三类任务的准确率普遍偏高,300 亿参数的开源模型和最强模型之间只差 8 分。差距越小,路由能证明的东西越少。真实业务里如果两个模型差 20 分、30 分,结论可能完全不同:可能更值得路由,也可能便宜模型根本顶不上来。

能直接拿走的有三样:

  1. 那个除法公式:裁判开销除以价差,得出最低分流比例。
  2. 账单的大头往往集中在极少数调用上,先去量一量自己的分布。
  3. 裁判本身也收费,而且吃不到缓存折扣,这笔最容易被漏掉。

具体的百分比,得用你自己的活重新测一遍。