一个模型包干所有活
把「帮我读一下这个文件」和「查清这个测试为什么挂了」交给同一个模型、按同一个价格计费,这个默认做法已经不划算了。
一个 agent(能自己拆解任务、连着干好几步的 AI 程序)完成一件事,通常不是问一次答一次。LangChain 这套测试里的 145 个任务,平均每个要调用 6.3 次模型。
早些年一个模型包干没什么问题,那时各家模型的价格和能力都挨得近。现在两头都被拉开了:最强的模型更贵也更强,开源小模型则便宜到几乎不要钱,足够应付 agent 日常干的活里相当大的一部分。
浪费就出在这里:一件几秒钟就能办完的琐事和一次需要真本事的排查,今天仍然走同一个模型、按同一个价格计费,哪怕前一件根本不需要动用最贵的那个脑子。
先走便宜的,连错两次才换
英伟达开源的 Switchyard 用一条单向规则决定每次调用去哪:所有任务默认走便宜模型,一个小裁判连续两次判定跑偏,才把这条任务整个交给贵模型,并且不再换回来。
Switchyard 是一个 模型路由(按每一步的难度,自动决定这次调用交给哪个模型)库,开源,可以当成一个代理服务跑,也可以塞进 agent 进程里。LangChain 实测的是它的「升级模式」。
每个任务开局都交给便宜的那个:英伟达的 Nemotron 3.5 Lightning,300 亿参数的开源模型。每完成一轮,一个更小的裁判模型(专门给这一轮打分、判断 agent 是不是跑偏了的小模型)投一票。连续两票说跑偏,这条任务从此改由 Claude Opus 4.8 接手。
单向这一点很关键:任务一旦升级,裁判就不必再逐轮跟着跑,路由自身的开销也停在那里。代价是升上去就下不来,后面哪怕遇到简单的一步,也按贵的算。
钱和活对不上
跑完 145 个任务,Nemotron 接了 93% 的调用只花掉 10.4% 的钱,Opus 接了 7% 却拿走 68.4%。
调用次数的分布和账单的分布,几乎是反过来的。
单次价格解释了这个错位:一次 Opus 调用 3.24 美分,一次 Nemotron 调用 0.037 美分,差 87 倍。七次里的半次走贵的那条路,就足以撑起三分之二的账单。
这个 7% 是整件事的地基。如果真正需要贵模型的调用占到三成、五成,路由省下的钱根本不够抵消它自己的开销。实测下来,在一套贴近生产的 agent 工作流里,必须动用最强模型的时刻比大多数团队默认的少得多。
裁判自己也收费
剩下 21.2% 的钱付给了那个只负责打分的裁判模型,它是路由方案里的第二大开销。
裁判每一轮都要跑,直到任务升级为止。哪怕一个任务从头顺到尾、最终一次都没升级,这笔钱也照付。它是每次运行的固定税。
更吃亏的是,裁判享受不到 缓存折扣(同一段内容被反复送进模型时的降价)。它最终占了路由总花费的 21.2%,大约是 Opus 那笔的三分之一。
所以想把路由的账单再往下压,只盯着「少升级几次」是一半的功课。换一个更便宜的裁判,或者让它跳过那些明显没出问题的轮次,省下来的是直接从账单上扣掉的。LangChain 自己也把这条列为下一步最该试的改进。
省 74%,丢 6 分
路由把账单砍掉 74%,准确率从 86.0% 掉到 80.0%,这 6 分是真掉了,不是测量噪声。
路由跑一遍 3.00 美元、准确率 80.0%;全程用 Opus 跑一遍 11.45 美元、准确率 86.0%。
同一套方案反复跑,分数本身会上下浮动约 2.7 分。6 分的差距明显在这个浮动之外,不能当成误差抹掉。换个角度看这笔交易:最后那 6 分准确率,让每完成一个任务的成本涨了 3.5 倍。
值不值,取决于你的活错一次赔多少。客服对话里答错一句,和线上事故排查时判断错方向,损失不是一个量级。
最省钱的其实不是路由
全程用便宜模型跑一遍只要 0.72 美元、准确率 77.7%,只比路由低 2.3 分,而这个差距小于方案自身的浮动,这次实测并没能证明路由比小模型单干更准。
路由比便宜模型贵 4.2 倍,换来 2.3 分,而 2.3 分还落在 2.7 分的浮动里。这一点 LangChain 写得很直白:不能说路由在这套测试上赢了便宜模型。
但这个比较开了上帝视角。LangChain 已经知道这 145 个任务最后都跑成了什么样;线上不一样,请求刚进门的那一刻,你不知道它是简单还是难。全程用小模型,等于把难题的答案也一并收下。
路由是你为「不必事先猜」付的钱。
路由同时压低了上限:实测里最贵的一次路由跑了 3.61 美元,大约是全程 Opus 的三分之一。所以结论分两半:如果你的流量长得像这套测试、首要目标又是最低成本,那就别路由,直接用便宜模型;路由是给那些「难题必须交给最强模型、但事先分不出哪些是难题」的团队准备的。
同样的配置,账单差 67%
什么都没改,只是路由每次决定升级的时机不同,五次运行的账单就在 2.16 到 3.61 美元之间摆动,差了 67%。
被送到 Opus 的调用占比,五次跑下来在 4.1% 到 9.1% 之间,平均 6.9%。升级最多的那次是最少那次的两倍多。任务、模型、配置全都没变。
对照一下,全程用 Opus 的三次运行,成本只差 1.5%。一个固定方案给你一个可预测的数字,路由给你的是一个区间:平均值更低,但摆动更大。做预算按区间的上沿算,不要按平均值。
想把区间收窄,最直接的旋钮是「连错几次才升级」。实测用的是 2 次;调成 1 次,升级会更频繁,而升出去的每一次都是贵的调用。LangChain 没测过 1 次的效果,只说这个设置确实有影响。
动手前先算这个除法
裁判的开销除以两个模型的价差,得到的是你至少要把多大比例的调用分给便宜模型,路由才开始省钱。
这次实测里,裁判每跑一遍花 0.64 美元,两个方案之间的价差是 10.73 美元,门槛算出来是 5.9%。实际分出去了 93%,超过门槛 16 倍,差得太远,公式在这里几乎只是走个形式。它真正有用的是两个模型价格接近的时候。
价差越小,每分出去一次调用省下的钱越少,门槛就越高。高到超过 100%,意味着公式要求你把超过全部的调用都送给便宜模型,这做不到,任何裁判配置都救不回来。唯一的例外是把便宜模型跑在自己的机器上:推理成本接近于零,价差重新被拉开。
公式只有否决权。它算的是「如果路由每次都选对了,值不值得为此付钱」,至于这个路由器在你的流量上会不会真的选对,只有拿自己的活跑一遍才知道。
哪些情况可以直接放弃:
- 你在乎延迟。裁判是每一轮多出来的一次模型调用,大约 700 毫秒。
- 你的任务很短。升级机制要连着看好几轮才有东西可读,一两轮的任务它判断不了。
- 你的两个模型价格接近。公式会算出一个做不到的门槛。
这份数据该怎么看
这是一家公司用自家产品、在一套「太简单」的测试集上跑出来的结果,方向可信,数字不能直接搬。
测的人是 LangChain,用的是它自己的 Deep Agents 评测套件,跑的是英伟达开源的路由库。两家都是当事方,没有第三方在场。这不等于结果不可信,但它不是独立评测。
更要紧的一条,LangChain 自己写进了文章:这套测试已经饱和。三类任务的准确率普遍偏高,300 亿参数的开源模型和最强模型之间只差 8 分。差距越小,路由能证明的东西越少。真实业务里如果两个模型差 20 分、30 分,结论可能完全不同:可能更值得路由,也可能便宜模型根本顶不上来。
能直接拿走的有三样:
- 那个除法公式:裁判开销除以价差,得出最低分流比例。
- 账单的大头往往集中在极少数调用上,先去量一量自己的分布。
- 裁判本身也收费,而且吃不到缓存折扣,这笔最容易被漏掉。
具体的百分比,得用你自己的活重新测一遍。