两张打架的榜单
阿里说 Qwen 3.8-Max 仅次于 Claude Fable 5,一家独立测评却把它的默认档排到最后一名。两边都没作假,差别写在脚注里的时间预算上。
阿里发布 Qwen 3.8-Max 时,把它宣传成仅次于 Claude Fable 5 的模型。但阿里自己那张发布日表格说得含糊得多:12 行编程 agent(能自己拆解任务、连续干活的 AI 程序)测试里,它只在其中 1 行领先。
几乎同时,一家独立测评跑出了近乎相反的结论。开源(代码公开,谁都能自己跑一遍)测评工具 VulcanBench 的一次运行显示,同一款模型(看上去用的是预览版)最用力那一档只排在中游,默认那一档直接垫底。
两张榜单都站得住。真正的差别藏在脚注里:阿里的编程成绩给了每道题 5 小时超时,在 PaperBench 上每次运行最多 12 小时;VulcanBench 只给 45 到 60 分钟。同一类任务,一边的时间是另一边的 5 到 16 倍。
这就像同一场考试,一组考生做 5 小时,另一组做 45 分钟,然后把两张成绩单摆在一起排名次。
标价不再等于账单
按每百万 token 的报价挑模型已经不灵了。会思考的模型可能把额度全花在「想」上,还没写出答案就撞到上限。
Qwen 3.8-Max 上市第一周,所有人拿来比的都是价格,因为当时只有价格可比。它不便宜:每百万输入 token(模型处理文字的最小计价单位,一个英文单词大致算一个)2 美元,输出 6 美元。7 月 31 日进入公测的 DeepSeek-V4-Flash-0731 是 0.14 美元和 0.28 美元,Kimi K3 是 3 美元和 15 美元。
但标价预测不了账单。原因出在会推理的模型身上:得出结果之前,先要烧掉一大堆思考用的 token。如果额度都花在思考上,还没开始写答案就到顶,你拿到的是一个空结果,和彻底失败长得一模一样,钱却按一次完整运行付。
Artificial Analysis 的测量最直观:让 DeepSeek-V4-Flash 用最高档位跑完它那套智能测试,一共吐出 2.1 亿个输出 token,同级模型的中位数是 1 亿。因为单价够低,总花费还是不高。但话多不只花钱,还花时间。很多场景里,先撑不住的是时间。
失败分两种
答错和「时间用光」是两种完全不同的失败,几乎没有测评把它们分开报告。一旦分开,超时才是大头。
一次给出错误答案的运行,和一次时间耗尽的运行,病因和药方都不一样。前者要换模型或改提示词,后者只要放宽预算,或者反过来把档位调低。可几乎所有 测试台(跑测评的那套程序)只记一个笼统的「失败」标记。VentureBeat 这篇文章的作者说他自己搭 agent 测评时也撞上过:日志只写失败,不写为什么,他只好自己动手加上这个区分。
7 月发布的 Long-Horizon-Terminal-Bench 分开算了一次:17 个前沿模型、46 个任务,共用同一套测试台,每个任务只给一次 90 分钟的尝试。没做完的运行里,79% 是超时,19% 是模型自己停了下来,3% 是测试台自身出错。
这项测评的作者很克制:超时的那些离做完还差得远,平均得分只有 0.10 到 0.35,所以不能假设再多给点时间就能成。但有一条结论跑不掉,这篇文章的作者写道:
不管榜单有没有明说,它们其实一直在顺带测量时间效率。
少想反而做得多
VulcanBench 7 月 26 日的报告里,Claude Opus 5 推理最省的那一档在 23 道题里解出 20 道,最用力的那一档只解出 18 道。
多想的那部分并没有白费:最高档给出的错误答案是所有档位里最少的,只错 1 道,而最省的那档错 3 道。它输在别的地方,时间用光,超时一律记零分。高档相对低档退步的三道题里,有两道是被计时器掐断的,而最省的那档能解出来。
报告还做了一次假设检验:如果两个档位都给无限时间,最用力那档也只是和最省那档打平,代价是 3.1 倍的钱。
换句话说,你付 3.1 倍的价钱,买到的不是更多正确答案,而是更少的错误答案,加上更多的超时。
升级不一定更强
「便宜档失败就自动升到更贵档位」这套常见设计,建立在「下一档只是更贵但更好」的假设上,而这个假设在相当一部分模型和任务的组合上是错的。
标准做法是:先用便宜档试一次,失败就往上升,让模型想得更久。逻辑听上去无懈可击,更贵总不至于更差吧。
但只要下一档的思考要吃掉同一个时限,升级就可能只是把一次「答错」换成一次「超时」。你付了高档的价钱,拿回一个零分。
真正的修法是先把失败原因分开。如果这次失败是预算耗尽,往上升只会更快撞墙;该做的是放宽预算,或者反过来降档。
该看的那个数
只有一个数值得看:每完成一个任务花了多少钱。把所有花销(包括白跑的那些)除以真正通过验收的任务数。
关键在「包括白跑的」。一次超时、一次空结果,钱照付,分母上却不加一。按每 token 单价排出来的顺序,和按每个完成任务的花费排出来的顺序,经常对不上。
已经有几家在这么做。VulcanBench 从最早的报告起就把「每解决一题多少美元」当头条列。Long-Horizon-Terminal-Bench 把每题成本摆在准确率旁边,最能说明问题的一行是 GPT-5.4:每题约 26 美元,通过率却明显低于每题约 11 美元的 Grok 4.5。TestEvo-Bench 干脆给 agent 设一个成本上限,上限一收紧,Claude Code 的测试生成得分就从 71% 掉到 44%。
卖 AI 客服的公司动手更早。HubSpot 4 月把 Breeze 客服 agent 改成每解决一次对话收 50 美分,此前是每处理一次对话收 1 美元。处理和解决,差一个词,差一半价钱。Zendesk 按自动解决的次数收费。Fin 每个结果收 99 美分,而且只有端到端解决了才收。
本周该动的四件事
改动清单只有四条,其中最容易见效的一条是去看一眼你已经部署的模型,默认跑在哪一档。
- 每次 agent 运行都必须写下失败原因,把「预算耗尽」「结果错误」「测试台故障」当成三个不同的值,而不是一个笼统的失败标记。分不开超时和答错,你的通过率就是两件事混在一起,你不知道该修哪个。
- 按档位算每个成功任务的成本,不只按模型算。总花销(含失败的尝试)除以通过验收的任务数。排出来的名次不会和价目表一致,最便宜的档位很可能赢。
- 用 token 数封顶,而不是用真实时间封顶,除非延迟真的写进了你对客户的服务承诺。按时间封顶,等于把服务商的出货速度当成了模型质量来打分。
- 挨个检查已上线模型的默认档位。Qwen 3.8-Max 在这个字段不填时默认用最高推理档,而这一档正是它在独立测试里表现最差的那个。一个从不碰这个参数的团队,跑的就是每完成一个任务最贵的那套配置。
该怎么看这篇文章。它最有力的部分,是把两张打架的榜单还原成了一个参数上的差异:时间预算。这个参数几乎从不进标题,读者也从没被要求关心过。但它最锋利的那条证据,也就是最省档位打败最用力档位,只来自 VulcanBench 的 23 道题、一家测试台、一次报告。拿它当「去检查一下自己的默认设置」的理由足够充分,拿它当「高推理档没用」的普遍结论则太早。