省钱不一定变笨
多花钱换好效果,在 AI 应用上不总是成立。Anthropic 自己测下来,很多应用能砍掉一半以上的成本,效果一点没掉。
Anthropic 在官方博客里给出三个动作:让缓存命中率最大化、删掉提示词里过时的老规矩、把「努力程度」调到和任务匹配。三个动作背后是同一个判断:大多数人的账单里,有相当一部分钱花在了不产生任何效果的地方。
他们在四个公开测试集上实测,每个都从同一个起点(Sonnet 5 的默认配置)开始优化。最好的一例,花费降了 73%,通过率纹丝不动。
这不是「买便宜货凑合用」的省钱。更像是你发现家里水表一直在转,不是因为你用水多,是因为有个龙头没关严。
缓存:别让它重算
AI 每次回答前都要先「消化」一遍你发过去的全部内容,这步最贵;缓存就是把消化结果存下来,下次直接读。
这个消化过程叫 prefill(预填充,AI 正式动笔前把你的全部输入整理成内部状态的那一步)。它是处理输入时最花钱的环节。缓存命中时,这部分只按完整输入价格的零头收费。
但缓存有三个硬条件,差一点都不算命中:
- 缓存绑死在某一个具体模型上,换模型,缓存作废。
- 必须逐字节完全一致,整段开头一个标点都不能差。
- 缓存有存活时间,过期就没了。
第二条最容易踩坑。如果你习惯在提示词开头写上当前时间,那每一次请求的开头都不一样,缓存永远命中不了,开着缓存,每次仍在全价重算。
Anthropic 给了一个提前热身的办法:在用户还在打字的时候,先发一个 `max_tokens: 0` 的请求(只消化、不生成任何回答),把缓存写好。等用户真正按下回车,读的就是热缓存了。
你的老提示词在拖后腿
当年为了弥补旧模型缺陷而写进提示词的那些叮嘱,在新模型上不但没用,还反过来烧钱、降准确率。
提示词会越攒越厚。模型某次答错了,你加一句「请核对两遍」;它答得太简略,你加一句「请尽可能详尽」。这些补丁当时管用。但模型换代之后,补丁还在,毛病已经没了。
Anthropic 做了一次干净的对照实验。他们从一份没有任何补丁的提示词出发,一次只塞进一个坏习惯,凑出六份有历史包袱的提示词:一个已经废弃的思考参数、一对互相矛盾的退款规则、一段手写的草稿纸步骤、「核对两遍」、「尽可能详尽」,以及一套强制的六步流程。
后果非常具体:
「核对两遍」让 Opus 5 在每一笔退款上都把订单查两遍。「尽可能详尽」变成了几十次毫无必要的知识库搜索。
准确率的损失更离谱。那个废弃的思考参数直接让整类请求被接口拒绝,一个都没答上;互相矛盾的退款规则让模型扣下了四笔本该退的钱,转头去问客户确认;手写的草稿纸步骤则跟 Opus 5 自带的思考机制撞了车,有三张工单,它把该执行的操作写进了自己的思考过程里,然后就再也没执行。
把这六个坏习惯清掉之后,平均成本降 14.6%,准确率涨 5.3%。
最大档不一定值
同一个模型上的「努力程度」旋钮,往上拧的收益有拐点。有时候拧满物超所值,有时候多花 46% 买不到一分。
effort(努力程度,告诉模型「这题该花多大劲想」的一个参数)调低时模型很快给结论,调高时它会反复推敲、验证、试别的路子。
两个真实的例子,方向完全相反:
在 FrontierCode Diamond(一套编程测试里最难的 50 道题)上,Claude Fable 5 低档得 11.5 分,每题 5.35 美元;拧到最大档得 30.9 分,每题 19 美元。分数涨 2.7 倍,花费涨 3.5 倍。难题上这笔钱值不值,取决于你有多需要那多出来的 19 分。
在 Humanity's Last Exam(一套不许用工具的超难知识测试)上完全是另一回事。Claude Fable 5.1 低档约 53 分、每题约 0.3 美元,最大档约 61 分、每题约 2.23 美元。但从倒数第二档拧到最大档,只涨了约半分,成本多了 46%。半分这个量级已经落在同一配置反复跑的正常波动里了。多付的钱,买到的是一个测不出来的差别。
同一个旋钮,一边是陡坡,一边是平地。指望有一个通吃所有任务的推荐档位,本身就是误解。
让它自己爬坡找配置
Anthropic 把这套调优做成了一条命令,让 Claude 自己试配置、自己读错题、自己改提示词。最后换到的模型更便宜,分数反而更高。
这条命令叫 `/claude-api hillclimb`。它把你的测试题分成训练集和测试集,自己提配置方案,然后去读训练集里做错的题,针对性地改。
一次客服工单的实测,全过程是这样的:
- 起点是 Opus 4.8 的默认高档配置。
- 先换成 Opus 5 低档,同时清掉提示词里那些强制的工具调用仪式、草稿纸步骤和矛盾规则,训练集准确率 98.9%,每张工单降到 2.6 分钱。
- 再往下换 Sonnet 5 低档,成本降到 1 分钱,但准确率掉到 88.9%。
- 读完做错的工单,给提示词补上路由规则和退款上限的交叉核对,Sonnet 5 回到 98.9%,成本还是 1 分钱。
关键在最后一步:在那 14 张它全程没见过的工单上,最终配置拿了 90.5 分,最初的配置只有 78.6 分,成本约是原来的五分之一。
没见过的题上分数更高,说明改进不是靠背答案背出来的。这个设计很重要。只看训练集分数的话,任何调优都能刷到很高,但那是做题家,不是真本事。
谁发的,就得怎么读
这是 Anthropic 自己发布的、关于自己产品的文章,数字可信但视角有偏,所有结论的落点都是「多用我们的工具」。
文章里的数据本身没什么可挑剔的:六个坏习惯是一次只塞一个的干净对照,hillclimb 的最终成绩是在没见过的题上打出来的,这两个设计都比「我们优化了一下,效果变好了」这种说法扎实得多。
但要看清它没说的部分。通篇没有任何一个案例,是优化之后效果真的掉下来的。四个公开测试集、一个客服测试集,全部是成本降、效果平或涨。这在统计上不太可能:要么是只挑了成功的来写,要么是这些场景本身就有大量明显的浪费可省。文章没交代是哪一种。
还有一层利益关系值得挑明:这三条命令(`prompt-audit`、`cost-optimize`、`hillclimb`)都跑在 Claude Code 里,优化的是你在 Claude 上的花费。省钱的建议出自收钱的那一方,不代表建议是错的,三条原则(缓存、清理提示词、匹配努力程度)在任何一家的模型上都成立。但你该知道,真正的目的是让你更愿意留在这套工具链里,而不是换一家。