两种失败
接 AI 的程序会遇到两类失败:一类是程序跑不下去,另一类是程序跑得好好的、结果是错的。
传统软件里,失败是有声音的。网断了会报错,文件不存在会报错,除以零会报错。程序员写代码时,只需要在这些会「喊疼」的地方接住它。
接了大模型之后,多出来一类不会喊疼的失败。ByteByteGo 把它们分成两类:
- 技术失败:系统根本没完成操作,网络断了、超时了、服务挂了、密钥过期了。这类失败会自己报错。
- 语义失败:操作在技术上完全成功,但结果不对、不安全、不相关,或者压根没法用。这类失败一声不吭。
举个具体的:一个客服助手,用户问退款规则,模型编了一条这家公司根本不存在的退款政策,语法通顺,语气专业,格式完美。程序收到的是一个完全正常的响应,状态码 200,内容字段齐全。没有任何异常可以捕获,因为真的没有异常发生。
传统的错误处理只管第一类。接了大模型的程序,必须同时管住两类。
为什么必须特殊对待
传统程序的输出是确定的,大模型的输出是概率的。同一个问题问两次,答案可能不一样。
写一个函数把 5 和 7 相加,它永远返回 12。今天是 12,明天是 12,跑一百万次还是 12。函数返回成功了,结果就是对的,这两件事在传统软件里是同一件事。
大模型没有这个待遇。同一段提示词,每次可能给出不同答案。更关键的是:接口调用成功,不代表返回的内容能用。ByteByteGo 列了七种「成功但没用」的情况:模型漏掉了一部分指令;程序等的是结构化数据,模型回了一段白话;模型凭空编造了一个不存在的产品或政策;答案写到一半就断了,因为撞上了长度上限;模型误解了上下文,拒绝了一个完全无害的请求;模型挑错了工具,或者给工具传了无效参数;答案违反了某条重要的业务规则。
这七种没有一种会让程序崩溃。它们全都是「成功」的响应。
先分类,再动手
所有的应对手段,前提是先判断这是哪种错。判断错了,后面全错。
ByteByteGo 给出的第一步不是修,是分:
- 暂时性错误:再试一次大概率就好了。网络抖动、限流、服务器临时故障属于这类。
- 永久性错误:不改请求或不改系统,试一万次都是同一个结果。密钥无效、文件格式不支持、权限不够、请求格式错了。
- 语义错误:技术上完全正确,但满足不了程序的要求。返回的不是合法结构化数据、工具参数不对、编造信息。
分完之后,动作是不同的:暂时性错误等一会儿重试,或者走备用方案;永久性错误立刻上报给能修的人,重试毫无意义;语义错误要校验、修复,或者交给人看。
把永久性错误当暂时性错误处理,是最常见也最贵的误判。密钥过期了还在疯狂重试,重试一万次密钥也不会自己续期,只是把账单和日志堆高。
分类也不总是干净的。原文举了个边界例子:内容太长超出了模型能处理的上限,这对当前这次请求是永久性的,原样再发一次必然还是失败;但只要把内容删短一点,它又变成可解的。
重试的三条纪律
重试是最便宜的容错手段,但没有节制的重试会把一次小故障放大成一场雪崩。
最朴素的想法是:失败了就再试。这个想法本身没错,错在没有边界。
第一条纪律是限次数。无限重试会烧钱,更糟的是会加重正在挣扎的服务的负担。对方本来就快撑不住了,你的重试是在补刀。
第二条是等待时间要越来越长,ByteByteGo 称之为 指数退避(每次失败后把等待时间翻倍)。第一次失败等 1 秒,第二次等 2 秒,第三次等 4 秒。给对方留出恢复的空间。
第三条最容易被忽略:在每次等待里加一点随机时间,叫 抖动。设想一万个请求在同一秒集体失败,如果它们都老老实实「等 1 秒再试」,一秒后就是一万个请求同时砸过去。这是第二次流量高峰,重试的意义被自己抵消了。加一点随机偏移,这一万个请求就会散开。
还有一条边界:重试只对超时、临时网络故障、限流响应和部分服务器故障有用。密钥无效、请求被禁止、输入本身有问题,这些重试一百次结果完全一样,只是在浪费时间和钱。
降级不是随便找个替代
主力模型挂了要有备胎,但备胎不能突破这件事原本的质量底线。
ByteByteGo 给的降级链条是四层:先用质量最高的主力模型;主力不可用就换一个更小的备用模型;所有模型都不可用就返回预设回复或缓存内容;如果任何方式都无法安全处理,转给人工。
关键在于:降级的档位必须和任务的性质匹配。用一个小模型总结内部会议纪要,完全可以接受,写得糙一点没人受伤。用同一个小模型去解读一份复杂的法律文件,就不行了。同样,一条缓存的回答拿来应付常见问题完全够用;但用户问的是「我现在账户里有多少钱」,缓存答案就是在骗人。
还有一个更隐蔽的坑:很多人把主力模型和备用模型都挂在同一家供应商下。这家供应商一出事,两条路一起断,所谓的冗余从来就不存在。真正的冗余要求两条路径之间有实质隔离。
熔断器:及时止损
当一个服务明显挂了,聪明的做法不是继续敲门,而是暂时停止敲门。
供应商宕机的时候,每个请求都在超时。继续发请求,资源被白白占用,用户在屏幕前干等一个注定失败的结果。
熔断器(一个自动切断故障调用的开关)解决的就是这件事,它有三种状态:
- 闭合:一切正常,请求照常发出。
- 断开:服务被判定为不健康,请求立刻被拒绝或改道,一个都不往外发。
- 半开:放一小撮试探性请求过去,看对方恢复了没有。
试探成功,开关闭合,恢复正常;试探失败,退回断开状态,过一会儿再试。它的价值是隔离:不让一个服务的故障顺着调用链蔓延到整个程序,同时给降级方案留出干净的切换时机。
支付那个坑
AI 能替你调用真实接口之后,最危险的失败是「动作成功了但程序不知道」。
大模型现在不只是回答问题,还被当作 agent(能自己拆解任务、调用接口、连续干活的 AI 程序)在用:它能调接口、查数据库、发消息、执行交易。
这带来一个传统错误处理从没面对过的问题:模型执行的动作成功了,但包着它的流程失败了。
原文的例子非常具体:AI 助手调用支付服务,钱扣成功了,但在确认回执传回来之前网络断了。程序这边看到的是一次「失败的调用」。如果它按照前面讲的重试纪律,老老实实重试一次,用户被扣了两次钱。
这就是为什么涉及真实动作的系统需要 幂等(同一个操作重复执行多次,效果和执行一次完全一样)。带上一个唯一的请求标识,支付服务收到第二次请求时认出「这单我处理过了」,直接返回上次的结果,不再扣一次钱。除此之外还需要状态追踪和恢复机制,程序得知道自己上次走到哪一步了。
老办法,新对象
这篇文章真正的结论是:接了大模型之后,多出来的是新的失败种类,不是新的防御手段。
通篇读下来,ByteByteGo 开出的药方是重试、退避、抖动、降级、熔断、限流、排队、幂等,没有一样是为大模型发明的。这些全是分布式系统被折磨了二三十年攒下来的老手艺,换个对象照样用。
真正变了的只有一件事:多出来一整类不会报错的失败。传统的防御体系建立在「故障会自己喊出来」这个假设上,而模型编造一条不存在的政策时,它不喊。这类失败没有任何技术手段能自动接住,原文自己也承认,只能靠额外的校验、可信数据源,或者人工介入。
文章讲了七种「成功但没用」的响应,却没给出任何一个判定它们的可靠办法,除了「叫人来看」。限流、熔断、重试都能写进代码自动跑,而判断一个答案是不是编的,目前还站在自动化的门外。这是接 AI 的程序和传统程序之间,真正还没被填平的那道沟。