两种失败

接 AI 的程序会遇到两类失败:一类是程序跑不下去,另一类是程序跑得好好的、结果是错的。

传统软件里,失败是有声音的。网断了会报错,文件不存在会报错,除以零会报错。程序员写代码时,只需要在这些会「喊疼」的地方接住它。

接了大模型之后,多出来一类不会喊疼的失败。ByteByteGo 把它们分成两类:

  1. 技术失败:系统根本没完成操作,网络断了、超时了、服务挂了、密钥过期了。这类失败会自己报错。
  2. 语义失败:操作在技术上完全成功,但结果不对、不安全、不相关,或者压根没法用。这类失败一声不吭。

举个具体的:一个客服助手,用户问退款规则,模型编了一条这家公司根本不存在的退款政策,语法通顺,语气专业,格式完美。程序收到的是一个完全正常的响应,状态码 200,内容字段齐全。没有任何异常可以捕获,因为真的没有异常发生。

传统的错误处理只管第一类。接了大模型的程序,必须同时管住两类。

语义失败是什么 接口成功、状态码正常, 但内容错了、不安全或没法用 它不是什么 不是程序崩溃,不是异常, 没有任何一行代码会报错
这张图划的是全文最关键的一道线:语义失败长着"成功"的脸。原文明确指出这类问题"无法通过捕获异常发现,因为根本没有技术异常发生"。

为什么必须特殊对待

传统程序的输出是确定的,大模型的输出是概率的。同一个问题问两次,答案可能不一样。

写一个函数把 5 和 7 相加,它永远返回 12。今天是 12,明天是 12,跑一百万次还是 12。函数返回成功了,结果就是对的,这两件事在传统软件里是同一件事。

大模型没有这个待遇。同一段提示词,每次可能给出不同答案。更关键的是:接口调用成功,不代表返回的内容能用。ByteByteGo 列了七种「成功但没用」的情况:模型漏掉了一部分指令;程序等的是结构化数据,模型回了一段白话;模型凭空编造了一个不存在的产品或政策;答案写到一半就断了,因为撞上了长度上限;模型误解了上下文,拒绝了一个完全无害的请求;模型挑错了工具,或者给工具传了无效参数;答案违反了某条重要的业务规则。

这七种没有一种会让程序崩溃。它们全都是「成功」的响应。

12 5 加 7,跑一百万次 都是这个数 7 种 接口返回成功、内容 却没法用的情况 0 个 这 7 种里会触发 程序报错的数量
传统函数的输出只有一个可能,大模型的"成功响应"里藏着七种没法用的情况——而它们一个都不会让程序报错。数字来自原文对 LLM 输出问题的逐条列举。

先分类,再动手

所有的应对手段,前提是先判断这是哪种错。判断错了,后面全错。

ByteByteGo 给出的第一步不是修,是分:

  1. 暂时性错误:再试一次大概率就好了。网络抖动、限流、服务器临时故障属于这类。
  2. 永久性错误:不改请求或不改系统,试一万次都是同一个结果。密钥无效、文件格式不支持、权限不够、请求格式错了。
  3. 语义错误:技术上完全正确,但满足不了程序的要求。返回的不是合法结构化数据、工具参数不对、编造信息。

分完之后,动作是不同的:暂时性错误等一会儿重试,或者走备用方案;永久性错误立刻上报给能修的人,重试毫无意义;语义错误要校验、修复,或者交给人看。

把永久性错误当暂时性错误处理,是最常见也最贵的误判。密钥过期了还在疯狂重试,重试一万次密钥也不会自己续期,只是把账单和日志堆高。

分类也不总是干净的。原文举了个边界例子:内容太长超出了模型能处理的上限,这对当前这次请求是永久性的,原样再发一次必然还是失败;但只要把内容删短一点,它又变成可解的。

暂时性错误 网络抖动 / 限流 / 服务器故障 永久性错误 密钥无效 / 格式不支持 / 权限不足 语义错误 结构不对 / 参数无效 / 编造信息 重试或降级 等一会儿再来 上报给人修 重试毫无意义 校验 / 修复 / 人工复核 程序判断不了 会自己好 不改就永远错 技术上没错 内容超长:删短后可解
三类错误对应三条完全不同的处置路径,判错了后面全白做。虚线是原文给的边界例子:内容超出长度上限对当前请求是永久性的,但缩短内容就能解决。

重试的三条纪律

重试是最便宜的容错手段,但没有节制的重试会把一次小故障放大成一场雪崩。

最朴素的想法是:失败了就再试。这个想法本身没错,错在没有边界。

第一条纪律是限次数。无限重试会烧钱,更糟的是会加重正在挣扎的服务的负担。对方本来就快撑不住了,你的重试是在补刀。

第二条是等待时间要越来越长,ByteByteGo 称之为 指数退避(每次失败后把等待时间翻倍)。第一次失败等 1 秒,第二次等 2 秒,第三次等 4 秒。给对方留出恢复的空间。

第三条最容易被忽略:在每次等待里加一点随机时间,叫 抖动。设想一万个请求在同一秒集体失败,如果它们都老老实实「等 1 秒再试」,一秒后就是一万个请求同时砸过去。这是第二次流量高峰,重试的意义被自己抵消了。加一点随机偏移,这一万个请求就会散开。

还有一条边界:重试只对超时、临时网络故障、限流响应和部分服务器故障有用。密钥无效、请求被禁止、输入本身有问题,这些重试一百次结果完全一样,只是在浪费时间和钱。

重试前的等待时间(秒) 第 1 次重试前 1 秒 第 2 次重试前 2 秒 第 3 次重试前 4 秒 再往后继续翻倍
指数退避就是每失败一次就把等待时间翻倍,给正在挣扎的服务留出恢复空间。三个数字直接取自原文给出的示例序列。

降级不是随便找个替代

主力模型挂了要有备胎,但备胎不能突破这件事原本的质量底线。

ByteByteGo 给的降级链条是四层:先用质量最高的主力模型;主力不可用就换一个更小的备用模型;所有模型都不可用就返回预设回复或缓存内容;如果任何方式都无法安全处理,转给人工。

关键在于:降级的档位必须和任务的性质匹配。用一个小模型总结内部会议纪要,完全可以接受,写得糙一点没人受伤。用同一个小模型去解读一份复杂的法律文件,就不行了。同样,一条缓存的回答拿来应付常见问题完全够用;但用户问的是「我现在账户里有多少钱」,缓存答案就是在骗人。

还有一个更隐蔽的坑:很多人把主力模型和备用模型都挂在同一家供应商下。这家供应商一出事,两条路一起断,所谓的冗余从来就不存在。真正的冗余要求两条路径之间有实质隔离。

第一级 · 主力模型 质量最高,优先使用 第二级 · 小型备用模型 质量降一档,但还能用 第三级 · 预设或缓存回复 不个性化,但不是错误页 第四级 · 转人工 任何方式都无法安全处理时 每一级的档位必须和任务性质匹配:小模型可以总结会议纪要,不能解读法律文件; 缓存回复可以应付常见问题,不能回答账户余额。
降级是一条自上而下的链条,上一级失效才启用下一级。四级来自原文给出的 fallback 路径,note 里的匹配原则也出自原文的两组对照例子。

熔断器:及时止损

当一个服务明显挂了,聪明的做法不是继续敲门,而是暂时停止敲门。

供应商宕机的时候,每个请求都在超时。继续发请求,资源被白白占用,用户在屏幕前干等一个注定失败的结果。

熔断器(一个自动切断故障调用的开关)解决的就是这件事,它有三种状态:

  1. 闭合:一切正常,请求照常发出。
  2. 断开:服务被判定为不健康,请求立刻被拒绝或改道,一个都不往外发。
  3. 半开:放一小撮试探性请求过去,看对方恢复了没有。

试探成功,开关闭合,恢复正常;试探失败,退回断开状态,过一会儿再试。它的价值是隔离:不让一个服务的故障顺着调用链蔓延到整个程序,同时给降级方案留出干净的切换时机。

故障持续出现 冷却一段时间后 试探成功,恢复正常 试探失败,继续断开 闭合 请求正常发出 断开 请求立刻被拒或改道 半开 放一小撮试探请求过去
熔断器不是一个开关,而是一个会自己试探、自己决定要不要恢复的循环。三种状态及其转换条件均出自原文。

支付那个坑

AI 能替你调用真实接口之后,最危险的失败是「动作成功了但程序不知道」。

大模型现在不只是回答问题,还被当作 agent(能自己拆解任务、调用接口、连续干活的 AI 程序)在用:它能调接口、查数据库、发消息、执行交易。

这带来一个传统错误处理从没面对过的问题:模型执行的动作成功了,但包着它的流程失败了。

原文的例子非常具体:AI 助手调用支付服务,钱扣成功了,但在确认回执传回来之前网络断了。程序这边看到的是一次「失败的调用」。如果它按照前面讲的重试纪律,老老实实重试一次,用户被扣了两次钱。

这就是为什么涉及真实动作的系统需要 幂等(同一个操作重复执行多次,效果和执行一次完全一样)。带上一个唯一的请求标识,支付服务收到第二次请求时认出「这单我处理过了」,直接返回上次的结果,不再扣一次钱。除此之外还需要状态追踪和恢复机制,程序得知道自己上次走到哪一步了。

之前 之后 支付服务收到 两次独立请求 同一个请求两次 实际扣款 扣两次 扣一次 用户看到 被多收一笔 金额正确
同样是断网后重试一次,有没有幂等标识,结果差一笔真金白银。场景取自原文的支付失败例子。

老办法,新对象

这篇文章真正的结论是:接了大模型之后,多出来的是新的失败种类,不是新的防御手段。

通篇读下来,ByteByteGo 开出的药方是重试、退避、抖动、降级、熔断、限流、排队、幂等,没有一样是为大模型发明的。这些全是分布式系统被折磨了二三十年攒下来的老手艺,换个对象照样用。

真正变了的只有一件事:多出来一整类不会报错的失败。传统的防御体系建立在「故障会自己喊出来」这个假设上,而模型编造一条不存在的政策时,它不喊。这类失败没有任何技术手段能自动接住,原文自己也承认,只能靠额外的校验、可信数据源,或者人工介入。

文章讲了七种「成功但没用」的响应,却没给出任何一个判定它们的可靠办法,除了「叫人来看」。限流、熔断、重试都能写进代码自动跑,而判断一个答案是不是编的,目前还站在自动化的门外。这是接 AI 的程序和传统程序之间,真正还没被填平的那道沟。