九成的值班是白跑

服务器集群每分钟往外吐成千上万条状态信号,值班工程师九成的力气花在看一眼、发现没事上,真正要出事的那条反而容易被划过去。

这篇文章的作者是 LangChain 的一名驻场工程师,他维护公司内部自建的集群,同时帮客户搭建和升级他们的环境。

Kubernetes(管理成百上千个程序实例的调度系统,线上服务基本都跑在它上面)每时每刻都在报状态:某个程序实例重启了几次、某台机器是不是快没内存了、自动扩容是不是已经顶到上限、某个服务是不是只剩一个备份在跑。信号成千上万,但没有任何东西替你把它们串成一句结论。

值班的人拿着这堆信号回答三个问题:现在有东西坏了吗,有东西快坏了吗,该怎么办。第三个问题要经验,所以这活落在最懂基础设施的那几个人头上。可前两个问题里,九成的检查最后都是虚惊一场。

折磨人的地方在于重复,而且大部分白干。人扛久了会长出一种肌肉记忆:快速划过。直到某天划过的那条,正是要出事的那条。

90% 值班分诊里的机械劳动占比
值班工程师看的绝大多数信号最后都没事,但每一条都得看——这就是这个 agent 被造出来的理由。数字为 LangChain 对自身运维工作的估计。

巡逻档和会诊档

这个 AI 值班员平时用最便宜的方式每隔几分钟扫一遍集群,只有真出事时才叫醒整套专家班子。

平时跑的是巡逻档。一个定时器每隔几分钟触发一次,先用一段普通 Python 程序直接向集群要原始状态,这一步一个 token 都不花(token 是大模型按字计费的单位,不调用模型就不产生费用)。拿到状态之后才调用一次 Claude Haiku(Anthropic 家最便宜最快的那一档模型),把一堆原始数据压成一份结构化的健康报告,按严重程度排好序发进 Slack。

出了事才切到会诊档。这时候由一个协调者 agent(能自己拆解任务、连续干活的 AI 程序)把问题拆开,同时派出一组专科医生:查程序实例的、查扩缩容的、查性能的、查日志的、查安全的、查可靠性的。它们各查各的,最后汇总成一份按优先级排序的报告。

专科医生分开派,不只是为了快。每个 agent 只看自己那一小块,读到的信息少,编造的余地也小,而且这种范围明确的活可以扔给更便宜的模型跑。便宜的档位跑得勤,贵的档位只在需要判断时才启动。

定时器触发 每隔几分钟一次,不叫醒协调者 Python 直接问集群 抓机器、程序实例、告警等原始状态,零 token 一次 Haiku 调用 把原始数据压成结构化健康报告 发进 Slack 按严重程度从高到低排序 整条路径上只有一次模型调用,所以便宜到可以每隔几分钟跑一遍。
巡逻档的四步:贵的模型只在最后一步出现一次。步骤与「zero LLM tokens」「one Claude Haiku call」均来自原文 Part 2。

看得见,动不了

这个 agent 读集群完全自主,但任何一次改动都必须有人在 Slack 上点批准。写权限被关在一个单独的子 agent 里,协调者在代码层面根本够不着。

所有会改变集群的操作,包括把某个服务扩到 3 个副本、重启一次发布、调整自动扩容的参数,都只存在于一个叫 change-executor 的子 agent 内部,而且每个写操作都被一道人工闸门拦住。agent 提出方案,人在 Slack 消息里批准、拒绝或者直接改数字。

关键在于这条界线不靠提示词维持。读工具和写工具放在不同的代码模块里,协调者拿不到写工具;集群自身的权限配置也是同一个划分:全局可读,写权限收得极窄。用提示词叮嘱它不要乱改,和让它在结构上改不了,是两回事。

还有一条更容易被忽略的设计:审批要让人真的看得懂。副本数改成 3,扫一眼就能判断该不该批;而一次 helm 升级(一条命令批量改动几十个资源的部署操作)是同一个按钮,按下去改了什么,审批界面上根本看不见。所以他们故意不给 agent 那些威力大但看不透的工具,哪怕有用。看不懂的审批,等于没有审批。

并行派活 只读,不需批准 提交修复提案 每个写操作都被拦下 批准后才落地 协调者(Sonnet) 拆任务、汇总结论 只读专科 agent(Haiku) 程序实例、日志、扩缩容、安全各管一摊 change-executor 全部写操作只存在于这个子 agent 里 人工审批 在 Slack 里批准、修改或拒绝 Kubernetes 集群 生产环境
注意协调者和集群之间没有直接的写入路径:所有改动必须经过 change-executor,再经过一个人。关系来自原文 Part 2 的 safety model 与 Part 3 的 read/write split。

20 次问,砍到 1 次

最初每次一切正常的例行巡检都要烧掉约 20 次昂贵的模型调用,改成纯代码取数据加一次便宜模型总结之后,单次成本降了 95% 到 99%。

一开始不是现在这样。定时巡检最早也走全套流程:叫醒协调者,扇出给各个专科子 agent,大约 20 次 Sonnet 调用之后得出一句「一切正常」。每几分钟付一次会诊费,只为确认没事。

改法很朴素:把取数据这件确定性的活从模型手里拿走,交给一段 Python 代码;模型只负责最后那步总结,而且换成最便宜的 Haiku。单次成本降了 95% 到 99%,作者说漏检没有增加。

他们还踩过一个坑。另一个 agent 卡进了死循环,反复调用同一个读文件的工具,没人注意的时候烧掉了大约 5 美元。金额不大,暴露的问题不小:agent 本身没有刹车,它可以一直转下去。现在这个运维 agent 跑在三道硬上限之下:总步数、模型调用次数、单个工具被反复调用的次数,再叠加提示缓存(把每次都要重发给模型的那部分内容存起来,不必反复计费)。

维度 改造前 改造后 谁去收集状态 子 agent 逐个查 一段 Python 直连 每次巡检模型调用 约 20 次 1 次 用哪档模型 Sonnet Haiku 单次巡检成本 基准值 降 95% 到 99%
同一件事(确认集群一切正常)改造前后的四个维度对照。数字均出自原文 Part 3 与 Part 4 对同一次重写的描述。

每次犯错变成考题

agent 每一次误判、人类每一次把提议的 10 个副本改成 4 个,都被存成一道带标准答案的测试题,以后每改一次提示词都要重考。

每一次运行都被完整录下来:调用了哪个工具、看到了什么数据、据此推理出了什么。这份录像叫 trace(运行轨迹,把 agent 每一步的输入输出全记下来)。

它抓出过一类典型毛病:负责扩缩容的那个子 agent 反复把只跑一个副本的服务标成最高级告警,可那些服务本来就是团队故意只跑一个的。轨迹里能看到它当时看见的确切快照和推理路径,还能一次性看到所有命名空间里的同类误报,改提示词于是有了直接证据,而不是凭印象猜。

更值钱的是人的每一次修改。批准、拒绝、编辑,都会作为反馈挂在那次运行上:

提议 10 个副本;人改成 4 个。

这是一条带标准答案的样本,而且落在整个系统风险最高的那个动作上。这些样本被攒成测试集,以后每改一次提示词或者换一次模型,都要拿它们重考一遍:一部分由另一个模型当判卷老师,一部分由写死的代码逐条核对,分数掉了就合不进代码库。那个单副本误报,从此成了一道永久考题。

AI 发现 AI 是瞎的

LangSmith Engine 从运行记录里翻出一个团队自己都没发现的问题:每小时的健康报告都在建议去查 CPU 和内存,而它自己压根没有取这些数据的能力。

上面那套改进闭环有个前提:得有人注意到不对劲、翻出那次运行记录、把它做成测试样本。维护 agent 的人要为此持续掏时间。LangSmith Engine 想接掉的就是这部分人力,它盯着运行记录做三件事:

  1. 归类:把散落的运行记录聚成有排序的问题条目。六个命名空间里的四十条误报,合成一条扩缩容分析误判故意单副本服务,而不是四十条待办。LangChain 说这个过程在零数据留存下进行,记录不会被拿去训练任何模型。
  2. 修复:总结失败原因,直接写出提示词或代码的改动,提交成一个 GitHub 合并请求,附上改了哪几行的对照和一段解释。
  3. 预防:顺手建议加哪些在线检查和测试样本,让同一个毛病回不来。

它真找出过团队自己没立过案的问题。每小时那份健康报告的末尾,总挂着一条建议动作:去查一下程序实例的 CPU 和内存。可这份报告根本查不了:取数据的那段代码只抓了机器状态、程序实例、告警事件、自动扩容和部署状况,唯独没抓资源使用量;而分析那一步是一次强制的工具调用,却没有给模型配任何可用的工具,所以模型也补不上前面漏掉的东西。每小时,它都在提出一个自己结构上无法回答的问题,然后把这个问题原样丢回给人。

更讽刺的是,取 CPU 和内存的能力早就写在仓库里,一直供交互式那条路使用,只是从没接进定时巡检这条路。Engine 给的方案是把它接进取数据那段代码、复用已有的单位换算逻辑,并且只动这一处,不碰分析提示词,也不破坏这一步零 token 的性质。改动作为合并请求交上来,人审过、加进测试集、跑过回归验证,然后合并。

能抄的和该打折的

最能直接拿走的是三条工程判断:把写权限做进结构、贵模型只放在需要判断的地方、审批界面必须让人真看得懂。所有成本和效果数字,都是 LangChain 在自家一个集群上的自述。

先说能拿走的。第一,写权限靠结构而不是靠叮嘱,读写工具分在不同模块,集群权限配置镜像同样的划分。第二,贵模型只放在真正需要判断的位置,取数据这种确定性的活干脆不交给模型。第三,审批要让人真能判断,宁可放弃那些好用但影响面看不透的工具。

再说该打折的。95% 到 99% 的降幅、约 20 次调用、5 美元的死循环,全部来自 LangChain 对自家一个集群的自述,没有第三方复核。文章通篇也没有给出这个 agent 最该证明的那个数字:上线之后,故障从发现到修好到底快了多少。它开篇讲的是运维工程师被机械劳动耗干,收尾却停在成本和工具链上。

还有一层身份要认。文中反复出现的 LangSmith 和 LangSmith Engine 是 LangChain 自己的商业产品,那个漂亮的自我诊断案例既是工程记录,也是产品演示。

唯一让这些自述可被检验的,是代码开源(源码公开,任何人可下载、修改、自己跑一遍),放在 GitHub 的 langchain-samples/sre-agent。你可以把它指向自己的集群,看它在你这儿是什么表现。