全绿的失败

同一个问题问两遍,AI 可能给出两个不同答案。传统那套「复现问题再修」的排查方法,在这里直接失效。

传统软件坏了会留下痕迹:程序崩溃、接口报错、日志里一行红字。工程师照着痕迹复现问题,改掉,收工。

AI 应用不给你这份痕迹。同一个提示词,两次运行可能产生不同的输出。问题不复现就无从下手,除非在它出错的那一刻,当时的完整输入、模型参数、随机程度已经全部记了下来。

更麻烦的是另一类故障。检索那一步取回了一份错误的文档,但所有接口都返回 200(互联网上表示「请求成功」的标准信号),延迟正常,错误率是零。仪表盘上一切健康,只有答案是编的。

APM(应用性能监控,盯服务器和接口是否正常的那套工具)测的是管道通不通,不是水干不干净。AI 的绝大多数事故,都发生在水这一层。

传统监控在测什么 服务器崩没崩、 接口报没报错、 响应多快、错误率多少 它测不到什么 答案是不是编的、 检索取回的文档对不对、 语气有没有跑偏
同一套监控工具,能看见管道通不通,看不见水干不干净。原文的说法是:标准的应用性能监控无法捕捉提示词与输出质量、检索相关性、agent 层面的推理过程。

录像、判卷、盯盘

这类新平台干三件事:把 AI 的每一步录下来,给答案质量打分,再把线上翻车的案例回收成下次上线前的考题。

第一件是追踪。用户输入了什么、检索取回了哪几篇文档、每次调用模型时用的完整提示词和参数、每次工具执行、最终输出,全部按嵌套的层级存下来。agent(能自己拆解任务、连续调用工具干活的 AI 程序)的记录尤其厚,一次对话就可能产生几十次运行、上兆字节的数据。

第二件是评测,回答追踪答不了的那个问题:答得好不好。上线前,拿一批整理好的题目跑一遍,看换了提示词、换了模型、换了检索库之后有没有变差;上线后,从真实流量里抽样打分,查有没有编造、有没有答到点上、语气有没有跑偏。最难抓的是那种技术上完全成立、放到具体业务里却是错的输出:一条被编出来的公司政策,一次检索落空后给出的笃定回答。

第三件是生产监控:按模型和用户拆成本、看延迟分布、质量分数下滑就告警。做得好的平台会把线上真实失败的案例回收进测试集,每一次真实翻车,都变成下次上线前必须通过的考题。

用户提问 一次运行开始 追踪 · 全程录像 提示词、检索、工具调用、耗时、花费 评测 · 给答案打分 有没有编造、答没答到点上 监控 · 线上盯盘 拆成本、看延迟、质量下滑就告警 回流 · 变成考题 线上失败案例进测试集 第五步把线上真实翻车回收成上线前必过的测试。 这个闭环,是完整平台和普通日志工具的分界线。
这类平台的完整链路:录下来、打分、盯着、再把失败案例喂回去。原文的原话是「最好的平台把生产追踪回流进评测数据集,于是每一次真实世界的失败都变成未来的回归测试」。

从可选到必需

这个类别在 2026 年不再是锦上添花的工具:市场规模 26.9 亿美元,四年内预计涨到 92.6 亿。

数字来自市场研究机构 The Business Research Company:2025 年 19.7 亿美元,2026 年 26.9 亿,到 2030 年 92.6 亿,年复合增速 36.2%。

调研机构 Gartner 的预测更直接:到 2028 年,一半的生成式 AI 部署里都会出现这类投入,而 2026 年初这个比例只有 15%。两年多翻三倍多。

推着它涨的是一个很朴素的事实:AI 一旦上线面对真实用户,团队就必须回答「它昨天答错了几次」。这个问题,原来那套监控工具答不了。

26.9亿美元 2026 年市场规模 92.6亿美元 2030 年预测规模 3.4倍 四年增长倍数
这个工具类别四年要长 3.4 倍,年复合增速 36.2%。数据来自市场研究机构 The Business Research Company。

装了监控,不判卷

行业目前的做法明显偏科:近九成团队给 AI 装了监控,但只有三分之一多一点在线上检查答案质量,近三成完全不评测。

数据来自 LangChain 发布的《Agent 工程现状》调查,1300 多名从业者参与。57% 的人说自己的 agent 已经跑在生产环境里。装了监控的接近 89%,但再往下就是断崖:52.4% 会在上线前跑离线评测,37.3% 会给线上真实流量打分,29.5% 报告完全不做任何评测。

同一份调查里,32% 的人把「质量」列为 AI 上生产的头号障碍。所有人都知道质量是最大的那道坎,接近三成的团队却没有任何机制去测量它。

这像是给车装了行车记录仪,却从不回看录像。设备在转,数据在存,没人判卷。

占 1300 多名受访者的比例 已做 agent 监控 约 89% 跑离线评测 52.4% 跑线上评测 37.3% 完全不做评测 29.5%
从「装监控」到「查答案」之间是一道断崖:监控接近全员,线上判卷不到四成,近三成一次都不测。数据来自 LangChain《Agent 工程现状》调查,1300 多名从业者参与。

四个阵营

同一个需求长出了四种形态的工具,各自的强项和盲区几乎是对称的。

AI 原生平台把 AI 的一次完整运行当成第一等对象来记录:Langfuse、LangSmith、Braintrust、Arize、Opik 属于这一类,录像、判卷、盯盘三件事都做。Langfuse 走的是开源自部署路线,核心代码是 MIT 许可,用 Docker 几分钟就能在自己机房跑起来;Braintrust 把评测放在整个工作流的正中心,评测不过就卡住上线。

开源评测库只管打分:是否忠于原文、有没有幻觉、答案相不相关、任务完没完成。Arize Phoenix、DeepEval、MLflow、RAGAS 在这一格。Phoenix 在 Arize 宣布 C 轮融资时已经是每月两百万次下载量,是这一格里被装得最多的一个。它们判分很强,但不盯生产。

AI 网关架在你的应用和模型供应商之间当中转站,Helicone、Portkey、LiteLLM 是代表。改一行代码把流量绕过去,成本、用量、延迟的看板就出来了。代价是它只看得见「一次请求」,看不见 agent 内部那棵深层的调用树。

APM 扩展把 AI 追踪挂到已有的基础设施监控上,Datadog、New Relic、Dynatrace 走这条路。好处是 AI 的异常能和 CPU、内存、网络指标对上号,坏处是它天然不以开发和评测流程为中心。

强项就是边界:网关擅长看成本,却跳过深层追踪;评测库擅长判分,却不盯线上。

先问支不支持 OTel

四个阵营已经统一到同一套记录格式上,这决定了你以后能不能换供应商。买之前把它当硬性条件。

这套格式叫 OpenTelemetry 的生成式 AI 语义约定。它规定了记录模型调用、用量、agent 的每一步、工具执行时该用哪些统一命名的字段,这些字段都以 gen_ai 开头。谷歌云、AWS、Azure、Datadog 都已采纳,Datadog 明确支持到 v1.37 以上版本。

对使用者的意义很实在:按这套标准接一次,以后换后台不用重写埋点。不按标准接,你的全部历史记录就锁死在某一家的私有格式里。

连写代码的 AI 工具都在往这上面靠:GitHub Copilot 的 agent 遥测直接输出这套字段树,Claude Code 提供可选开启的追踪,Codex 内置了导出支持。

2026 年的买家应当把 OpenTelemetry 兼容性当成硬性要求,而不是加分项。

这是原文里最直白的一条采购建议,全篇唯一没有留余地的一句。

Langfuse 经 OTel 接入 Phoenix 原生、MLflow 导出 代理层统一记录 Datadog 原生支持 v1.37+ AI 原生平台 Langfuse、LangSmith、Braintrust、Arize 开源评测库 Phoenix、DeepEval、MLflow、RAGAS AI 网关 Helicone、Portkey、LiteLLM APM 扩展 Datadog、New Relic、Dynatrace OpenTelemetry 标准 gen_ai 开头的统一字段
四种形态完全不同的工具,汇到同一套记录格式上。原文的建议是把 OTel 兼容当成采购的硬性要求,理由就在这张图里:格式统一,换后台才不用重写埋点。

怎么挑

选型不看功能表,看你的技术栈和团队形状。原文给出的六条对应关系可以直接照着套。

  1. 已经用 LangChain 或 LangGraph 搭 agent:选 LangSmith,几乎不用写胶水代码
  2. 数据必须留在自己机房、要求完全自主部署:选 Langfuse
  3. 受监管、对准确率要求极高,或者传统机器学习模型和大模型同时在跑:选 Arize
  4. 想让评测结果直接卡住不合格的上线:选 Braintrust
  5. 只想马上看到多家模型的成本和用量、不想改代码:选 Helicone,一行代理接上
  6. 全公司已经标准化在 Datadog 上:用它的 LLM 模块,阻力最小

还有一笔容易被忽略的账:记录本身要花钱。Weights & Biases 的 Weave 按数据量计费,免费额度每月 1 GB,Pro 版每月 60 美元含 1.5 GB,超出部分每 MB 收 0.1 美元。提示词越长、检索回来的文档越多,这个账单涨得越快。监控一个爱读长文档的 AI,比监控一个只答短句的 AI 贵得多。

这份榜单的分量

把这篇当地图看,别当裁判书看:所有的深度和强度评级都是编辑判断,没有一项是跑出来的。

作者 Asif Razzaq(AI 媒体 MarkTechPost 的 CEO)自己把话说明白了:排名和「最适合谁」的判断是编辑评估,不是实测跑分。依据是各家的官方文档和公开评测,不是同一套任务、同一批数据跑出来的横向对比。文中 Langfuse v4「最快 165 倍」这类数字,也来自厂商自述。

这不影响它的价值,但决定了该怎么用它:它告诉你市场分成哪几块、每块的典型选手是谁、各自的强项和盲区在哪,这是选型第一步该有的地图。至于哪一家在你的场景里真的更准、更快,只能自己拿真实流量试。

还有一个更根本的判断。这类工具的兴起本身,就说明了 AI 应用当前所处的阶段:当一个技术需要一整个类别的工具持续检查它有没有说谎,说明它还没到可以放手的时候。26.9 亿美元的市场,买的其实是不放心。