全绿的失败
同一个问题问两遍,AI 可能给出两个不同答案。传统那套「复现问题再修」的排查方法,在这里直接失效。
传统软件坏了会留下痕迹:程序崩溃、接口报错、日志里一行红字。工程师照着痕迹复现问题,改掉,收工。
AI 应用不给你这份痕迹。同一个提示词,两次运行可能产生不同的输出。问题不复现就无从下手,除非在它出错的那一刻,当时的完整输入、模型参数、随机程度已经全部记了下来。
更麻烦的是另一类故障。检索那一步取回了一份错误的文档,但所有接口都返回 200(互联网上表示「请求成功」的标准信号),延迟正常,错误率是零。仪表盘上一切健康,只有答案是编的。
APM(应用性能监控,盯服务器和接口是否正常的那套工具)测的是管道通不通,不是水干不干净。AI 的绝大多数事故,都发生在水这一层。
录像、判卷、盯盘
这类新平台干三件事:把 AI 的每一步录下来,给答案质量打分,再把线上翻车的案例回收成下次上线前的考题。
第一件是追踪。用户输入了什么、检索取回了哪几篇文档、每次调用模型时用的完整提示词和参数、每次工具执行、最终输出,全部按嵌套的层级存下来。agent(能自己拆解任务、连续调用工具干活的 AI 程序)的记录尤其厚,一次对话就可能产生几十次运行、上兆字节的数据。
第二件是评测,回答追踪答不了的那个问题:答得好不好。上线前,拿一批整理好的题目跑一遍,看换了提示词、换了模型、换了检索库之后有没有变差;上线后,从真实流量里抽样打分,查有没有编造、有没有答到点上、语气有没有跑偏。最难抓的是那种技术上完全成立、放到具体业务里却是错的输出:一条被编出来的公司政策,一次检索落空后给出的笃定回答。
第三件是生产监控:按模型和用户拆成本、看延迟分布、质量分数下滑就告警。做得好的平台会把线上真实失败的案例回收进测试集,每一次真实翻车,都变成下次上线前必须通过的考题。
从可选到必需
这个类别在 2026 年不再是锦上添花的工具:市场规模 26.9 亿美元,四年内预计涨到 92.6 亿。
数字来自市场研究机构 The Business Research Company:2025 年 19.7 亿美元,2026 年 26.9 亿,到 2030 年 92.6 亿,年复合增速 36.2%。
调研机构 Gartner 的预测更直接:到 2028 年,一半的生成式 AI 部署里都会出现这类投入,而 2026 年初这个比例只有 15%。两年多翻三倍多。
推着它涨的是一个很朴素的事实:AI 一旦上线面对真实用户,团队就必须回答「它昨天答错了几次」。这个问题,原来那套监控工具答不了。
装了监控,不判卷
行业目前的做法明显偏科:近九成团队给 AI 装了监控,但只有三分之一多一点在线上检查答案质量,近三成完全不评测。
数据来自 LangChain 发布的《Agent 工程现状》调查,1300 多名从业者参与。57% 的人说自己的 agent 已经跑在生产环境里。装了监控的接近 89%,但再往下就是断崖:52.4% 会在上线前跑离线评测,37.3% 会给线上真实流量打分,29.5% 报告完全不做任何评测。
同一份调查里,32% 的人把「质量」列为 AI 上生产的头号障碍。所有人都知道质量是最大的那道坎,接近三成的团队却没有任何机制去测量它。
这像是给车装了行车记录仪,却从不回看录像。设备在转,数据在存,没人判卷。
四个阵营
同一个需求长出了四种形态的工具,各自的强项和盲区几乎是对称的。
AI 原生平台把 AI 的一次完整运行当成第一等对象来记录:Langfuse、LangSmith、Braintrust、Arize、Opik 属于这一类,录像、判卷、盯盘三件事都做。Langfuse 走的是开源自部署路线,核心代码是 MIT 许可,用 Docker 几分钟就能在自己机房跑起来;Braintrust 把评测放在整个工作流的正中心,评测不过就卡住上线。
开源评测库只管打分:是否忠于原文、有没有幻觉、答案相不相关、任务完没完成。Arize Phoenix、DeepEval、MLflow、RAGAS 在这一格。Phoenix 在 Arize 宣布 C 轮融资时已经是每月两百万次下载量,是这一格里被装得最多的一个。它们判分很强,但不盯生产。
AI 网关架在你的应用和模型供应商之间当中转站,Helicone、Portkey、LiteLLM 是代表。改一行代码把流量绕过去,成本、用量、延迟的看板就出来了。代价是它只看得见「一次请求」,看不见 agent 内部那棵深层的调用树。
APM 扩展把 AI 追踪挂到已有的基础设施监控上,Datadog、New Relic、Dynatrace 走这条路。好处是 AI 的异常能和 CPU、内存、网络指标对上号,坏处是它天然不以开发和评测流程为中心。
强项就是边界:网关擅长看成本,却跳过深层追踪;评测库擅长判分,却不盯线上。
先问支不支持 OTel
四个阵营已经统一到同一套记录格式上,这决定了你以后能不能换供应商。买之前把它当硬性条件。
这套格式叫 OpenTelemetry 的生成式 AI 语义约定。它规定了记录模型调用、用量、agent 的每一步、工具执行时该用哪些统一命名的字段,这些字段都以 gen_ai 开头。谷歌云、AWS、Azure、Datadog 都已采纳,Datadog 明确支持到 v1.37 以上版本。
对使用者的意义很实在:按这套标准接一次,以后换后台不用重写埋点。不按标准接,你的全部历史记录就锁死在某一家的私有格式里。
连写代码的 AI 工具都在往这上面靠:GitHub Copilot 的 agent 遥测直接输出这套字段树,Claude Code 提供可选开启的追踪,Codex 内置了导出支持。
2026 年的买家应当把 OpenTelemetry 兼容性当成硬性要求,而不是加分项。
这是原文里最直白的一条采购建议,全篇唯一没有留余地的一句。
怎么挑
选型不看功能表,看你的技术栈和团队形状。原文给出的六条对应关系可以直接照着套。
- 已经用 LangChain 或 LangGraph 搭 agent:选 LangSmith,几乎不用写胶水代码
- 数据必须留在自己机房、要求完全自主部署:选 Langfuse
- 受监管、对准确率要求极高,或者传统机器学习模型和大模型同时在跑:选 Arize
- 想让评测结果直接卡住不合格的上线:选 Braintrust
- 只想马上看到多家模型的成本和用量、不想改代码:选 Helicone,一行代理接上
- 全公司已经标准化在 Datadog 上:用它的 LLM 模块,阻力最小
还有一笔容易被忽略的账:记录本身要花钱。Weights & Biases 的 Weave 按数据量计费,免费额度每月 1 GB,Pro 版每月 60 美元含 1.5 GB,超出部分每 MB 收 0.1 美元。提示词越长、检索回来的文档越多,这个账单涨得越快。监控一个爱读长文档的 AI,比监控一个只答短句的 AI 贵得多。
这份榜单的分量
把这篇当地图看,别当裁判书看:所有的深度和强度评级都是编辑判断,没有一项是跑出来的。
作者 Asif Razzaq(AI 媒体 MarkTechPost 的 CEO)自己把话说明白了:排名和「最适合谁」的判断是编辑评估,不是实测跑分。依据是各家的官方文档和公开评测,不是同一套任务、同一批数据跑出来的横向对比。文中 Langfuse v4「最快 165 倍」这类数字,也来自厂商自述。
这不影响它的价值,但决定了该怎么用它:它告诉你市场分成哪几块、每块的典型选手是谁、各自的强项和盲区在哪,这是选型第一步该有的地图。至于哪一家在你的场景里真的更准、更快,只能自己拿真实流量试。
还有一个更根本的判断。这类工具的兴起本身,就说明了 AI 应用当前所处的阶段:当一个技术需要一整个类别的工具持续检查它有没有说谎,说明它还没到可以放手的时候。26.9 亿美元的市场,买的其实是不放心。