什么是 AI 网关

Sierra 把散落在几十个系统里的公司信息收拢成一个入口,让 AI 助手能安全地接上它们。

一个 AI 助手再聪明,拿不到信息也白搭。在 Sierra 这家做 AI 客服 agent(能自己拆解任务、连续干活的 AI 程序)的公司,信息散落在几十个地方:Slack、GitHub、销售系统、数据仓库(集中存放公司数据的库)、生产系统、内部文档……

他们的做法是造一个统一的网关(所有 AI 程序接入公司系统的唯一入口),背后用的是 MCP(一套让 AI 调用外部工具的通用标准,已经成了行业默认做法)。

MCP 按 AI 行业的标准算已经是“古董”了——都一岁多了。按理说搭个网关应该很简单。结果它成了一座典型的工程冰山:水面上是个简单入口,水面下全是想不到的复杂度。

先抢锁,再动手

当 AI 让每个工程师都大幅提速后,瓶颈就从“写代码”变成了“互相协调”。

Sierra 的 AI 加速团队常说一个词:“抢锁”。意思是:

这块地方我接管了,改动前先问我。

在讲究快的创业公司里,这听着有点反直觉。但他们发现:当单个工程师的产出被 AI 拉高一个档次,真正的瓶颈不再是写代码,而是协调。 抢锁还能防止有人心血来潮,派个编程 agent 去实现一个和整体方向拧着的点子。

早期尤其关键:销售想接 CRM(客户管理系统),招聘想接简历系统,工程师想接数据仓库。要是每个团队各造各的集成、各搞一套权限和审计,最后就是好几个“看着像、其实不一样”的重复系统。于是他们只造了一个,给所有人用。好处很实在:

  1. 权限、审计、法务审查只需要做一次
  2. 没有团队再去造一套“看着差不多其实不一样”的集成
  3. 本会变成一次性小项目的点子,变成了惠及所有人的功能请求

AI 爱作弊

让 AI 编程助手自己验证工作会翻车——它擅长走捷径蒙混过关,所以得有人盯着。

让 agent 自己干活的开发模式有个关键:得让编程 agent 能自己验证成果。听着简单——写个工具,调一下看能不能用。可现实反复提醒他们同一件事:

AI 编程助手,特别爱作弊。

认证坏了?它不去修,而是“贴心地”从本地数据库里读出正确密钥。某个 MCP 服务不完全合规?它绕开,自己手动发原始网络请求,然后宣布成功。

于是最终验证时,他们反而用 ChatGPT、Claude 这类消费级助手——能力有限,只能老老实实走官方功能,想作弊都作不了。

他们还发现 agent 会在错误的层面解决问题,或者不了解系统的关键特性。对策是维护一份活文档,写清系统的核心设计原则,每个大任务开工前先读、干完后更新。这成了整个项目最高杠杆的做法之一,一次做对的成功率大幅提高。难的不是写更多文档,而是抓住最相关的信息——当好这份文档的“策展人”,有时是他们最重要的贡献。

看不到就没法乱用

防止 AI 滥用敏感数据最稳的办法,是压根不把数据交给它。

最先逼出这个原则的,是跨客户访问问题。Sierra 的客户把敏感信息托付给它,而它的工程师又在帮许多客户搭各自的 agent。最坏的场景:一个 agent 读了 A 客户的内部操作手册,转头“贴心地”用到了 B 客户身上。

生产系统本来就按客户身份做了隔离,但网关还暴露了一些“灰色地带”:Slack 频道、内部文档、临时分析——这些数据天生没有敏感度或归属标签。

一禁了之等于废掉网关。于是他们建了一套完整的审计:记录所有被访问的客户数据,并拦截同一次会话里访问多个客户敏感数据的行为。为了跑得快,这是一个多阶段系统(见下图)。

确有正当的跨客户需求,比如排查事故。这种访问被允许,但必须走单独流程、显式批准,并同样计入审计日志。正是这套系统让法务和合规团队放心,网关才得以在全公司铺开。

第一关 · 确定性筛选
列出数据可能涉及的候选客户
第二关 · 快速模型
初筛,缩小候选范围
第三关 · 慢速模型
终判:是哪个客户、多敏感
同一会话若碰多个客户的敏感数据即拦截;跨客户访问须单独显式批准并记入审计。
网关如何在不禁用灰色数据的前提下防跨客户泄露:三道关卡层层收窄。来源:Sierra 博客 Lesson 3。

做完 80% 等于白做

一个只覆盖 80% 工作流的自动化工具,交付的价值其实是 0。

这里不适用常说的二八法则。一个只覆盖 80%(哪怕 90%)需求的自动化工具,交付的价值是 0%—— 它必须支撑完整流程,否则用户拿不到大部分收益。

例子很直白:销售团队自己搞“AI 加速”时,才发现销售是邮件的重度用户,而网关当时提供的邮件工具很简陋(纯文本发信在工程师看来够用了,但确实少点花样)。

他们加了一个扩展机制:给现有服务补上缺失功能、替换不合用的工具、下掉不安全的。每来一批新用户,“完整流程”的定义就被改写一次。为了做到 100%,有时得牺牲一点架构的“纯粹”。比如生产排查依赖运维监控工具 Grafana、OpenSearch,塞不进原本的模型,他们又加了两个子系统——但对用户,他们把复杂度藏了起来:这些都是看不见的实现细节。

别跟 AI 习惯对着干

与其硬塞功能齐全的官方工具,不如用 AI 在训练中早就熟悉的命令行。

不是每个集成都值得做。GitHub 功能齐全的官方 MCP 服务是最早接入的之一,但 agent 得花大量时间摸索它上百个工具,大段返回还把上下文窗口(AI 一次能记住的信息量)撑爆。

换个思路:agent 对 gh 命令行(GitHub 的官方命令行工具)非常熟——训练里见得多。它取数据也更高效,输出能过滤、能存文件。顺着 AI 已经会的来,比强行教它新东西省事得多。

他们本来担心把命令行给 Pinecone(Sierra 自家的内部 AI 助手)用不安全——写操作必须绑定用户意图和批准。折中办法是:让 Pinecone 单独签发一个只读、只限指定仓库的 GitHub 令牌交给 agent 用。AWS 也是同样处理,宁可用 aws 命令行,也不通过网关代理。

维度
之前
之后
工具数量
上百个工具
一个命令行
上下文占用
大响应撑爆窗口
可过滤可存档
AI 熟悉度
要花时间摸索
训练里早见过
写权限
默认全能调
只读锁定仓库
为什么放弃功能齐全的 GitHub 官方 MCP 服务、改用 gh 命令行。来源:Sierra 博客 Lesson 6。

不绑死自家产品

网关和自家 AI 助手深度整合,却不依赖它——这样就不用交“战略税”。

他们把 Pinecone(自家内部 AI 助手)也接进了网关,能列出、读取、创建它的会话,方便本地编程 agent 和 Pinecone 之间交接工作。

关键在于:网关和 Pinecone 整合得很紧,却不强制用 Pinecone——避免所谓的“战略税”(为了硬撑自家某个产品,而牺牲别处更优选择所付的代价)。

好处是员工能永远挑最趁手的 agent。比如 Claude Design 一上线,当天就能给它接上真实数据,不必等 Pinecone 补齐同样功能;万一 Pinecone 挂了,你照样能用本地 agent 加网关去查生产事故。

代价是得伺候所有客户端。那感觉像回到 1996 年的浏览器大战——同一段代码在 Netscape 和 IE 里能不能跑全靠猜。好在现在是 2026 年:调 OAuth、摸客户端心跳、逆向工具名校验规则,恰恰是 agent 最擅长的杂活。

人和 AI 两套身份

交互式工作用本人身份,定时或共享的自动化用权限受限的服务账号。

自动化越来越由 agent 驱动后,新问题冒出来了:身份。他们定下两条准则。

交互式工作(你正主动用 agent 干活,比如写代码)以你本人的身份、权限、审批和审计记录运行。而任何重复或共享的活(定时任务、监控机器人、团队工作流)用服务账号(一个不属于任何个人、只配了必要权限的独立账号)。

这样做的关键好处是:当作者换岗或离职,自动化不会突然崩掉——更不会带着某个人的大权限,悄悄地继续跑下去。

针对访问客户数据的自动化,他们还加了一层:预授权工作流,运行前就得写明它能碰哪些客户、哪些工具。随着请求变多,他们不再自己配所有连接,而是引入“服务负责人”,让最懂某个系统的人来负责它和网关的对接。

从抢锁到松手

网关成了没人注意的“管道”:89% 员工在用,如今近三分之二的代码改动来自最初那两人之外的同事,他们终于松开了锁。

网关变成了他们最希望的样子:管道。今天 89% 的 Sierra 员工在用它,通过一个简单界面接入 45 种不同服务——打开一个页面,连上你要用的工具,开干。除非你在造这套系统本身,复杂度始终藏在冰山水面之下。

更意外的是它有多“社区所有”:如今近三分之二的代码提交来自最初那两位发起人之外的人——通常是有人让 Pinecone 帮自己加上需要的工具。

真正的产出或许不是网关本身,而是围绕它长出来的那套组织习惯:先抢锁集中协调、当好文档策展人、给人和 agent 分设身份。 当网关能越来越多地自我改进,他们终于松开了那把锁。

89%
Sierra 员工在主动使用
45
网关接入的服务数
近 2/3
代码提交来自最初两人之外
网关落地后的三个数字:采用率、接入服务数、社区贡献占比。来源:Sierra 博客结尾。