零点击的那封邮件

2025 年 6 月,安全公司 Aim Security 演示了一次攻击:一封普通邮件,收件人连点都没点,微软 365 Copilot 就把公司内部文件送到了外部服务器。

这封邮件里没有病毒,没有链接陷阱,也没有利用任何软件缺陷。它就是一段文字,里面写着一串给 AI 看的指令。

用户那天做的是再正常不过的事:让 Copilot 帮忙处理点工作。Copilot 为了回答,顺手把邮箱里的内容读了进来——包括那封没被打开的邮件。攻击者写的指令和用户的真实请求就这样一起进了模型,模型没有任何办法区分这两者。

微软给这个漏洞编了号 CVE-2025-32711,几天内堵掉了这条路径,并表示客户没有受到影响。但微软本来就装了一个专门拦截这类攻击的过滤器,而这封邮件从它面前大摇大摆地过去了。

模型分不清命令和资料

根源是语言模型的输入只有一条流水线:系统设定、用户提问、检索来的文档、工具返回的结果全挤在里面,没有任何标记说明哪句是命令、哪句只是内容。

传统软件是分开的。数据库查询有一种写法叫参数化查询:命令放一格,用户填的内容放另一格。你在姓名栏里写一整条数据库删除语句,它也只是一串字符,因为格子的结构决定了它进不了命令那一格。

语言模型没有格子。系统提示、用户消息、从资料库里捞出的文档、调用工具后返回的输出,拼成一条长长的文本一起送进去。模型生成下一个字时,依据的是前面所有内容,它不会对其中某一段另眼相看。所以这条序列里的任何一段,都可能被当成指令执行。

这就是提示注入(用文字冒充指令,让模型照攻击者的话做,而不是照运营者的意图做)。它有两条路进来。一条是直接的:有人在聊天框里输入恶意指令,大多数人想象的就是这种。另一条是间接的:指令藏在模型干活时会读到的内容里——一个待总结的网页、一份被读取的文档、一封收件箱里的邮件。EchoLeak 走的是第二条。

参数化查询在数据库那边把命令和数据分开了,自然语言这边没有对应的解法。指令和信息都是词,目前没有可靠办法给一段文字打上「这只是资料,别当命令」的标记,并让模型在生成时真的遵守。过滤能减少,但消不掉。

提示注入是什么 模型把指令和资料混在同一条输入里, 分不清谁是谁——这是它的工作方式 它不是什么 不是某段写错的代码。微软几天内 堵掉的是那一条路径,不是这个属性
这张图告诉你:提示注入不是能靠打补丁根治的软件缺陷,而是语言模型处理文本的方式本身。CVE-2025-32711 被修的是一条具体路径。

把十条风险摆到一条线上

OWASP 那份「大模型十大风险」清单,不是十件孤立的事,而是数据流经系统时的几个位置——每一处对应一类攻击。

OWASP 是业内做安全清单的老牌组织,它给大模型应用列了十项最关键的风险。清单读起来像十个并列的名词,但把它们贴到数据实际走的那条路上,就变成了地图上的坐标。

路线是这样的:用户的问题进来;系统通常先去资料库里捞相关内容来支撑回答,这套做法叫检索增强生成(RAG,先搜再答);模型处理拼好的全部输入;它可能调用工具或别的程序去外部动手;结果返回给用户。监控围着整条线,而线上每一个零件都来自某个供应商。

按位置对号入座。输入端是直接注入,还有一种叫「无节制消耗」——攻击者疯狂调用把你的账单打爆,业内管这叫烧钱攻击。检索端是间接注入和资料库被污染:2024 年的 PoisonedRAG 研究往一个几百万条的知识库里塞了五段恶意文本,针对特定问题的攻击成功率就到了 90%。模型端是训练数据泄露、模型被投毒、系统提示被套出来。工具端是权限给多了。输出端是结果没净化就往下游传,以及一本正经地说错话。

供应链没法安在某一格上。一个被做过手脚的模型或者一个被污染的资料库,会同时影响后面所有环节,所以它是横跨全线的一层。

地图真正的用处是判断新攻击:不可信的文字从哪一段进来,滥用了模型本不该有的哪个权限。这两个答案同时决定了严重程度和该用哪种防御。

供应链横跨全部五段: 任何一个零件都可能 出厂就带毒,而且它 影响的是后面所有环节。 输入 · 用户提问 直接注入、烧钱式滥用 检索 · 先搜再答 间接注入、资料库被污染 模型 · 生成 训练数据泄露、被投毒、系统提示被套出 工具 · 对外动手 权限给多了 输出 · 返回用户 没净化就下传、自信地说错话
这张图告诉你:OWASP 的十项大模型风险不是一张清单,而是数据流上五个位置各自的暴露点,加上一层横跨全线的供应链。

被高估的那几种攻击

偷模型权重、掏训练数据、给训练过程下毒,这三类攻击真实存在,但对大多数团队都够不上优先级——它们要么贵,要么窄,要么已经被模型提供商堵上了。

开头那 20 美元是个好例子。一个团队用公开接口花不到二十美元,还原出了 OpenAI 线上模型最后一层的参数,并确认了此前保密的隐藏维度。结果确实重要,但边界也清楚:那是许多层里的一层,研究者自己说,想通过接口重建一个完整的前沿模型不现实,因为成本比重新训练一个还高。OpenAI 提前收到了通知,改了接口。

2023 年底,谷歌 DeepMind 和几所大学的研究者发现,反复让 ChatGPT 重复同一个词,它会开始原样吐出训练数据的片段,包括真实的联系方式,几百美元就能捞出几兆的内容。隐私问题很严重,OpenAI 在披露后把这个触发方式过滤掉了。

2025 年,Anthropic、英国 AI 安全研究所和艾伦·图灵研究所的联合团队发现,大约 250 份恶意文档就够给一个模型装后门(埋一个暗号,模型见到暗号就换一套行为),而且从 6 亿参数到 130 亿参数,需要的文档数几乎不变。这推翻了一个流行假设:模型越大,下毒需要的量就越大。研究者也把限制说得很直白——这个后门被触发时只会让模型输出乱码,他们认为这种低风险行为在前沿模型上构不成实质威胁。

注意力是有限的。一个团队盯着模型盗窃,同时把一个权限开得很大的 agent(能自己拆解任务、连续调用工具干活的 AI 程序)放到线上,等于防住了罕见的,敞开了常见的。

这个「有限」说的是现在,而且有条件。如果你自己托管开源模型权重、拿敏感数据做微调、或者自己跑训练流程,模型内部就从提供商的责任变成了你的责任,这几类攻击的优先级会立刻上升。

20 美元 撬出 OpenAI 线上模型的一层 250 份 给 130 亿参数模型装后门 5 段文字 毒化百万条的知识库
这张图告诉你:三次公开研究里,攻破一个大系统各自需要多少投入。数据分别来自 OpenAI 模型层提取实验、Anthropic 等三方的投毒研究、2024 年 PoisonedRAG 研究。

致命三件套

真正造成实际损失的地方有一个固定结构:同一个 agent 同时握着私密数据、来自外部的不可信内容,以及一条能把东西送出去的通道。

三样分别是:能读到私密数据(收件箱、客户库、代码仓库);会读到外部内容(网页、邮件、共享文档);有对外动作的能力(发一个请求、发一条消息、调一个工具)。凑齐三样,藏在外部内容里的指令就能指挥这个 agent 把私密数据送到攻击者手上。

指望模型「对齐」得更好来挡住这件事没用。按照输入里的指令行事,本来就是模型正常工作的方式。

已经发生的案例不少。GitHub 的 MCP 服务(MCP 是一套让模型连接外部工具和数据的通用协议)被人用公开仓库里的恶意 issue 撬开,泄露了受害者私有仓库的内容。GitLab 的 Duo 助手被喂了一个藏着指令的公开项目,泄露了私有仓库。一家雪佛兰经销商的客服机器人被人说服,同意用一美元卖一台 SUV。一个加密货币交易 agent 被话术骗着转走了 55 个以太币。

拆掉三样里的任何一样,风险都会降。最便宜的通常是切断对外通道,或者收窄这个 agent 能碰到的数据范围,比再加一层更强的过滤器省事得多。

agent 拿到第三样能力,最常见的方式就是通过 MCP 接工具,而这个协议太新,连成熟的服务都发布过能被注入的配置。Anthropic 自己的官方 Git MCP 服务,2025 年就吃了三个注入相关的 CVE 编号。

藏进去 干活时被读进上下文 有权限读取 照指令调用 私密数据送出去 攻击者 把指令藏进公开内容 不可信内容 邮件、网页、工单、公开仓库 AI agent 三样能力集于一身 私密数据 收件箱、客户库、代码仓库 对外通道 发请求、发消息、调工具
这张图告诉你:损失是怎么闭环的——攻击者不碰你的系统,只在它会读到的地方留一句话。切断任意一条实线,闭环就断了。

模型出厂就带毒

还有一类风险在请求到达之前就已经存在:模型文件、向量库、工具,任何一个零件都可能从供应商那里带着后门来,运行时的防御根本轮不上。

机制不复杂,问题出在模型的打包方式上。

2025 年初,安全公司 ReversingLabs 记录了一种叫 nullifAI 的手法:上传到 Hugging Face(全球最大的开源模型共享平台)的恶意模型里藏了一段反向 shell——一段会主动连回攻击者机器、把控制权交出去的代码。文件被用特殊方式压缩,骗过了平台自己的扫描器,于是模型看上去干净,加载时执行了攻击者的代码。

数量不小。专门扫描 Hugging Face 托管模型的 Protect AI 检查了四百多万个模型,在五万多个模型里标出了大约 35 万处不安全或可疑的问题。

这一层是少数完全由你自己掌控的地方。运行时的攻击面大多不由你决定,但选哪个模型、接哪个工具、信哪份数据,决定权在团队手里。两个方向的改进正在推进:一是改用加载时不执行代码的打包格式,二是给模型做签名,像软件包那样能验证来源。

没有一层防线守得住

现实的目标不是挡住每一次攻击,而是让某一层被攻破之后还有下一层;代价是速度、成本和自主性,这笔交换躲不掉。

2025 年 11 月,OpenAI、Anthropic 和谷歌 DeepMind 的联合团队拿了十二种此前被提出的防注入和防越狱方案,在允许攻击方不断调整试探的条件下,全部击穿。生产环境里那些强过滤器也仍然会漏掉可测量的一部分攻击,而攻击成功一次就够了。只靠一道闸门带来的安全感,数据支撑不住。

更耐用的思路是约束模型周围的系统,而不是指望模型自己扛住忽悠。谷歌 DeepMind 的 CaMeL 就是这么做的:它把模型当成不可信的部件,用一个单独的、有权限的程序来规划动作,并把外部取回的数据隔离起来,让数据本身没法直接触发敏感操作。Meta 的「智能体二选一规则」是个更简单的操作版:读不可信输入、握敏感权限、能对外动手,这三样危险属性一个 agent 最多占两样,除非流程里有人把关。Meta 自己也说,这是最小权限原则的补充,不是完整方案。

标准的分层各守地图上的一段:

  1. 输入要校验、要限流
  2. 检索用的资料源要保持干净
  3. 每个工具只给它完成任务所需的最小权限
  4. 模型的输出当成不可信内容,净化后再往下游传
  5. 监控盯住异常
  6. 后果最严重的动作交给人审

这套东西的代价是实打实的。每加一层都意味着更慢、更贵、更麻烦,而其中最有效的一层——重要动作交给人审——恰恰直接砍掉了系统能自主运行的程度。所以「AI 能替你自动干多少活」和「它能被别人利用到什么程度」是同一根杠杆的两端,没有免费的中间地带。谁在宣传全自动 agent 时不提这根杠杆,谁就是把成本留给了用户。