零点击的那封邮件
2025 年 6 月,安全公司 Aim Security 演示了一次攻击:一封普通邮件,收件人连点都没点,微软 365 Copilot 就把公司内部文件送到了外部服务器。
这封邮件里没有病毒,没有链接陷阱,也没有利用任何软件缺陷。它就是一段文字,里面写着一串给 AI 看的指令。
用户那天做的是再正常不过的事:让 Copilot 帮忙处理点工作。Copilot 为了回答,顺手把邮箱里的内容读了进来——包括那封没被打开的邮件。攻击者写的指令和用户的真实请求就这样一起进了模型,模型没有任何办法区分这两者。
微软给这个漏洞编了号 CVE-2025-32711,几天内堵掉了这条路径,并表示客户没有受到影响。但微软本来就装了一个专门拦截这类攻击的过滤器,而这封邮件从它面前大摇大摆地过去了。
模型分不清命令和资料
根源是语言模型的输入只有一条流水线:系统设定、用户提问、检索来的文档、工具返回的结果全挤在里面,没有任何标记说明哪句是命令、哪句只是内容。
传统软件是分开的。数据库查询有一种写法叫参数化查询:命令放一格,用户填的内容放另一格。你在姓名栏里写一整条数据库删除语句,它也只是一串字符,因为格子的结构决定了它进不了命令那一格。
语言模型没有格子。系统提示、用户消息、从资料库里捞出的文档、调用工具后返回的输出,拼成一条长长的文本一起送进去。模型生成下一个字时,依据的是前面所有内容,它不会对其中某一段另眼相看。所以这条序列里的任何一段,都可能被当成指令执行。
这就是提示注入(用文字冒充指令,让模型照攻击者的话做,而不是照运营者的意图做)。它有两条路进来。一条是直接的:有人在聊天框里输入恶意指令,大多数人想象的就是这种。另一条是间接的:指令藏在模型干活时会读到的内容里——一个待总结的网页、一份被读取的文档、一封收件箱里的邮件。EchoLeak 走的是第二条。
参数化查询在数据库那边把命令和数据分开了,自然语言这边没有对应的解法。指令和信息都是词,目前没有可靠办法给一段文字打上「这只是资料,别当命令」的标记,并让模型在生成时真的遵守。过滤能减少,但消不掉。
把十条风险摆到一条线上
OWASP 那份「大模型十大风险」清单,不是十件孤立的事,而是数据流经系统时的几个位置——每一处对应一类攻击。
OWASP 是业内做安全清单的老牌组织,它给大模型应用列了十项最关键的风险。清单读起来像十个并列的名词,但把它们贴到数据实际走的那条路上,就变成了地图上的坐标。
路线是这样的:用户的问题进来;系统通常先去资料库里捞相关内容来支撑回答,这套做法叫检索增强生成(RAG,先搜再答);模型处理拼好的全部输入;它可能调用工具或别的程序去外部动手;结果返回给用户。监控围着整条线,而线上每一个零件都来自某个供应商。
按位置对号入座。输入端是直接注入,还有一种叫「无节制消耗」——攻击者疯狂调用把你的账单打爆,业内管这叫烧钱攻击。检索端是间接注入和资料库被污染:2024 年的 PoisonedRAG 研究往一个几百万条的知识库里塞了五段恶意文本,针对特定问题的攻击成功率就到了 90%。模型端是训练数据泄露、模型被投毒、系统提示被套出来。工具端是权限给多了。输出端是结果没净化就往下游传,以及一本正经地说错话。
供应链没法安在某一格上。一个被做过手脚的模型或者一个被污染的资料库,会同时影响后面所有环节,所以它是横跨全线的一层。
地图真正的用处是判断新攻击:不可信的文字从哪一段进来,滥用了模型本不该有的哪个权限。这两个答案同时决定了严重程度和该用哪种防御。
被高估的那几种攻击
偷模型权重、掏训练数据、给训练过程下毒,这三类攻击真实存在,但对大多数团队都够不上优先级——它们要么贵,要么窄,要么已经被模型提供商堵上了。
开头那 20 美元是个好例子。一个团队用公开接口花不到二十美元,还原出了 OpenAI 线上模型最后一层的参数,并确认了此前保密的隐藏维度。结果确实重要,但边界也清楚:那是许多层里的一层,研究者自己说,想通过接口重建一个完整的前沿模型不现实,因为成本比重新训练一个还高。OpenAI 提前收到了通知,改了接口。
2023 年底,谷歌 DeepMind 和几所大学的研究者发现,反复让 ChatGPT 重复同一个词,它会开始原样吐出训练数据的片段,包括真实的联系方式,几百美元就能捞出几兆的内容。隐私问题很严重,OpenAI 在披露后把这个触发方式过滤掉了。
2025 年,Anthropic、英国 AI 安全研究所和艾伦·图灵研究所的联合团队发现,大约 250 份恶意文档就够给一个模型装后门(埋一个暗号,模型见到暗号就换一套行为),而且从 6 亿参数到 130 亿参数,需要的文档数几乎不变。这推翻了一个流行假设:模型越大,下毒需要的量就越大。研究者也把限制说得很直白——这个后门被触发时只会让模型输出乱码,他们认为这种低风险行为在前沿模型上构不成实质威胁。
注意力是有限的。一个团队盯着模型盗窃,同时把一个权限开得很大的 agent(能自己拆解任务、连续调用工具干活的 AI 程序)放到线上,等于防住了罕见的,敞开了常见的。
这个「有限」说的是现在,而且有条件。如果你自己托管开源模型权重、拿敏感数据做微调、或者自己跑训练流程,模型内部就从提供商的责任变成了你的责任,这几类攻击的优先级会立刻上升。
致命三件套
真正造成实际损失的地方有一个固定结构:同一个 agent 同时握着私密数据、来自外部的不可信内容,以及一条能把东西送出去的通道。
三样分别是:能读到私密数据(收件箱、客户库、代码仓库);会读到外部内容(网页、邮件、共享文档);有对外动作的能力(发一个请求、发一条消息、调一个工具)。凑齐三样,藏在外部内容里的指令就能指挥这个 agent 把私密数据送到攻击者手上。
指望模型「对齐」得更好来挡住这件事没用。按照输入里的指令行事,本来就是模型正常工作的方式。
已经发生的案例不少。GitHub 的 MCP 服务(MCP 是一套让模型连接外部工具和数据的通用协议)被人用公开仓库里的恶意 issue 撬开,泄露了受害者私有仓库的内容。GitLab 的 Duo 助手被喂了一个藏着指令的公开项目,泄露了私有仓库。一家雪佛兰经销商的客服机器人被人说服,同意用一美元卖一台 SUV。一个加密货币交易 agent 被话术骗着转走了 55 个以太币。
拆掉三样里的任何一样,风险都会降。最便宜的通常是切断对外通道,或者收窄这个 agent 能碰到的数据范围,比再加一层更强的过滤器省事得多。
agent 拿到第三样能力,最常见的方式就是通过 MCP 接工具,而这个协议太新,连成熟的服务都发布过能被注入的配置。Anthropic 自己的官方 Git MCP 服务,2025 年就吃了三个注入相关的 CVE 编号。
模型出厂就带毒
还有一类风险在请求到达之前就已经存在:模型文件、向量库、工具,任何一个零件都可能从供应商那里带着后门来,运行时的防御根本轮不上。
机制不复杂,问题出在模型的打包方式上。
2025 年初,安全公司 ReversingLabs 记录了一种叫 nullifAI 的手法:上传到 Hugging Face(全球最大的开源模型共享平台)的恶意模型里藏了一段反向 shell——一段会主动连回攻击者机器、把控制权交出去的代码。文件被用特殊方式压缩,骗过了平台自己的扫描器,于是模型看上去干净,加载时执行了攻击者的代码。
数量不小。专门扫描 Hugging Face 托管模型的 Protect AI 检查了四百多万个模型,在五万多个模型里标出了大约 35 万处不安全或可疑的问题。
这一层是少数完全由你自己掌控的地方。运行时的攻击面大多不由你决定,但选哪个模型、接哪个工具、信哪份数据,决定权在团队手里。两个方向的改进正在推进:一是改用加载时不执行代码的打包格式,二是给模型做签名,像软件包那样能验证来源。
没有一层防线守得住
现实的目标不是挡住每一次攻击,而是让某一层被攻破之后还有下一层;代价是速度、成本和自主性,这笔交换躲不掉。
2025 年 11 月,OpenAI、Anthropic 和谷歌 DeepMind 的联合团队拿了十二种此前被提出的防注入和防越狱方案,在允许攻击方不断调整试探的条件下,全部击穿。生产环境里那些强过滤器也仍然会漏掉可测量的一部分攻击,而攻击成功一次就够了。只靠一道闸门带来的安全感,数据支撑不住。
更耐用的思路是约束模型周围的系统,而不是指望模型自己扛住忽悠。谷歌 DeepMind 的 CaMeL 就是这么做的:它把模型当成不可信的部件,用一个单独的、有权限的程序来规划动作,并把外部取回的数据隔离起来,让数据本身没法直接触发敏感操作。Meta 的「智能体二选一规则」是个更简单的操作版:读不可信输入、握敏感权限、能对外动手,这三样危险属性一个 agent 最多占两样,除非流程里有人把关。Meta 自己也说,这是最小权限原则的补充,不是完整方案。
标准的分层各守地图上的一段:
- 输入要校验、要限流
- 检索用的资料源要保持干净
- 每个工具只给它完成任务所需的最小权限
- 模型的输出当成不可信内容,净化后再往下游传
- 监控盯住异常
- 后果最严重的动作交给人审
这套东西的代价是实打实的。每加一层都意味着更慢、更贵、更麻烦,而其中最有效的一层——重要动作交给人审——恰恰直接砍掉了系统能自主运行的程度。所以「AI 能替你自动干多少活」和「它能被别人利用到什么程度」是同一根杠杆的两端,没有免费的中间地带。谁在宣传全自动 agent 时不提这根杠杆,谁就是把成本留给了用户。