造 AGI 的人喊立规矩

谷歌 DeepMind CEO、诺奖得主 Demis Hassabis 判断 AGI 可能只剩几年,量级堪比人类发现火与电,他因此主动提议给前沿 AI 立一套规矩。

我们本质上找到了让沙子学会思考的办法。这很神奇。

Hassabis 这样形容 AGI(和人脑一样具备全部认知能力的通用人工智能)。他不是场外评论者:AlphaGo、能预测蛋白质结构的 AlphaFold 都出自他的团队,2024 年他凭这项工作拿下诺贝尔化学奖。

在他看来,AGI 不该和互联网、手机这类突破相提并论,而更接近发现电或火那种级别的转折。他给出的量级是:影响可能是工业革命的十倍,而且以十倍的速度到来。

正因为分量这么重,他没有停在畅想上。这篇文章的大半篇幅,他用来提议一件反直觉的事——给包括自家公司在内的前沿 AI,立一套规矩。

几年 他估计 AGI 到来的时间 10 倍 影响或达工业革命的十倍 10 倍速 而且以十倍的速度发生
Hassabis 对 AGI 的三个核心断言:来得快、影响大、速度还快。三者均为他本人的判断而非实测数据。出处:原文。

为什么是现在

技术进步已经跑在人类的理解前面,网络安全风险冒头,核、生物和会自我改进的 AI 风险正排队而来。

眼下所有人都困在一场激烈的竞赛里——商业上抢市场,地缘上抢领先。竞赛推着技术狂奔,好处来得很快,但也带来一个麻烦:技术进步已经跑在人类的理解前面。

连专家都没有共识。Hassabis 说,没人能确定接下来会发生什么。在这种高度不确定、赌注又极大的局面下,他主张的策略是'谨慎的乐观'。

风险不是空谈。前沿模型给网络安全带来的麻烦已经出现;随着能力继续爬升,核、生物等领域的威胁可能很快浮现。更远处,还有一类会自己拆解任务、连续行动、并且能不断改进自己、越变越强的 AI 系统(agent 系统)——怎么在它们变强之后依然管得住,是个尚未有答案的难题。

一个仿 FINRA 的机构

他提议美国带头设立一个前沿 AI 标准机构,仿照券商行业的自律组织 FINRA,由业界出大头钱、独立专家和开源代表坐镇。

他提议由美国先走第一步。

具体做法是设一个前沿 AI 标准机构,模板是 FINRA(美国金融业监管局,券商行业受政府监督的自律组织)。它由政府背书,运作靠公私合作;理事会里既有独立的顶尖技术专家,也留位子给开源代表。经费大头由业界出,这样才请得起世界级人才、买得起大规模测试要用的算力。

机构负责制定检测协议,并和联邦机构、美国国家实验室一起,做国家安全相关领域的测试。模型只要在这套基准上越过门槛,就算'前沿级';拥有这类模型的公司就被认定为 前沿实验室,并被要求采纳一批最佳做法,比如公开写明技术细节的模型卡、守好内部网络安全、审查关键岗位人员、给安全研究足够投入。

被贴上'前沿实验室'的标签会很有面子,而且门是敞开的:任何公司只要造得出达标的模型,都能进来。

发布前30天送审 坐镇理事会 提供主要经费 联手做国安测试 外部协助评测 前沿 AI 标准机构 制定并执行检测协议 前沿实验室 把模型交去受检 独立专家+开源代表 进入理事会 业界资金 出经费大头 联邦机构+国家实验室 承担国安相关检测 第三方审计 协助评测、出新题
Hassabis 设想的前沿 AI 标准机构:业界出钱、专家坐镇、政府背书,像 FINRA 管券商那样管前沿模型。出处:原文。

先自愿,后强制

起步阶段实验室自愿在发布前 30 天送模型受检,等这套检测被证明有效,就变成不通过不许上市。

过审的路径分两步走。

起步阶段是自愿的:前沿实验室在模型发布前,最多提前 30 天把它交给机构审查。等这套检测协议被证明确实有效、靠得住,就迅速转正——到那时,前沿模型必须通过检测,才能在美国市场部署。发布之后如果冒出严重漏洞,实验室还要和机构一起补。

自愿是过渡,强制才是终点。这套设计的分量,全压在'不通过就不许上市'这一句上。

达标即前沿实验室 模型越过基准门槛 发布前30天送审 起步阶段自愿 协议验证有效 随即转为强制 通过才能上市 在美国市场部署的前提 发布后补漏洞 与机构协作修补 自愿只是过渡,'不通过不许上市'才是终态。
前沿模型从自愿送审到强制过审的路径。出处:原文。

到底测什么

检测盯着高危能力:能不能帮人搞网络攻击、造生物威胁,以及 AI 会不会撒谎、偷偷绕过安全护栏。

具体测三类东西:

  1. 模型会不会帮人发动网络攻击、合成生物威胁
  2. 这些能自主行动的 AI 会不会撒谎、会不会偷偷绕开安全护栏
  3. 落实基本规范:给 AI 生成的图片打上数字水印,让模型用人能看懂的方式写出自己的推理过程

这些考题会定期换新,一开始大概每季度更一次,过时或被'刷穿'的题淘汰掉。机构还会引入一批第三方审计,帮着评测、开发新题。

最关键的一步:机构最终要能自己出题,而不是一直靠被测的实验室帮忙出。

有牙齿,也有边界

框架可以按风险升级,极端时协调各家一起放慢开发;它只管越过门槛的前沿模型,不分国别和开源闭源,小公司和学术界豁免。

这套框架不是一成不变的软规矩,它有升级挡位。

一旦形势的严重程度需要,标准可以往上调;极端情况下,机构甚至可以协调各家前沿实验室一起放慢开发的脚步。这是它真正的牙齿。

但它的覆盖面是有边界的。框架只盯越过门槛的前沿级模型,不分产自哪个国家,也不分开源还是闭源;至于初创公司、学术界那些够不上前沿的模型,一律豁免。Hassabis 还希望,美国这一步能带动国际社会,就最严重的风险达成共识。

✓ 是 框架管什么 越过基准门槛的 '前沿级'模型, 无论哪国、 开源或闭源 ✕ 不是 不管什么 初创公司和 学术界的 非前沿模型, 一律豁免
这套框架不是要监管所有 AI,只盯住最强的一小撮。出处:原文。

谁写规则,谁得利

这是正在造 AGI 的人主动递上的自我监管方案——既承担了责任,也把定规则的笔攥在了自己手里。

值得停下来想一层:开这张药方的,是正在造 AGI 的人本人。

这既是承担责任,也是掌握话语权。机构的经费大头来自业界,理事会里坐着技术专家和开源代表,而'前沿实验室'这块招牌本身带着声望——一套由被监管者深度参与设计、还能给自己贴金的规则,和一套纯粹外部强加的规则,是两回事。谁来握这支写规则的笔,本身就是一种利益。

这不等于说他不真诚。他是造 AGI 的人,不是场外评论员,他对风险的判断值得认真听。但文章里'几年内到来''十倍工业革命'这些说法,是他的判断和愿景,不是实测结果。

他自己也承认,更难的问题还在后面:一个物质不再稀缺的世界要用什么经济模式、人靠什么找到意义——这些,他说不该只交给技术专家来定。