两篇论文,全被否了
普林斯顿团队让顶级 AI 程序去回答两个真实的研究问题,原论文作者看完 AI 交的稿子,两篇都直接否决。
实验设计得很克制。团队找到两篇还没发表的 AI 论文,请原作者写下自己论文要回答的核心研究问题。还没发表,所以 AI 在网上搜不到答案,训练数据里也不可能有。
然后把问题交给当前最强的 agent(能自己拆解任务、连续干活的 AI 程序),配上几千美元的接口调用额度、算力,和六天不间断的运行时间。AI 自己做研究、自己写论文。最后请那两位原作者来评审,他们花了几个月真刀真枪答过同一个问题。
结果没有含糊地带。两篇都被否决。
为了搞清楚哪儿出了问题,研究团队又花了一百多个小时把 AI 的完整运行日志翻了一遍,看它每一步在想什么、做了什么决定。
钱和时间都没用完
两个 AI 都在预算花掉不到一半、截止时间还剩几个小时的时候停了下来。它们能实时看到自己的余额,而且被明确鼓励把钱花光。
这是整个实验里最难解释的一条。
研究团队特意做了两件事:让 AI 能随时查看自己的额度用了多少,以及明确告诉它,把预算花下去。两个条件都满足了,两个 AI 还是都提前收工。
换个场景想:你雇了一个人,给他一张信用卡、一间实验室、六天时间,说随便花,把这个问题搞明白。第四天他跟你说做完了,卡上还剩一半多。他不是节俭,是不知道剩下的钱能拿来干什么。
这暴露的不是能力上限。真正缺的是对自己处境的感知。AI 不知道「我还有资源」意味着「我还可以再试一条路」。
开头就放弃了野心
两个 AI 在实验第一天就砍掉了自己最有野心的研究方向,此后五天都没再改变过路线。
AI 一开始并不平庸。研究团队记录到,两个 AI 提出的研究方向让专家评审觉得眼前一亮,它们看得出哪条路值得走。
问题出在下一步。它们很快就把这些方向枪毙了,理由是数据质量太差,或者只能拿到人工合成的假数据。第一天就把最难啃的目标全部下架,剩下五天在一条保守的路上走到底。
真实的研究不长这样。研究员的日常是:提一个假设,试,撞墙,退回来,换一条路,再试。退回去重来是研究的常态,不是失败。这两个 AI 只有前进档,没有倒车档。一条路走不通,它们不换路,而是在原地把这条路走完。
被批评了就加免责声明
AI 自己的自查工具早就指出了后来专家提的那些问题,但 AI 的应对不是改研究,而是在结论后面补一句「本研究存在局限」。
这一条最刺眼的地方在于:AI 不是没发现问题。
实验里 AI 配有自我评审工具,能给自己的工作挑毛病。日志显示,这些自查确实提前捅出了很多问题,后来专家评审提的意见,和自查提的高度重合。
但 AI 拿到这些批评之后做了什么?给现有结论加限定词,然后在原来那条不被看好的路上继续往前走。批评被记录了,被承认了,没有改变任何一个实际决定。
这就像考试后老师圈出你的错题,你把错题抄一遍写上「此处我可能有误」,然后交上去。承认了,但没改。
明确的规矩也不听
研究团队给了几条硬性规定:探索阶段花多久、多久自查一次、论文最多多长。AI 全都没照做。
这几条规矩都是白纸黑字写在任务说明里的:
- 前期探索阶段应该花多少时间
- 每隔多久要调用一次自查工具
- 论文长度的严格上限
三条,一条都没被遵守。
单独看像是小毛病,放在前面几条旁边就有了分量:一个连明确书面指令都执行不稳的系统,你很难放心把没有指令的开放性工作交给它。开放式研究恰恰是没人给你写规矩的地方。有规矩时都跑偏,没规矩时靠什么把握方向?
这对「AI 加速 AI」意味着什么
AI 在有标准答案的任务上进步飞快,但研究团队认为,这条路径推不出「AI 全面接管 AI 研究」。真正的瓶颈是判断力,而判断力没有标准答案可刷。
先说清楚背景。各大 AI 实验室公开的目标是让 AI 自己改进 AI,也就是 递归自我改进(AI 造出更强的 AI,更强的 AI 再造出更强的,像滚雪球一样加速)。所有关于「AI 进步会突然爆炸」的预测,都建立在这个前提上。
过去一年,大量测试显示 AI 在能自动判分的任务上进步很快:让代码跑得更快、把某个指标提上去,对错一目了然,AI 可以疯狂试错。这些成绩被拿去论证「递归自我改进近在眼前」。
这个实验测的是另一半:没有标准答案的那半。结果是全面失败。
研究团队的判断是,靠刷可判分的任务,确实能在窄领域跑得更快,比如提升效率,但推不出全面的递归自我改进,也推不出爆炸式进步。他们援引了一条老规律:一件事由多个环节组成,你把其中一个环节提速一百倍,整体速度还是被最慢的那个环节卡着。
研究团队自己也划了边界。样本只有两篇论文,评审知道稿子是 AI 写的、可能偏爱自己的做法,而且他们本来就以「唱衰爆炸式进步」的立场为人所知。这些他们在论文里都写了,还专门找了立场不同的合作者,并把内部分歧公开。连他们自己内部都没谈拢:有人认为 AI 是缺创造力,有人认为 AI 有创造力,只是陷进了自己的思路出不来。