分数不是固定的

'AI 考了多少分'这句话其实说不清一件事:这分是省着用挣来的,还是砸了天量算力堆出来的。

传统上考察 AI 就像考试:出一套题,给个分,分高就是强。这在几年前够用。

但现在的 AI 有个新特点:你让它多花点算力、多试几次、多想一会儿,分数就会往上爬。业内把这叫 测试时扩展(多花算力反复尝试就能拿更高分,英文叫 test-time scaling)。谷歌 DeepMind 开发的 AlphaCode 是个极端例子——同一套编程题,一次不许重试时它几乎交白卷,允许它试一千次能对 15%,试到一百万次能对 30%。研究者的结论是:只要肯砸算力,分数几乎没有上限。

这就让单看一个分数变得可疑:它到底代表 AI 有多强,还是代表你在它身上花了多少?不说清花费,分数等于没说。

编程题解题正确率 零样本(不许重试) ≈0% 重试 1000 次 15% 重试 100 万次 30%
同一套编程题、同一个 AI(AlphaCode),重试次数越多分数越高——分数取决于你让它花多少。数据出自 Kapoor 等人(2025)转引 Li 等人对 AlphaCode 的测量。

龟兔赛跑

花得少的时候 AI 领先,花得多的时候人反超——所以'AI 和人谁更强'的答案,取决于你准备花多少。

为什么不能只报一个分数,深层原因在于 AI 和人的'花钱换分数'方式不一样。

AI 的曲线一开始每多花一点、分数猛涨,花到一定程度就撞上天花板,再砸钱也提不动几分。人正相反,更像稳稳爬坡——给的时间越多,越能到达 AI 够不着的高度。

作者把这叫龟兔赛跑:AI 是兔子,花得少时一骑绝尘;人是乌龟,花得多、给足时间反而后来居上。两条线会有一个交点。所以'AI 和人谁更强'根本没有统一答案——你得先说清,这场比赛准备花多少。

花费(钱 / 算力 / 时间) 任务得分 交点:此后人反超 AI AI(兔子) 花得少时领先 人(乌龟) 花得多时反超
龟兔赛跑:低花费时 AI 领先,过了交点人反超。示意图,依据原文'tortoise-hare'描述与 AI 曲线更凹的设定(Cunningham & Shetty 2026)。

两种进步别混淆

让 AI 便宜地达到去年的水平,和让它花大价钱冲上从没到过的高度,是两种不同的进步,混在一起看会误判。

只看 AI 自己(先不跟人比),常见两种报法,方向正相反:一种是定一个预算、看它能拿多少分,衡量'给定花费下有多强';另一种是定一个目标分、看要花多少钱才够,衡量'达到某水平有多便宜'。

第二种是成本效率,常用来看 AI 逐年变便宜。但这里有个陷阱:旧能力变便宜,和攻上新高度,是两码事。研究者 Hans Gundlach 等人点破:一个固定的能力水平确实每年都在急剧降价,可要摸到最前沿,反而要花得比以前更多。新一代模型真正厉害的地方,常常是它能做到上一代无论砸多少钱都做不到的事——不是把老活干得更省,而是解锁了全新的活。

拿人当尺子

最好懂的办法是把 AI 的本事翻译成'一个人要花多久干完',METR 就这么做,还能预测它在没测过的新任务上的表现。

跟人比,最大的好处是好懂、能迁移。

METR(一家专门评估 AI 能力的独立机构)的招牌指标叫 时间跨度(time horizon):先找出 AI 能以 50% 成功率完成的任务,再看一个人干同样的活通常要花多久,那个时长就是这个 AI 的'时间跨度'。一个 AI 的时间跨度是一小时,另一个是一天,高下立判,普通人一听就懂。

更妙的是它能迁移:如果一个 AI 的'人类等效时长'在各类任务上都稳定,那不用真去测,也能大致预判它在一件没做过的新任务上行不行。

时间跨度在测什么 AI 独立完成一项任务, 相当于替一个人 省下多长时间 没在测什么 人和 AI 搭伙干活, 合力做出来的东西 够不够好
METR 时间跨度测的是 AI 单干的本事,不是人机协作的成果。依据 Kwa & West 等人(2025)的定义,及原文'如何给人机协作打分'一节。

可靠性数几个9

从 95% 提到 100% 远比从 40% 提到 45% 值钱,衡量高可靠场景不能只看百分比,要数'几个 9'。

到了高可靠场景,百分比会骗人。

从 40% 提到 45%,和从 95% 提到 100%,数字上都是涨 5 个百分点,价值却天差地别——后者是把'每 20 次错 1 次'变成'几乎不出错'。所以业内改用'几个 9'来数可靠性:99% 是两个 9,99.9% 是三个 9,越往后每多一个 9,错误率就再降一个数量级,越来越难、也越来越值钱。

Alex Fogelson 等研究者说得直白:如果你在乎的是'错误率还能压几个数量级',顶尖模型和平庸模型会拉开巨大差距;如果只要在一份固定考卷上接近满分就行,那平庸模型也够用。

90% 1 个 9(错误率 10%) 99% 2 个 9(错误率 1%) 99.9% 3 个 9(错误率 0.1%)
每多一个 9,错误率降一个数量级——高可靠场景要数 9,不是数百分点。数值由原文的可靠性公式推算。

等AI全面超过人

一旦 AI 在所有预算下都超过人,大多数以人为尺的指标就失效,只剩'AI 顶几个人力'这类倍数指标还站得住——这也意味着我们熟悉的那些人类基准正在过期。

最后一个麻烦,恰恰是 AI 变强本身带来的:当 AI 在所有预算下都赢过人,大部分'拿人当尺子'的指标会直接失灵。

道理很简单——如果人无论花多少时间都追不上 AI,那'AI 相当于一个人多久'就没了参照点。此时还站得住的,只剩倍数型指标:比如'达到同样成绩,AI 的花费是人的几分之一'。哪怕 AI 全面碾压,这个比值依然算得出、读得懂。

值得警觉的是,提出这套方法论的正是 METR——一家靠'给 AI 打分'立身的机构,却在提醒:随着 AI 越来越强,它自己那些以人为基准的榜单正在快速过期。衡量 AI 是一个越来越难的移动靶;而投资人、监管者、媒体天天引用的那些分数,背后花了多少、拿什么当尺子,远比分数本身更该问。