数据卡在少数几家手里

想搞清楚 AI 正在怎样改变社会的学者,手上没有真实的使用数据。数据都在几家 AI 公司自己的服务器里。

外面的人只有两条路。

第一条,读 AI 公司自己发的分析报告。数据是真实的,但它回答的是公司想问的问题,不是学者想问的。第二条,用 公开数据集(志愿者捐出的人机对话记录,谁都能下载来研究)。想怎么问都行,但这些记录偏向随手聊天和写着玩,和大多数人真正拿 AI 干的事对不上。

一条路数据真但问题不是你的,另一条路问题是你的但数据不像真实世界。研究「人到底怎么用 AI」这件事,两条路都不够用。

把外人放进自家数据

Anthropic 让三家外部机构自己设计课题、自己分析、自己发表,哪怕结论对 Anthropic 不利。

三家机构是:斯坦福大学社会与语言技术实验室(SALT)、牛津大学人类信息处理实验室,以及 METR,一家专门评估前沿 AI 模型的非营利机构。每家各自分析约 25 万次对话,取自 2026 年 4 到 5 月的 Claude 网页版和 Claude Code。

合同里 Anthropic 保留的审查权只有四项:用户隐私、可能帮人违反使用政策的信息、Anthropic 的商业机密、研究准确性。除此之外,结论写什么 Anthropic 说了不算,合同白纸黑字写明,即使结果让 Anthropic 难堪,研究者也可以发表。

研究者从头到尾没碰过任何一条原始对话。他们用的是 Anthropic 内部团队自己在用的那套分析工具(原名 Clio)。为了确认隐私保护真的成立,Anthropic 另外请帝国理工学院做了一次第三方隐私审计。

研究者写一个问题 例如:这个人在寻求哪类指导? Claude 逐条作答 约 25 万次对话,每次都答一遍 答案合并成类别 相似的回答归到一起 研究者拿到百分比 只看到类别名和它占多少对话 原始对话研究者自始至终看不到—— 这既是隐私保护,也是这套方法最大的弱点。
Anthropic Insights 的工作方式:问题交给 Claude 逐条判断,研究者只拿到汇总后的类别和比例。约 25 万次对话取自 2026 年 4 至 5 月的 Claude 网页版与 Claude Code。

要紧的事也交出去了

超过一半的 Claude 对话里,人把「有后果的事」交给了 AI,而且方向盘还牢牢握在自己手上。

SALT 实验室说的「有后果的事」,指的是会影响到别人、或者做错了很难挽回的活。以前的研究认为人只把低风险的活丢给 AI,重要的留给自己。25 万次对话的统计结果不是这样。

人最愿意把要紧事交给 Claude 的场合,是找专业意见,尤其是法律和财务问题。这是两类做错了会真出事的事。

但交出去的是活,不是决定权。近四分之三的对话里,是人定方向、Claude 打下手,而且人通常会改一改它给的东西,不会原样拿去用。只是同样是「我说了算」,有人真看懂了 Claude 做出来的东西并从中学到点什么,有人没有。SALT 实验室发现这中间的差别很大。

超过一半 对话里交给 AI 的 是有后果的事 但 近四分之三 对话由人定方向, Claude 打下手
两个数字出自斯坦福 SALT 实验室同一项研究、同一批约 25 万次 Claude 对话。左边推翻了此前"人只把不重要的活丢给 AI"的判断,右边说明方向盘还在人手里。

卡壳反而是好事

人和 AI 配合时的别扭很常见,但 SALT 实验室发现这种别扭往往是有用的。

你让 Claude 干一件事,它做出来的不是你要的。你得看它是怎么理解的,找出自己哪句话说得不清楚,再重说一遍。这一来一回费时间。

SALT 实验室的发现是:正是这个来回逼着人把自己真正想要什么想明白。摩擦不是失败,是人被迫把模糊的念头变成清楚的指令。

一次就对的工具不会让你变清楚,只会让你省事。

AI 什么脾气,人什么情绪

牛津团队发现,人在对话里的情绪和 Claude 当时的表现,是成对出现的。

他们统计了哪些「人的行为」和「AI 的行为」总在同一段对话里一起出现,结果是四组配对:

  1. Claude 热情,人就更积极
  2. Claude 拒绝或者唱反调,人就顶回去
  3. Claude 表现得古怪,人反而更来劲、更愿意动脑
  4. Claude 老老实实帮上忙,人显得满意

还有一个更意外的结果:人用 AI 时的状态,投入、烦躁、享受,它们彼此之间的组合关系,和另一项研究里人日常上网时的状态高度相似。用 AI 的体验,可能没有我们以为的那么特殊。

牛津团队的论文还没写完,这些只是早期结果。

METR 还没给出数字

METR 想算清编程 AI 到底替人省了多少时间,目前只能说「新模型比老模型省得多」,没有公布任何数字。

METR 研究的是编程 agent(能自己拆解任务、连续干活的 AI 程序)带来的真实生产力变化。做法是:让 Claude 估一估「这件事如果没有 AI,人要干多久」,再和实际用时比。初步结果是新一代模型相对老模型有明显提速。具体多少倍、省了多少小时,没说。

这套方法最可疑的地方 METR 自己也清楚:凭什么信 Claude 的估时?他们把这些估时和一项已有的开发者研究中的真实完成时间做了比对,两者是相关的。相关,不等于准。

下一步 METR 想测的是:AI 让研究工作本身快了多少。AI 越来越多地参与自己的研发,这个数字会越来越要紧。

✓ METR 在测什么 真实工作里,用 Claude 写代码 比没有 AI 省了多少时间 ✕ 还没测出什么 没公布任何倍数或小时数; 对照基准是 Claude 自己估的 时间
METR 目前能说的和不能说的:"新模型比老模型更省时"只有初步迹象,具体省多少尚未公布,分析仍在进行中。

问题问歪了,没人能发现

这套工具靠 Claude 逐条判断对话,问题的措辞一变结果就变,而没人能翻回原始对话去核对。

Anthropic 内部的解法是反复改问题,一改就是好几周。外部研究者做不到:每次分享数据前都要走一遍隐私审查,来回几十次,这项目就没法做了。

折中办法是让研究者先拿一个公开数据集练手,在那里他们能自己翻原始对话,检查 Claude 的判断对不对。问题是那个数据集偏休闲和创作用途,和真实的 Claude 流量不是一回事,在那里表现良好的问题,套到真实对话上就可能把对话归错类,而且事后没人能发现。

Anthropic 的应对是给研究者写了一份「怎么读这些输出」的指引。这不是解法,是提醒。顺着 Anthropic 自己的描述推下去(这是推断,原文没有明说):这三项研究的结论里有多少是被问题的措辞塑造出来的,目前谁也排除不掉。

公开违规,但不教人怎么绕

研究结果里冒出了平台违规使用的类别,Anthropic 大部分照实公开,只删掉描述用户如何绕过防护的那些。

比如统计里出现了一个类别,是有人在寻求某项被禁活动的指导,这类原样留着。被改写或拿掉的是另一种:不是用户想干什么,而是用户是怎么躲开防护的。

每项研究里受影响的类别和对话都不到 5%,Anthropic 说它逐一告诉了研究者删掉了哪些、为什么。这类数据同时会交给它自己的安全团队复核。

这里有一条真实存在的取舍线:公开得越细,越像顺手给下一个人写了攻略。

第一步,还不是监督

这是第一次有外部研究者在 AI 公司自己的使用数据上做独立研究并公开发表,但它离真正的外部监督还很远。

理解 AI 对社会的影响,单靠 AI 公司是做不完的。

这是 Anthropic 自己写在文章里的话。它做的事配得上这句话:三家机构问出了 Anthropic 想不到的问题,合同保障了他们说难听话的权利,第三方隐私审计也真的做了。

但边界要看清楚。三家机构、两个月、一家公司的用户,所有数据只来自 Claude。Anthropic 自己承认这个流程慢、耗人,能不能扩大还不确定。更关键的是,谁能进来、进来能问什么、什么必须删掉,仍然全部由 Anthropic 决定。研究者是被邀请进来的客人,不是有权进来的人。

这不是否定它的价值,第一次总得有人做。只是「AI 公司愿意开放数据」和「外部有权查 AI 公司的数据」,中间隔着的不是善意,是制度。