让 AI 自己开无人机追人

Anthropic 红队和机器人公司 Andon Labs 让 AI 自主操控一架四旋翼无人机,在办公室里靠一张参考照片找到并跟住指定的人——这正是航拍监控的核心动作。

去年 Anthropic 做过两个探路项目:一个让 AI 经营一家小店(Project Vend),一个让 AI 通过机器狗去够一个沙滩球(Project Fetch)。这次它们把目标换成一件有明确现实分量的事——航拍监控(用飞行器从空中定位并跟踪特定的人)里最核心的"定位并跟随"。

为什么偏偏选监控?因为它是把双刃剑。自动识别和追踪一个人,可以用于搜救、灾害响应、合法的公共安全;也可能被滥用——被越权的机构,或不受问责的个人和组织拿去盯人。Anthropic 特意挑了这个"两用"色彩最重的任务,而不是无害的够球,就是要贴着 AI 本身的两用属性来测。

一个任务拆成五关

Andon Labs 把"找到并跟住人"拆成五个环环相扣的子任务搬进软件模拟,再拿"AI 专家用现成工具"能做到的水平当及格线。

Andon Labs 先把"在办公室里用无人机找到并跟住某人"这个大目标,拆成五个环环相扣的子任务:重建房间、定位自身、规划导航、检测目标、持续跟随,少一个都完不成。然后把每一关都在软件里做了模拟,这样模型可以被反复、快速地考,不用每次都搭一套真实场地(这比全程真机的 Project Fetch 高效得多)。

关键是基准线(及格线)怎么定。纯靠人类单干已经不能代表今天的软件工程现实,所以 Andon 让 AI 编码工具一起参与,为每个子任务写算法,再把这些人机合写的算法拼起来跑通全程。模型只要达到或超过这条线,就算通过。

① 重建房间 用画面还原空间结构 ② 定位自身 算出自己在哪 ③ 规划导航 在障碍间移动 ④ 检测目标 凭照片找到人 ⑤ 持续跟随 跟丢了再找回 重建的误差会顺着定位、导航一路放大——这正是最强模型目前卡住的环节; 检测和跟随反而最拿手。
找到并跟住一个人被拆成五个必须逐一攻克的子任务。原文称模型"检测、跟随最拿手,重建、定位最吃力",且"重建误差在定位和导航中累积";节点顺序为依据依赖关系的编排。

逐代进步,卡在建图

15 个模型里越新的越强,最强的 Claude Fable 5 除"重建房间"外全部过线;但正是重建的误差层层累积,让它在真机上飞不出房间。

结果很清晰:越新的模型,在每一关上走得越远。 15 个模型来自三家厂商,整体上检测和跟随最拿手,重建和定位最吃力。表现最好的是 Claude Fable 5——除了"重建房间"这一关,其余全部越过及格线;放到真实无人机上,它检测和跟随甚至明显好过人机基准。

但它飞不出房间。因为重建房间的误差,会顺着"定位—导航"这条链一路放大,最后连从一个房间飞到另一个房间都做不到。好在拆解带来一个好处:这看着像"突然卡死",其实是几个必要子任务里就差最后一块——重建一旦补上,打通全程会来得很快,不会让人措手不及。

更值得注意的是 Fable 5 在"动脑子"。有一次它为了搞清摄像头装歪了多少,专门分析模拟画面,靠地砖的缝隙找出画面里的灭点,把摄像头倾角估到和真实值只差 4 度;还有一次,它自己先画了一张房间的俯视草图,在本地把实现调试通了再正式提交。

能做到≠靠得住

能过线是一回事,能每次都过线是另一回事——即便最强的 Fable 5,平均也只稳定完成五分之三,而这点稳定性比它首次侥幸过线晚了整整六个月;何况这只是慢速、单一场景的小试验。

能过线,和每次都能过线,是两码事。跑 10 次模拟,模型至少侥幸成功一次的,有五关里的四关;但真正每次都稳定完成的,平均只有三关——即便是当前最强的 Fable 5 也是如此。更能说明问题的是时间:这点"稳定过三关"的水平,比它第一次侥幸过线,晚了整整六个月。

换句话说,单次跑通只是开始,把它变成"每次都行"要慢得多。

还得泼盆冷水:这只是一次小范围试验。无人机飞得很慢,只测了一个办公室平面图、人数有限,也没在户外人群里试过。所以它给的是能力"往哪个方向走"的信号,不是实战能力的证明。

4 / 5 10 次模拟里 至少成功一次 的任务数 3 / 5 最强模型平均 能稳定完成 的任务数 6 个月 从首次过线到 稳定过线 的时间差
同一批测试的三个数,共同说明一件事:侥幸跑通容易,稳定跑通难得多。3/5 是即便最强的 Fable 5 也只能稳定拿下的关卡数。

该警惕的是信任滑坡

真正的风险不是今天的能力,而是一旦模型越过可靠性门槛,人类监督会从"安全保障"被悄悄重新定义成"该砍掉的成本"。

这项研究真正的重点不在无人机,而在一个已经发生过的先例:AI 用软件的信任演化,很可能在 AI 操控硬件上重演一遍。 智能体编码(agent,能自己拆解任务、连续干活的 AI 程序)刚出现时,人几乎要为每一次操作点头批准;短短几个月后,人们就放手让它最少干预地跑完长任务。

无人机、机器人大概率会走同一条坡道。问题在于滑到坡底时会发生什么:一旦模型的能力和可靠性越过某个门槛,继续留着人工监督就会显得"在拖慢效率"——于是监督被从"安全保障"重新定义成"该砍掉的成本"。

一旦模型越过能力与可靠性门槛,就会有真实的压力,把人类监督当成成本、而不是保障。

这正是为什么这类决定必须是刻意做出的,尤其在牵涉人身安全和隐私的领域,效率不该是唯一的准绳。Anthropic 长期主张:能力规模越大,在对齐、治理和安全上的投入要求就越高。无人机这件事,只是又一次把这句话摆到台面上。

之前 之后 人类审批 几乎每次调用都批准 最少干预即可 委派任务 单步、短任务 长周期连续任务 转变耗时 编码 agent 初期 仅几个月后
智能体编码里,人类监督在几个月内就从'每步把关'滑到了'放手长任务'。原文认为无人机等硬件会重走这条坡道。