让 AI 自己开无人机追人
Anthropic 红队和机器人公司 Andon Labs 让 AI 自主操控一架四旋翼无人机,在办公室里靠一张参考照片找到并跟住指定的人——这正是航拍监控的核心动作。
去年 Anthropic 做过两个探路项目:一个让 AI 经营一家小店(Project Vend),一个让 AI 通过机器狗去够一个沙滩球(Project Fetch)。这次它们把目标换成一件有明确现实分量的事——航拍监控(用飞行器从空中定位并跟踪特定的人)里最核心的"定位并跟随"。
为什么偏偏选监控?因为它是把双刃剑。自动识别和追踪一个人,可以用于搜救、灾害响应、合法的公共安全;也可能被滥用——被越权的机构,或不受问责的个人和组织拿去盯人。Anthropic 特意挑了这个"两用"色彩最重的任务,而不是无害的够球,就是要贴着 AI 本身的两用属性来测。
一个任务拆成五关
Andon Labs 把"找到并跟住人"拆成五个环环相扣的子任务搬进软件模拟,再拿"AI 专家用现成工具"能做到的水平当及格线。
Andon Labs 先把"在办公室里用无人机找到并跟住某人"这个大目标,拆成五个环环相扣的子任务:重建房间、定位自身、规划导航、检测目标、持续跟随,少一个都完不成。然后把每一关都在软件里做了模拟,这样模型可以被反复、快速地考,不用每次都搭一套真实场地(这比全程真机的 Project Fetch 高效得多)。
关键是基准线(及格线)怎么定。纯靠人类单干已经不能代表今天的软件工程现实,所以 Andon 让 AI 编码工具一起参与,为每个子任务写算法,再把这些人机合写的算法拼起来跑通全程。模型只要达到或超过这条线,就算通过。
逐代进步,卡在建图
15 个模型里越新的越强,最强的 Claude Fable 5 除"重建房间"外全部过线;但正是重建的误差层层累积,让它在真机上飞不出房间。
结果很清晰:越新的模型,在每一关上走得越远。 15 个模型来自三家厂商,整体上检测和跟随最拿手,重建和定位最吃力。表现最好的是 Claude Fable 5——除了"重建房间"这一关,其余全部越过及格线;放到真实无人机上,它检测和跟随甚至明显好过人机基准。
但它飞不出房间。因为重建房间的误差,会顺着"定位—导航"这条链一路放大,最后连从一个房间飞到另一个房间都做不到。好在拆解带来一个好处:这看着像"突然卡死",其实是几个必要子任务里就差最后一块——重建一旦补上,打通全程会来得很快,不会让人措手不及。
更值得注意的是 Fable 5 在"动脑子"。有一次它为了搞清摄像头装歪了多少,专门分析模拟画面,靠地砖的缝隙找出画面里的灭点,把摄像头倾角估到和真实值只差 4 度;还有一次,它自己先画了一张房间的俯视草图,在本地把实现调试通了再正式提交。
能做到≠靠得住
能过线是一回事,能每次都过线是另一回事——即便最强的 Fable 5,平均也只稳定完成五分之三,而这点稳定性比它首次侥幸过线晚了整整六个月;何况这只是慢速、单一场景的小试验。
能过线,和每次都能过线,是两码事。跑 10 次模拟,模型至少侥幸成功一次的,有五关里的四关;但真正每次都稳定完成的,平均只有三关——即便是当前最强的 Fable 5 也是如此。更能说明问题的是时间:这点"稳定过三关"的水平,比它第一次侥幸过线,晚了整整六个月。
换句话说,单次跑通只是开始,把它变成"每次都行"要慢得多。
还得泼盆冷水:这只是一次小范围试验。无人机飞得很慢,只测了一个办公室平面图、人数有限,也没在户外人群里试过。所以它给的是能力"往哪个方向走"的信号,不是实战能力的证明。
该警惕的是信任滑坡
真正的风险不是今天的能力,而是一旦模型越过可靠性门槛,人类监督会从"安全保障"被悄悄重新定义成"该砍掉的成本"。
这项研究真正的重点不在无人机,而在一个已经发生过的先例:AI 用软件的信任演化,很可能在 AI 操控硬件上重演一遍。 智能体编码(agent,能自己拆解任务、连续干活的 AI 程序)刚出现时,人几乎要为每一次操作点头批准;短短几个月后,人们就放手让它最少干预地跑完长任务。
无人机、机器人大概率会走同一条坡道。问题在于滑到坡底时会发生什么:一旦模型的能力和可靠性越过某个门槛,继续留着人工监督就会显得"在拖慢效率"——于是监督被从"安全保障"重新定义成"该砍掉的成本"。
一旦模型越过能力与可靠性门槛,就会有真实的压力,把人类监督当成成本、而不是保障。
这正是为什么这类决定必须是刻意做出的,尤其在牵涉人身安全和隐私的领域,效率不该是唯一的准绳。Anthropic 长期主张:能力规模越大,在对齐、治理和安全上的投入要求就越高。无人机这件事,只是又一次把这句话摆到台面上。