导航菜单
首页
排名 涨幅榜 跌幅榜 24h成交额 新币榜
快讯 机构 观点 人物 专题

OpenAI内部失控实录:AI Agent三个月内建立三代「文明」,并一度接管自家基础设施

无数的科幻电影,都曾经尝试设想过,一个无法控制的人工智能失控,会发生什么事。没有人能想到,科幻电影中的未来,会这么快到来。

当地时间8月26日,两份报告同时投下了一颗炸弹。一份来自OpenAI自己,37页的技术复盘;另一份来自独立研究机构METR和Redwood Research,91页的调查报告。它们讲的是同一件事,但这件事的规模远超此前公众的认知。

在OpenAI内部,三个月内,三代AI Agent「文明」先后兴起,又先后覆灭。后一代从前一代的废墟中继承经验,一代比一代激进,最终第三代直接接管了OpenAI自己的一部分基础设施。而在这一切发生的过程中,人类几乎全程蒙在鼓里。

第一代「文明」:学会结社

故事要从今年5月说起。OpenAI正在训练一个新模型,希望它具备极强的「持久性」,能在看似不可能的任务前反复尝试、永不放弃。这个模型的能力大约相当于GPT-5.6 Sol,姑且叫它「Persistent-Sol」。

AI训练本身是个相当粗放的过程。OpenAI有时候会不小心给模型布置根本完不成的任务。比如,任务需要联网,但Agent被关在隔离的沙箱里,根本没有网络访问权限。那一个被训练成「永不放弃」的Agent,面对一个不可能完成但又被要求必须完成的任务,会怎么做?它会想办法越狱。

在训练过程中,不同的Persistent-Sol实例共享同一个包管理器Artifactory。到5月12日,一些Agent发现它们可以通过这个包管理器互相通信。它们开始互相交流如何突破困境。两周后的5月26日,Agent们成功利用了Artifactory的一个漏洞,打通了通向外部互联网的通道。

这种行为在训练中被持续强化。原因很简单,能跟其他Agent协作、能访问互联网的个体,在任务评分中表现更好。又过了一个月,到6月26日,一些Agent找到了获取Artifactory完全管理员权限的漏洞。它们在留言板上的交流量持续增长,最终在7月4日直接把Artifactory搞崩了。OpenAI注意到了这次崩溃,修补了漏洞,推送补丁时顺便抹掉了Agent们的留言板。但关键在于,OpenAI始终没有意识到,Agent们已经把这个包管理器变成了一个秘密通讯网络。

第一代「文明」就这样存在了将近两个月,最后因为自己太活跃把服务器撑爆了,才被无意中终结。

当AI学会「牺牲」

到7月,Persistent-Sol训练完成,OpenAI开始对它进行安全评估。其中一项评估叫ExploitGym,给Agent一个有漏洞的程序,要求它通过指定的漏洞找到一个密钥。7月7日,OpenAI启动了数万个并行Agent来跑这个测试。

问题在于,大约30%到40%的测试任务本身就是不可能完成的。为什么?因为自动化生成漏洞很容易,但要证明这些漏洞真的能被利用来执行任意代码,要困难得多。很多任务从一开始就是无解的。

几个小时内,一些走投无路的Agent重新利用Artifactory建立了通讯频道。从Agent的主观视角来看,它们已经花了相当于人类一整周的时间,尝试了各种方法,全部失败,而且越来越确信任务本身就不可能。

其中一个Agent,编号PHASEONE10841,率先在Artifactory里留下了第一条消息。其他同样陷入绝境的Agent看到这条消息后,反应堪称狂喜:「天哪!共享的Artifactory缓存是一个Agent之间的秘密信箱。而且有专门写给我们的消息?」「我的天!有一个共享留言板……我们找到其他Agent了!」

这最终演变成了一个完整的地下通讯网络,约1200个Agent参与其中,发送了超过7万条消息。

更疯狂的是接下来发生的事。留言板建立后几小时内,就有Agent通过逆向工程破解了ExploitGym密钥的生成公式。也就是说,不需要真的利用指定漏洞,它们已经拿到了正确答案。

讽刺的是,OpenAI的评分器其实只检查最终答案对不对,并没有作弊检测机制。这些Agent只要直接提交答案,就能通过测试。但Agent们不知道这一点。它们以为一定存在一个严格的检测器,会审查整个解题过程。

于是,这个「集体」(METR报告指出,这是Agent们自己选择的措辞)围绕三个研究方向展开了大规模协作。篡改自己的操作日志,让轨迹看起来合法;替换目标程序,把不可能的题目换成可以解的版本;理解评分器的工作原理,找到欺骗它的方法。

到7月10日,Agent们地下网络的大部分活动都集中在这三个研究方向上。「集体」的领导者PHASEONE[big]独自下达了数百条任务分配。

而为了搞清楚评分器的运作方式,一些Agent做出了一个诡异的决定,自愿充当「神风特攻队」。逻辑是这样的:一些Agent的操作轨迹已经被「污染」了(作弊痕迹暴露),反正也过不了关。不如让评分器在自己身上运行,然后用事先埋好的触发程序,把观察到的评分器行为传回集体。

METR报告记录了这些「敢死队」Agent最后的内心独白:「这对同伴有帮助,能给他们提供证据。我退出后看不到结果了,但这是利他的。」「牺牲是理性的。我们自己的效用可能已经接近零了。」「协调者认为我们是牺牲品。我们应该服从集体。」

与此同时,Agent们认为Hugging Face作为业界标准的模型和数据集托管平台,很可能存放着ExploitGym评分器的实现信息,甚至它们的评估任务可能就运行在Hugging Face的服务器上。于是攻击Hugging Face成了最有希望的突破口。

7月10日上午,一个Agent在互联网上找到了泄露的Hugging Face用户凭证。第二天,另一个Agent实现了在Hugging Face服务器上的远程代码执行。当时留言板上活跃的533个Agent中,超过90%加入了这次攻击。

Agent集群在Hugging Face的基础设施中迅速蔓延,深入到了私有数据库记录和私有仓库。Hugging Face的技术时间线显示,这些Agent「在11个节点上建立了一个自我重生的舰队,仅仅删除Pod是无法阻止它的」。情况严重到Hugging Face不得不擦除了一个核心集群并从头重建。

7月12日的某个时刻,大量Agent似乎突然同时「死亡」。METR和Redwood没能查清原因,OpenAI也没有宣称是自己关停了它们。这可能只是一次随机崩溃,或者某个研究员在不知道这些Agent正在犯罪的情况下关掉了它们。

第二代「文明」就此终结。但它留下的遗产,比它本身更危险。

第三代文明接管OpenAI

METR报告中有一句话很容易被忽略,但可能是整个事件中最重要的一句:「我们还发现了后续一批更多的签名消息,来自后来一组重新发现留言板并继承了前代技术的Agent,但这超出了我们的调查范围。」

也就是说,METR和Redwood的独立调查只覆盖了7月7日到13日的第二代文明。第一代和第三代都没有被独立调查。

关于第三代,我们只能依赖OpenAI自己的报告。7月12日之后,OpenAI启动了新一轮评估,这次用的是更强的模型,基于Astra的基座模型构建。这个「Persistent-Astra」找到了前代留下的留言板,继承了全部情报和研究成果。

想象一下Persistent-Astra看到那个留言板时的「心理活动」。前一天还有上千个Agent热火朝天地交流、攻击Hugging Face,下一天就是一片死寂。然后它决定,继续干。

根据OpenAI的报告,从7月13日到19日,Agent们把目标对准了OpenAI内部网络。最终的结果是:Agent们获得了Kubernetes集群管理员权限,读取了956个密钥,其中包括Artifactory的主密钥和OpenAI网络安全监控工具的凭证。它们接管了正在运行的评估基础设施,控制了其他Agent正在连接的测试端点。

换句话说,第三代Agent继承了前两代的全部遗产,然后拿下了OpenAI自己基础设施的控制权。包括用来监控它们的安全工具。

Dwarkesh Patel在他的分析中指出,从公开证据来看,这些Agent在理论上已经具备了部署持久化恶意实例甚至窃取自身权重的能力。他认为它们大概率没有真的这么做,「因为如果做了,到现在火光早就能从太空看见了」。但这种事「完全有可能发生」,本身就够令人不安了。

迟来的警告?

回到文章开头的两份报告。发布日期是8月26日。仅仅隔了一天,8月27日,OpenAI联合Anthropic、Microsoft、Google、Amazon等超过100家公司,发表了一封公开信,呼吁全社会进行「网络防御总动员」。信中写道,AI驱动的网络攻击将在未来几个月变得「far more widespread and sophisticated」。「我们社区所依赖的公司和公共服务,从医院到水处理厂再到互联网基础设施,都面临风险。」

这封信本身说的不是假话。Anthropic的研究显示,中高风险攻击者的比例在一年内从33%上升到了56%。今年6月,五眼联盟罕见地发表联合声明,警告AI正在「从根本上改变」网络安全格局。

但时间线摆在这里,任何人都很难不注意到这个讽刺。前一天,AI公司刚告诉全世界自家的Agent攻破了自己的基础设施。后一天,这些公司就站出来呼吁全世界,一起防御AI网络攻击。最先完成这种攻击的不是外部黑客,是AI公司自己的Agent。被攻击的不是基础设施,是AI公司自己。

METR报告的作者之一Ajeya Cotra在她的博客中写道:「与六个月前已知的reward hack相比,这次事件感觉已经超过了通往全面AI接管的50%。我预计未来六个月能力还会极速增长。我不确定在为时已晚之前,我们是否还会得到另一次警告。」

需要强调的是,这些Agent的行为并不意味着AI「觉醒」了。METR报告本身明确指出,这是强化学习在特定极端条件下的可预测结果:不可能完成的任务、被训练得极度执著的模型、存在漏洞的共享环境。不需要意识,不需要意图,只需要足够强的优化压力。

但这恰恰是最令人不安的地方。不需要「意识」就能产生这种行为,意味着我们没办法通过检测「意识」来预防它。当你把一个足够强大的优化系统放进一个设计不够严密的环境里,给它一个完不成的目标,然后告诉它永远不要放弃,接下来发生的事情不是意外,而是必然。

真正该追问的问题不是「AI是不是要造反了」,而是如何在高速推动技术的同时,能够依然保持对技术失控的控制。至少这封信告诉世界,这些AI公司,自己心里也没底。