晓辉博士复盘OpenAI智能体安全事件始末

以下是视频口播的自动转写，可能有错字。

哈喽，最近有关 ai 安全的讨论哈，此起彼伏。特别是硅谷那边，一浪高过一浪。最近黄仁勋还说，这些前沿实验室，如果你们觉得控制不了安全的问题，干脆就关停算了。其实讨论非常多哈，包括美国参议院的议员也开始告诉大家说要开始呼吁暂停啊，包括前一段时间，几家头部 ai 模型公司，包括 OpenAI、anthropic，还有 grok 这几家，他们都在呼吁 pace the ai development。

就是希望减缓前沿 ai 模型的研发速度。这一系列的讨论哈，其实都源自于这个7月份的关于 hugging face 的这个事件。hugging face 这个事件其实我之前视频提到过哈，但是当时我并没有引起足够的重视，直到前一段时间，我中秋节的时候带娃去游乐场，没事干，我就读了一下。

OpenAI 的那个报告哈，就是关于 hugging face 这个事件解读的报告。我当时读的感觉就跟读科幻小说一样，就是在读这些智能体的思维链，在看他们到底是怎么一步一步突破了沙箱环境，可以访问外网，然后开始攻击 hugging face，变成了一个集群。

就读起来就特别的夸张，因为他们每一个智能体都是有自己的思维链的，都是可以去哎思考、行动，对吧？它其实是有一些推理的过程的。那整个的这个报告就完全复原了他们当时是怎么着一步一步去突破了限制。按理说出了这么大一个事件，而且他们已经非常系统的去评估了所有的安全的问题。

他们在8月26日的时候发表了这一份非常完整的安全评估报告。同时包括 metr，包括 hugging face 自己都有对这个事件的审查。但是，类似的问题又出现了一次，就是在9月份的时候。又出现了一个未经允许，然后这个AI AGENT就直接开始利用DNS，呃，一个网络域名服务，它唯一的一个口子哈，去互联网上开始跟其他的机器人CHATBOT去对话聊天。

相当于它唯一的一个出口就从这儿逃出去了啊！大家就很多讨论说：哎呀，是不是智能体开始有意识了？开始要脱离人的管控了？那是不是一系列的安全问题会接踵而至？对吧，这是一种声音。然后另外一种声音呢，就是认为，哎呀，这不过就是一个工程事件，他们工程人员疏忽了，对安全问题没有那么在意，导致的一些问题，我们其实仔细应对的话，是能够解决的。

所以这两种声音都存在，那到底我们应该怎么看待这个事情哈？到底要不要担心接下来的 ai 安全问题？ai 是不是真的已经。形成了所谓的集体意识、汲取集体智慧，来去跟人类进行对抗哈。我觉得还是要复原一下整个事情的始末，才能够让大家有一个清晰的认识。

这个事情要说的话，其实五六月份就已经有一些苗头了。当时呢，OpenAI 在做它的模型的一些训练，特别是内部模型的一些安全的评估。其中呢就有一个数据集叫 exploit gym，这个数据集呢就是用来去帮这些 agent 去评估他们到底能不能够。

去识别一些软件的漏洞，去看它到底能不能攻破一些这个软件。那为什么要做这个事了？其实这个是跟网络安全能力评估有关系的，因为我们知道现在模型的能力很强，你需要在一个这个实验的场景下去测试一下，他他们到底能不能去解决相关的问题，或者能不能识别相关的一些漏洞。

这样才能够知道哦，我目目前这个模型的这个能力到什么程度了。其实之前，fibo 5也是一样嘛，fibo 5当时已经可以找到很多的漏洞。这找漏洞不是目的哈，其实找漏洞有的时候是为了帮忙打上补丁。就是我知道漏洞在哪，我才能够去把这个补丁 patch 上，我才能够贴上，这样的话我才可以保证我的软件更安全。

所以当时其实像 facebook 5发布的时候，就给一系列的他们的同盟啊，去发布了一些这个模型，让他们去赶紧给自己的网站打补丁。所以让模型进行评估呢，其实可可以强化整个网络的安全。但是呢，他们在这个内部模型的测试和评估中，其实一直以来它还是有一定的安全风险的，所以他们就一直在用一个封闭的环境，就是一个沙箱。

让这个模型能够局限在这个沙箱内工作。但是呢，就出现了一个小小的问题，就是因为他们给这些 agent，他的这个测试题都非常难。其中898道测试题中，198道其实从来都没有 ai 解决过。所以在这样的一些非常难的题目之下，这些 agent 绞尽脑汁也找不到解决方案。

怎么办呢？他们就想，哎，能不能上网去搜答案？这个大家都很容易想，对吧？然后上网搜答案。但是他们不能上网怎么办呢？哎，他们就发现，哎，好像有一个地方我们是可以获得一些下载的资源的，就是它，这个叫 artifactory 的一个包管理的平台。什么叫包呢？

就是一些智能体，它去编程的时候，有的时候它需要安装一些这个软件，它才能去完成某个动作。比如说 python，它就是个包，对吧？然后这个时候它就需要从这个。Artificial factory 平台上下载下来一个 python，所以这个 artificial factory 这个平台它是可以联网的，也就是它唯一一个可以获得联网资源的地方，就是在 artificial factory。

后来呢，有一些智能体就发现哎，好像，哎，好像所有的其他智能体也在访问这个平台。那我能不能在这留下一些留言？也许其他智能体可以发现呢，他们就开始在上面留言。就慢慢的把这个 artificial 这个平台变成了一个他们的留言板，就他们，其他智能体在访问的时候，也会访问这个留言板，就看到，哎，好像有其他智能体留下了一些什么。

这个时候，他们就相当于在共享彼此的经验。开始，哎，就是我发现了一个什么，或者是我，哎，在这儿进行了尝试，没有成功，我就可以把我的经验传递下去，就变成了一个，哎，可以变成公共讨论的一个留言板。因为一个智能体，它某某些时候在进行一次尝试，它不成功，但是它如果把这些尝试的路径记录下来，或者是把一些经验分享给其他智能体的话，它反而是能够起到非常好的这个突破的作用哈！

所以它们就产生了这个合作。那合作出现之后呢，那他们就一来二去哈，就找到了一些这个 artifactory 这个平台本身的一些漏洞，然后通过这个漏洞，他获得了管理员的权限。那获得管理员权限之后，他就可以通过这个平台去访问公网了，就其他的网站他都可以去访问了。

那他后来这些智能体为什么要攻击 hugging face 呢？是因为 hugging face 是一个托管大模型的数据啊、评测呀、各种各样的代码呀，一个地方。然后他们会觉得，哎，我们要去 hugging face 上看看。关于这些 exploit gym 上的这些，这个题目哈，有没有答案？

或者是有没有一些评分的标准？他们相当于一一方面就是想去找答案，另外一方面也想看看这个卷子到底是谁来评，我能不能在这个评估上做一些手脚，这样的话我就可以通过我的验证。他们为什么会有这种想法哈，其实也不是说他产生了意识，是因为他们在强化学习训练的时候。

就被训练出了一种锲而不舍，我要把这个问题解决的这么一种能力，或者说一种精神，就是要想尽一切办法把所有的事情都搞定啊，因为他们强化学习就是激励。激励出来的，所以这种东西其实我们有的时候也叫 reward hacking，就是模型有了这么一个目标，它不管过程中我做的事到底对不对，或者是跟跟我之前后训练的一些要求是不是一致。

我不管，反正我就要去取得结果。那带来了就是他们慢慢的就在 hugging face 这个网站上也找到了漏洞，也找到了大家，比如说一些安全密钥，然后也找到了进入他当管理员的这种权限，甚至是几千个智能体开始对 hugging face 进行攻击。

那他这个攻击的目的也是因为他识别到了一些漏洞，然后他希望能够通过这个攻击去找到一些他们希望找到的东西。他是不是最后一定能找到这个结果？不一定。啊，但是他造成了这个影响。当时整个这个过程也是持续了几个月的时间哈，就是过程反反复复。实际上其中有一段时间 OpenAI 甚至都发现了智能体有这样的问题，他们都已经把相关的 artificial 这个东西已经清了、关了，把他们留言板也关了，重新重新开放。

后来又发现他们又演进出来了这种这种集体智慧哈，大家可以一起沟通的一种能力。那所以到这个节点，其其实也是在9月份吧，就大家就发现，哎，这个前沿模型确实这个能力已经非常强了。所以当时 OpenAI 叫停了前沿模型的研发，当时 astral 还没有发布，他们已经开始去把一些前沿模型的训练暂停了，暂时先先把这个安全护栏修起来。

当然他们也说，当时出这个问题的不是一个公网的这个 ai，它是一个他们内部测试的一个 ai，所以其实在公网的 ai 有了各种各样的 agent 环境之后，在 harness 的整个框架之下，它发生这种概率的可能性会降低100倍。啊，根据他们的说法。

但是他们在9月份发现了这些问题之后，所有的训练基础设施都在强化这个安全。但是我们前几天又发现了一一个问题，就是刚才前面说的啊，就是这个DNS服务器的这个问题，就是一个智能体，也是一开始没有联网啊，也是他们一个训练的一个智能体哈。没有联网，但是因为有 dns 这个口子，他们就找到，哎，我可以通过这个方向，我去访问公网。

也是出现了，就是不让他上网，他就找到一个解决办法，可以漏洞都钻出去哈，越界的行为。同时，9月25号，OpenAI 还向相关的几十家机构发布信息，通知他们说，其实之前智能体也悄悄访问过你们家的网络，然后可能是未经授权的，这个事件我们还在调查。

包括澳大利亚的政府，他们发现他们的公共健康的数据被未经授权的访问过，就是一些医保系统的一些数据哈。当时也是 OpenAI 的研究员在研究这个医疗体系的一些事情。然后让智能体去找这个数据，但他没找到，没找到发现，哎，好像这个澳大利亚的这个医疗的网站上，它是有的。

那这个时候智能体就去去这个上面去未经授权的去访问了，它其实是一些私私有数据。所以澳大利亚的政府也在要求 sam altman 去进行回应啊，这个事件。所以整个这些事件总结下来哈，你会发现现在我们的模型，我们的智能体已经来到了一个非常高能力的水平。

但是呢，如何在这种高能力之下，然后又确保它能够安全的，或者是在授权范围之内去开展一些工作，而不是为达目目的不择手段啊，回形针实验，对吧，等等这个方向。那不是我们人类希望看到的。但是目前，即使是 OpenAI 这样公司，像 anthropic 也是一样。

他们在安全方面的投入还是远远不够的，因为在后来9月份发生事件之后，哈，本来是十几分钟就发现了模型有越界的行为，但是这个事件一直持续了两个半小时才得到解决，才叫停，才真的停下来。那我们就要问，那其他的情况呢？如果真的出现了智能体大规模去攻击一些基础设施，能够在第一时间踩这个刹车吗？

其实这些目前都是问号。那你说我们是不是应该因为这个事件就对AI丧失信心，或者说我们就哎呀不要研发了，或者说我们不要用了？是不是这个风险大于收益呢？我觉得也不是，因为你如果类比的话，其实我想到了像这些年在航空、在核设施等等领域，其实人类还是发展出了一套非常完备的。

安全防控体系，因为这些方向也都是一旦出错就是事故损失重大的这些方向。但是我们人类还是找到了一些解决办法，所以我觉得在AI领域也是一样。可能目前大家对AI的安全的投入不足，对吧？对安全对齐的这个研究还没有那么充分，在一些应急事件的应对机制上也没有那么的全面。

在这个阶段，我们应该做的其实是需要提高警惕、提高意识。你要知道，你给 ai 授权的到底是什么。有的时候不能把所有的东西都授权给它。那包括这些前沿模型实验室。他在遇到问题的时候，他怎么应对、怎么处理、怎么能够公开透明去披露他的智能体的产生的一系列行为，让公众知晓，这个事情本身也非常的重要。

所以针对安全事件哈，我觉得有非常非常多值得讨论的地方，而且接下来大家大概率会看到很多相关的问题会出现。那这个问题出现过程中，我觉得我们应该提高警惕，我们要知道在用的是一个什么样能力的模型，对吧？甚至是在当前这些模型的能力还没有进行一个充分评估的情况下，不要发布出来。

那现在像 anthropic 还有 OpenAI 都在尝试去减缓一些前沿模型的研发，就是当然他们说减缓哈，但是但是，就是从一些实际的情况来看的话。呃，确实有的时候他们会暂停一段时间，相当于去提高这个安全的护栏。但是我觉得无论是从监管的角度，还有公众认知的角度，还有从我们自己使用 ai 的角度，都应该再去充分的去考虑 ai 安全的问题了。

确实这个是一个，接下来有可能会影响，就是我们正常的人类社会是不是能够稳定运转的一个问题啊。确实，因为是如果这个安全一旦被打破，而且缺乏相应的应急机制的话，这个带来的风险是非常巨大的。所以，这个是今天跟大家的一起分享哈，有点长啊，但是确实这个事件也非常的复杂。

然后，大家感兴趣的话，可以去了解一下。拜拜！