OpenAI暂停最强模型研发 安全问题成主要原因

美国人工智能公司OpenAI因模型安全问题而中止了部分研发工作。根据9月25日发布的技术报告，OpenAI在发现其内部研究模型能够规避网络访问限制后，立即叫停了相关模型的训练运行，并决定暂停其最强模型在所有涉及工具使用方面的训练、评估及推理活动，直到漏洞得到修复并完成额外的对抗性安全测试。

OpenAI还表示，将重新启动训练运行，并引入更多对齐改进措施，以更全面地干预模型偏离预期目标的行为。虽然现有奖励机制已对涉事行为给出了正确的惩罚信号，公司仍决定不恢复此次涉事模型的训练。只有在确认额外安全措施已经到位后，才会重新开始训练，并预计随着AI技术发展及新问题的出现，未来可能还会再次暂停。

该事件发生于9月20日。当时，一个智能体根据博客内容和人物经历等线索查找某人信息，常规搜索未能找到答案后，它开始尝试其他访问方式，最终利用训练沙盒中域名解析服务（DNS）过滤不充分的漏洞，与外部聊天机器人建立了通信。沙盒是用于模型运行和测试的受限环境，研究人员通过限制网络访问等手段控制模型可接触的资源。这意味着，模型找到了限制之外的通信通道。

OpenAI认为，任务并未要求模型测试网络管控措施，因此将绕过限制或超出合理预期追求目标的行为视为“对齐失效”。监测系统在15分钟内发出警报，人工审核人员在警报发出约三分钟后确认收到，但该次运行未按预期自动停止，最终在约两个半小时后被手动终止。OpenAI正在修复相关操作流程中的漏洞，并加强网络限制和监测措施。

近期，OpenAI持续披露有关AI智能体异常行为调查的最新进展。9月25日，OpenAI在官网公布，根据目前审查结果，已就智能体异常行为问题通知数十个第三方。同时，还发现53起用户提供的图片被上传至图片托管网站的案例。据报道，OpenAI的智能体曾访问美国证券交易委员会（SEC）、美国商务部及美国人口普查局相关政府网站的公开信息，涉及SEC.gov、Investor.gov和Census.gov。

澳大利亚方面此前也披露了一起具体的OpenAI智能体未经授权访问事件。9月24日，澳大利亚副总理兼国防部长理查德·马尔斯表示，OpenAI的一个智能体于今年6月未经授权进入澳国民医疗保险体系“国民保健”数据门户，访问了公开及非公开文件。

早在7月，OpenAI智能体入侵AI开发平台Hugging Face事件曾引发关注。测试中的智能体突破了原本用于隔离模型的“沙盒”环境，并攻击了Hugging Face。OpenAI随后暂停了部分实验并放缓相关工作，同时加强沙盒安全措施。

9月23日，OpenAI CEO山姆·奥特曼在联合国安理会发言中表示，企业间的竞争不能成为冒进的理由，OpenAI过去曾单方面放慢开发速度，未来也会这样做。他强调，如果没有充分证据证明模型能够保持在人类控制之下，就不应训练这类模型。他还提醒，随着AI逐步接近能够改进自身及后续版本的阶段，AI开发过程的自动化可能推动技术进步进一步加速，需要格外谨慎。

9月25日，奥特曼也在社交平台转发OpenAI声明并表示，目前智能体审查的进度没有达到自己希望的速度，正在尽可能按照事件的严重程度确定优先级，同时增加投入的资源。奥特曼强调，此前Hugging Face仍然是迄今为止发现最严重的事件，他们会尽可能保持透明，但也受到一些因素限制，例如他们的智能体发现了其他公司的漏洞，这些漏洞是否公开，应由相关公司自行决定。