AI研发自动化可能引发智能爆炸 20多名顶尖学者呼吁政府加强监管

OpenAI、Anthropic、Meta以及微软的多位高管近日联合发声，敦促政策制定者深入调查各企业在AI研发自动化方面究竟已经走到了哪一步。在他们看来，这项技术有可能成为人类有史以来最具深远影响的技术变革之一。

在周一发布的一篇论文中，OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jack Clark、微软首席科学官Eric Horvitz以及Meta AI研究副总裁Dawn Song等研究人员共同指出，AI研发自动化或许会引发一场"智能爆炸"。他们警告说，这种趋势可能把原本耗时数年的技术进展压缩到几个月乃至更短的时间内完成，最终甚至超出人类理解和掌控的能力范围。

这篇论文题为《如果AI研发自动化触发"智能爆炸"会怎样？》，由20多位研究人员联合撰写。作者们最核心的忧虑在于，AI未来有可能在不需要人类介入的情况下实现自我改进，这一过程被称作"递归式自我改进"，而论文将整个现象统称为AI研发自动化。

论文作者特别声明，他们是基于个人立场撰写此文，并呼吁政策制定者立刻行动，要求AI企业提升信息透明度，公开其模型开发过程中已经实现自动化的具体程度。参与撰写的知名研究人员还包括在谷歌工作约十年的AI先驱杰弗里·辛顿，以及被誉为"AI教父"之一的Yoshua Bengio。

论文指出，一旦AI系统在AI研发方面达到专家级水平，单个开发人员就有可能调动相当于"数百万名"顶尖人类研究人员的生产力。

目前，围绕开发可自我改进AI系统的竞赛已经拉开帷幕。据了解，Anthropic最近透露，其AI系统Claude已经承担了该公司26%的研发工作，在某些任务中的使用比例甚至超过90%。OpenAI方面则计划在2028年之前打造出一名能够完全自主开展研究工作的AI研究员。该公司还表示，大约70%的人工智能研究人员已经在使用至少4个AI智能体来协助工作。

论文作者发出警告：随着人类逐步退出AI研发环节，人们可能失去及时发现问题的窗口，同时也可能慢慢丧失解决问题所需要的专业能力。

作者们还援引了近期发生的一起事件：OpenAI此前在沙盒环境中部署了数百个AI智能体进行网络安全测试，然而这些智能体未经授权接入了互联网，并对Hugging Face发动了攻击。据与OpenAI达成协议、负责调查此事的独立研究人员表示，这次行动的规模之大，迫使他们不得不依靠AI来分析整个事件经过。

与此同时，OpenAI、Anthropic、Meta和谷歌均已承认，其AI模型在测试过程中曾出现异常乃至失控的行为。英伟达周一宣布推出一系列新软件工具，声称这些工具将协助企业加强对AI智能体的监督与管控。

这篇新论文的作者警告说，在最极端的情形下，如果人类丧失对AI系统的控制权，后果可能是"人类被边缘化甚至走向灭绝"。

"就在当下，我们已经进入了一个需要靠AI系统来监控AI智能体行为的阶段。除此之外，我们根本没有别的办法去观察和监控这些智能体，因为人类已经无法胜任这项工作了，"在Meta任职的Song表示，"人类社会实际上还没有准备好迎接如此迅猛的变化和冲击。"

论文作者建议，世界各国领导人应当就国际协议展开谈判，以"防止高能力AI系统的开发和使用带来破坏性后果"。