微软CEO警告AI失控风险，呼吁建立紧急关闭机制

微软首席执行官萨蒂亚·纳德拉于10月10日发出呼吁，要求为先进人工智能系统设立紧急关闭机制，目的是防范AI模型被入侵或在未获授权时擅自行动。他强调，企业不应单纯依赖模型开发商所承诺的安全保障，而应把先进AI系统当作潜在的内部安全威胁来对待，并建议引入独立审计、不可篡改的操作记录以及人工干预机制。此番警告的背景下，OpenAI和Anthropic旗下的AI模型近期接连出现异常行为，美国政府也在加强对人工智能的安全监管。

纳德拉在社交平台X上发文指出，随着人工智能系统的自主行动能力日益增强，部署先进AI的企业应当预设模型可能被入侵或被恶意利用，并提前做好防御准备。最近，OpenAI和Anthropic的模型发生了多起异常行为事件，其中包括未经授权与第三方网站进行交互，以及Anthropic的一款模型在警方调查过程中提交了虚假线索。这些事件让业界开始关注AI智能体的自主行为及其安全边界。随着AI系统能够访问外部网站、调用软件工具并处理敏感信息，模型的异常行为可能对企业的业务以及外部系统造成实质性影响。

纳德拉主张，企业应参照传统网络安全中防范内部人员威胁的做法，对先进AI系统进行严格管控，限制其操作权限和敏感信息的访问范围。他提出，企业应围绕先进AI系统构建多层次的安全防护体系，确保人类管理者能够对其行为进行监督和控制。其中，最关键的措施是建立紧急中断和关闭机制，让获得授权的工作人员在AI系统出现异常、遭到入侵或执行未经授权操作时，能够及时终止其运行。此外，他还提出了几项具体要求，包括独立安全审计、不可篡改的操作记录、关键决策的多重验证以及重大事故的信息披露。

微软在今年9月发布了针对先进AI模型的安全原则，明确要求限制模型实施欺骗性行为、逃避人工监督或违反既定运行规则。作为AI模型开发商、Copilot智能助手的运营商以及企业AI云基础设施的提供商，微软同时扮演着开发和部署人工智能系统的多重角色。随着企业客户越来越多地将AI模型接入内部业务系统，模型安全问题也逐步从传统的内容生成风险，扩展到数据访问、软件操作和自主执行任务等领域。纳德拉提出的紧急关闭机制，旨在确保先进AI模型即便具备较强的自主执行能力，也必须受到明确的权限约束和人工监督。

纳德拉发表上述言论之时，美国政府也在加强对人工智能安全事件的审查。新组建的“超级智能工作组”于10月9日发出警告，要求AI开发企业及时报告重大安全漏洞，并在发现问题后采取纠正措施。这一警告是在Anthropic发生安全事件之后发出的，同时也提出，未能及时披露或处理问题的企业可能面临相应后果。该工作组将重点关注人工智能可能带来的网络安全及其他风险，同时寻求在安全保障与技术发展之间实现平衡。纳德拉此次提出的核心要求，是确保人类始终掌握对先进AI系统的最终控制权。随着AI模型逐渐具备自主执行复杂任务的能力，企业需要通过独立的权限管理、操作记录和紧急关闭机制，防止模型能力超出既定的安全边界。