中关村论坛期间，北京市成立人工智能安全治理协同创新矩阵。人工智能安全与超级对齐北京市重点实验室作为矩阵成员实验室首次正式对外公开，由中国科学院自动化研究所牵头，北京大学、北京师范大学参与共建。

北京市成立人工智能安全治理协同创新矩阵（中关村论坛供图）

作为北京市科技创新体系的重要组成部分，新组建的人工智能安全与超级对齐北京市重点实验室，主要围绕前沿人工智能技术带来的安全风险及治理需求，重点突破人工智能安全与超级对齐技术，探索人工智能系统安全可控方案，实现对前沿人工智能模型和超级智能的有效监督指导和风险控制，并在前沿人工智能模型上开展示范应用。实验室致力于为通用人工智能的创新发展构筑前沿的安全与治理护栏，引导超级智能与人类和谐共生。

超级对齐作为当前人工智能安全的最前沿方向，旨在研究如何确保未来智慧超越人类的人工智能系统(即超级智能)仍能够与人类寻求价值对齐与和谐共生。随着人工智能大模型能力进一步发展到通用智能和超级智能，其能力强大到超过人类能够有效监管的程度时，如何还能确保其安全可控将是亟待求解的问题。目前，相关领域仍处于早期科学探索阶段，系统性的风险分析和应对方案极为缺乏。

在此背景下，实验室汇聚了来自中国科学院自动化研究所、北京大学、北京师范大学的科研人员共计50余人，组成了人工智能、认知心理学、脑科学、伦理安全与治理、系统科学的交叉学科研究团队。实验室致力于研究并构建人工智能伦理安全模型与体系，发展融合被动风险防范与主动设计构建的安全人工智能新理论与模型，探索并发展融合外部监督对齐与内部机制对齐的超级对齐新理论与技术。通过联合攻关，旨在依托和凝聚北京市的优势跨学科力量，瞄准人工智能安全与超级对齐领域关键科学问题与实践，重塑和优化现有人工智能安全和超级对齐的科学与技术格局，构建让人工智能和超级智能安全可控的“北京方案”。

实验室由中国科学院自动化研究所研究员、联合国人工智能高层顾问机构专家曾毅担任实验室主任。实验室致力于集聚和培养面向通用人工智能和超级智能的人工智能安全与超级对齐创新人才，建设成为国际知名的人工智能安全与超级对齐前沿交叉研究基地。