超级智能：专家对 OpenAI 的愿景和挑战的反应
通用人工智能（AGI）以及远超于此的某种事物的竞赛吸引了技术人员和公众的目光。作为一名报道人工智能快速发展格局的记者，我亲眼目睹了这些进步所伴随的雄心和担忧。OpenAI 作为该领域的杰出参与者，发现自己处于这场讨论的前沿，不仅要应对技术障碍，还要应对他们正在构建的东西产生的深刻的伦理和社会影响。
来源: 原创插图
快速摘要
- OpenAI 旨在开发“超级智能”，该定义为远远超过人类认知能力的智能。
- 首席执行官 Sam Altman 估计超级智能可能在“数千天”内（5.5 至 11 年）到来。
- OpenAI 成立了“超级对齐”团队，在四年内投入 20% 的计算能力，以确保人工智能的安全发展。
- 该公司承认重大的风险，包括经济颠覆、滥用以及超级智能未能正确对齐时可能导致人类的赋权丧失或灭绝。
- OpenAI 主张新的产业政策和关于人工智能价值观的民主决策，超越渐进式调整。
- 内部挑战，包括领导层变动和研究人员离职，凸显了在安全和快速发展方面持续存在的紧张关系。
追求超级智能
OpenAI 公开表示对其构建 AGI 的信心，他们用自己的话说，AGI 被定义为“一个在大多数经济上有价值的工作中超越人类的高度自主的系统”。然而，该公司的雄心超越了传统 AGI，专注于他们称之为“超级智能”的领域。OpenAI 的首席执行官 Sam Altman 曾表示，超级智能可能在“数千天”内到来。这一时间框架，大致从 5.5 年到近 11 年，突显了该领域许多人对其发展的紧迫感。正如 Nick Bostrom 在他 2014 年的书中所定义的，“超级智能”是
超级智能：路径、危险、策略，“是“任何在几乎所有相关领域都远远超过人类认知能力的智能。”
来源: tedapp.ai
Nick Bostrom 2014 年的书提供了超级智能的基本定义，概述了其潜在的路径、危险和策略。
Altman 称 Bostrom 的书是“他见过的关于该主题最好的作品。”
OpenAI 认为超级智能可以加速科学和医学的突破，显著提高生产力并降低成本。构建超级智能的成本每年都在下降，追求其发展的实体数量正在迅速增长。该公司承认，如此强大的技术存在重大风险，包括经济颠覆、恶意行为者的滥用、未对齐的系统以及权力和财富的集中。OpenAI 认为，如果超级智能未能正确对齐，它可能会剥夺人类的权力，甚至导致人类灭绝。
超级对齐计划
认识到这些深远的风险，OpenAI 于 2023 年 7 月 5 日宣布成立其“超级对齐”团队，如其博客文章所述。该团队最初由 Ilya Sutskever 和 Jan Leike 领导，其使命是解决管理和控制比人类智能高得多的 AI 系统的问题。OpenAI 已承诺在未来四年内投入其目前已获得计算能力的 20% 来解决超级对齐挑战。该团队的目标是在四年内解决超级智能对齐的核心技术问题。
当前依赖人类监督的人工智能对齐技术，对于超级智能来说效率不高。超级对齐团队的方法包括构建一个自动化的、人类水平的对齐研究员，开发可扩展的训练方法，验证模型，并对整个对齐流程进行压力测试。OpenAI 于 2023 年 12 月 14 日发布了其超级对齐团队的初步发现，详细介绍了一种技术，即功能较弱的大型语言模型可以监督功能更强大的模型。例如，该团队使用 GPT-2 来监督 GPT-4 完成各种任务，以探索人类如何监控超人类模型。结果表明，由 GPT-2 训练的 GPT-4 在语言任务上的表现提高了 20% 到 70%，但在国际象棋谜题上的表现有所下降。然而，人工智能研究员 Thilo Hagendorff 提出担忧，认为 GPT-2 可能“太笨”而无法成为有效的教师。
OpenAI 计划广泛分享其超级对齐工作的成果，以促进非 OpenAI 模型的对齐和安全。为了进一步推进这项研究，OpenAI 宣布设立 1000 万美元的基金，以支持从事超级对齐研究的研究人员。
智能时代的治理与政策
OpenAI 于 2023 年 5 月 22 日发布了一篇题为“超级智能的治理”的文章，强调了考虑比 AGI 强大得多的未来人工智能系统的治理的必要性。该公司提出了三种治理超级智能的方法：主要开发努力之间的协调、一个类似于国际原子能机构的超级智能事务国际机构，以及使超级智能安全的技术能力。OpenAI 认为，世界人民应民主地决定人工智能系统的价值观。
2026 年 4 月 6 日，OpenAI 发布了一篇题为“智能时代的产业政策”的文章，提出了塑造先进人工智能未来发展的想法。这篇文章认为，随着社会向超级智能发展，渐进式的政策调整将不足够。OpenAI 为基于这些政策想法的工作提供高达 10 万美元的赠款和研究奖项，以及高达 100 万美元的 API 积分。该公司还宣布将于 5 月在华盛顿特区举办一个新研讨会，就智能时代的产业政策进行讨论。
OpenAI 提出有必要制定新的产业政策来应对超级智能带来的挑战和机遇。这包括让工人能够对人工智能转型发表意见，促进人工智能驱动的创业精神，并将人工智能视为现代经济的基本组成部分。他们建议更新税基，以确保社会项目的持续资助，并创建适应性的社会安全网。OpenAI 强调了在部署人工智能系统之前和之后建立保障措施的重要性，包括实时监控和整合到现有机构。他们建议对少数可能带来化学、生物、放射、核或网络风险的高能力模型实施更严格的控制，包括审计。
内部动态与离职
追求超级智能并非没有 OpenAI 的内部挑战。负责管理超级智能系统的团队在两位联合领导人 Ilya Sutskever 和 Jan Leike 离职后最近被解散。
来源: artificial-intelligence.blog
超级对齐团队的联合领导人 Ilya Sutskever 最近离开了 OpenAI，标志着内部发生了重大转变。
❝ 近年来，安全文化和流程已经让位于闪亮的产品。 ❞
人工智能研究员
2024 年 6 月，Ilya Sutskever 创立了一家名为“安全超级智能”的新公司。
Sam Altman 于 2023 年 11 月短暂被罢免 CEO 职务是一个重要的时刻，他称之为“重大的治理失败”。WilmerHale 的一项调查认为，他被免职的原因是前董事会与 Altman 之间“关系破裂和信任丧失”。自 2023 年底以来，包括 Ilya Sutskever 和 Alec Radford 在内的几位顶尖研究人员已离开 OpenAI。这些离职凸显了该组织在安全、快速发展和公司治理方面持续存在的紧张关系和不同观点。OpenAI 目前有三个安全机构：一个内部安全咨询小组，一个董事会层面的安全和安保委员会，以及一个部署安全委员会。
OpenAI 的安全委员会
OpenAI 目前有三个不同的安全机构，体现了其致力于解决先进人工智能发展相关的复杂风险的承诺：
| 委员会名称 | 主要职能 |
|---|---|
| 内部安全咨询小组 | 就安全规程和研究提供内部指导和建议。 |
| 董事会层面的安全和安保委员会 | 监督高级安全和安保战略，直接向董事会汇报。 |
| 部署安全委员会 | 专注于人工智能系统部署过程中的安全和伦理影响。 |
结论
关于超级智能及其发展的辩论非常复杂，包含非凡的潜在利益和同样深刻的风险。OpenAI 作为这场未来的关键推动者，继续应对这些挑战，投入大量资源进行对齐研究，并主张具有前瞻性的治理政策。通往超级智能的道路不仅需要技术突破，还需要关于其伦理影响以及如何确保其最终服务于人类最佳利益的持续、全球性的对话。
常见问题解答 (FAQ)
AGI 和超级智能有什么区别？
AGI（通用人工智能）是指一个高度自主的系统，它在大多数经济上有价值的工作中能够超越人类。超级智能，正如 Nick Bostrom 所定义的，是任何在几乎所有相关领域都远远超过人类认知能力的智能，这意味着其能力水平远高于 AGI。
OpenAI 预计超级智能何时到来？
OpenAI 的首席执行官 Sam Altman 曾表示，超级智能可能在“数千天”内到来，这大约相当于他发表声明后的 5.5 至 11 年。
OpenAI 的超级对齐团队的目的是什么？
超级对齐团队的使命是解决管理和控制比人类智能高得多的 AI 系统的问题。他们致力于在四年内解决超级智能对齐的核心技术挑战，确保这些强大的系统保持安全和有益。
根据 OpenAI 的说法，超级智能的主要风险是什么？
OpenAI 确定了几项重大风险，包括经济颠覆、被恶意行为者滥用的可能性、未能符合人类最佳利益的系统，以及权力和财富的集中。他们还警告说，如果超级智能未能正确对齐，它可能会剥夺人类的权力，甚至导致人类灭绝。