OpenAI安全奖学金计划缩减:风险重重的AI飞跃

Avatar
丽莎·恩斯特 · 12.04.2026 · 人工智能 · 11分钟

OpenAI AI安全愿景的变幻沙丘

多年来,我一直关注人工智能领域的发展,敏锐地观察着技术快速进步与至关重要、往往复杂的安全追求之间的相互作用。这种紧张关系在OpenAI内部尤为明显,该组织成立的使命是确保通用人工智能(AGI)真正造福全人类。您可以在以下网站了解更多关于他们的使命: OpenAI基金会网站.

快速摘要

OpenAI对安全研究的承诺

OpenAI始终表示,安全是其使命的核心宗旨,旨在最大化AI的积极影响,同时最小化负面影响。他们在“ 关于安全和对齐的思考方式的文章. 中详细阐述了他们对安全和对齐的方法。该组织积极将安全措施整合到开发的初始阶段,以培养创新和可靠的AI系统。

他们的方法包括十项增强安全的关键实践,例如经验性红队测试和预发布测试,如“ 他们的安全框架. ”中所述。例如,超过70位外部专家通过红队测试行动对GPT-4进行了风险评估,您可以在“ 他们的安全概述. ”中阅读相关内容。如果新模型在其“准备框架”内的风险阈值超过“中等”,OpenAI将不会发布它们,除非有足够的安全干预措施到位,这项政策在“ 他们的安全指南, ”中有详细说明。该框架于去年推出,提供了一种识别和减轻潜在危险的结构化方法,如“ 该文章.

”中所解释的。OpenAI的承诺延伸到合作努力。他们加入了“前沿AI安全承诺”,该承诺倡导安全开发和部署AI模型,并分享风险缓解方面的信息,如“ 他们的安全文档. ”中所引述。美国AI安全研究所和OpenAI签署了关于AI安全研究的协议。您可以在“ NIST网站. ”上找到有关这些协议的更多信息。在全球范围内,OpenAI与各国政府合作制定有效的AI安全政策,如“ 他们的安全实践.

”中所提及。NIST标志。7|此图片显示了一个朴素的黑色NIST标志在干净的白色背景上。它是一个矢量图形,确保在任何分辨率下都清晰,非常适合官方文档或合作。

来源: vectorseek.com

NIST标志代表了美国AI安全研究所和OpenAI通过签署协议,共同推进AI安全研究的努力。

OpenAI安全工作的关键重点是保护儿童,在ChatGPT和DALL-E中实施强大的默认保护措施,如“ 他们的安全框架. ”中所解释的。他们与Thorn等组织合作,检测并向国家失踪和受剥削儿童中心报告儿童虐待材料,详细信息在“ 他们的安全承诺. ”中。该公司还与政府和利益相关者合作,维护选举的完整性;ChatGPT会引导美国和欧洲的用户访问官方选举信息来源,如“ 他们的安全指南. ”中所概述的。此外,OpenAI支持美国参议院的“保护选举免受欺骗性AI法案”,该法案将禁止在政治广告中使用具有误导性的AI生成内容。您可以在“ GovTrack.us.

”上阅读该法案的文本。

在此基础上,OpenAI于2026年4月6日宣布了一项“安全奖学金”试点计划,旨在促进独立的安全性与对齐研究,并培养新人才。该计划将于2026年9月14日至2027年2月5日实施。研究员将专注于与当前和未来AI系统相关的安全问题,包括安全评估、伦理、鲁棒性、可扩展的缓解措施、隐私保护安全方法、代理监督以及高滥用风险领域。参与者将与OpenAI导师密切合作,可以通过远程方式或在伯克利的Constellation工作,如“ Constellation网站. ”所示。该奖学金包括每月津贴、计算支持和持续指导。申请截止日期为5月3日,成功的候选人将在7月25日前收到通知。

OpenAI安全理念的演变

OpenAI认为AGI的发展并非一次性的、不连续的飞跃,而是一系列提供不断增长效用的系统的进步,如“ 他们的安全原则. ”中所述。他们的迭代部署原则允许从当前系统中学习并使社会适应不断发展的技术,这在“ 他们的安全方法. ”中得到了进一步解释。这一理念与OpenAI发布GPT-2的方法相符,据前政策负责人Miles Brundage称,这与其当前的迭代部署理念完全一致。Brundage的评论可在“ 他的推文. ”中找到。Brundage主张,围绕GPT-2发布的谨慎是正当的,如“ 同一条推文.

”中所述。尽管有这些既定承诺,但内外部批评陆续出现,暗示OpenAI可能偏离了其基础安全原则。

日益增长的内部不满

《纽约客》2026年4月的一篇报道揭示了OpenAI最初优先考虑人类而非利润的使命如何在商业压力下瓦解。这种转变导致该公司成为一家营利性实体,解散了许多安全团队,并罢免了试图罢免首席执行官Sam Altman的董事会成员,原因是他涉嫌在安全协议方面欺骗。该报道援引了前首席科学家Ilya Sutskever和前安全主管Dario Amodei(现任Anthropic首席执行官)的内部文件,强调了根本性的冲突。例如,Amodei曾倡导在OpenAI的章程中加入一项“合并与协助”条款,要求该公司在其他AI公司首先实现安全AGI时支持它们。据报道,微软在2019年投资期间获得了对该条款的否决权。

Sam Altman的领导风格也受到了审视,据报道,Sutskever的一份备忘录开头列出了一系列问题,其中第一点是“Sam表现出了一贯的……撒谎模式”。Amodei总结道:“OpenAI的问题在于Sam本人。”

OpenAI的问题在于Sam本人。
达里奥·阿莫迪
达里奥·阿莫迪
Anthropic首席执行官

奥特曼本人向《纽约客》承认,他的“感觉与许多传统AI安全理念不符”。

感觉与许多传统AI安全理念不符。
Sam Altman
Sam Altman
OpenAI首席执行官
Sam Altman肖像。1|这张图片显示了一位留着浅棕色头发、面带微笑的男子,穿着深色夹克和白色衬衫。背景模糊,将注意力集中在他的脸上。

来源: stablediffusionweb.com

OpenAI首席执行官Sam Altman因其领导力受到审视,并承认他的“感觉与许多传统AI安全理念不符”。

“超级对齐团队”于2023年中期成立,承诺将OpenAI五分之一的计算能力用于防止“人类失能甚至人类灭绝”,但据报道,该团队只获得了最老硬件计算能力的百分之一到百分之二,后来被解散。OpenAI的一位代表似乎对专注于存在性安全的研究人员不熟悉,并表示:“那不是一回事。”

那不是一回事。
OpenAI代表
OpenAI代表
角色未知

这些内部说法表明,该公司已显著偏离其宣称的安全优先理念。

外部担忧与公众认知

前OpenAI员工公开表达了担忧。2024年7月,《华盛顿邮报》的一篇报道详细描述了匿名员工声称OpenAI仓促进行安全测试并过早地宣传其产品。完整报道可在“ 《华盛顿邮报》. ”中阅读。OpenAI关键研究员Jan Leike辞职,声称公司的“安全文化和流程已退居次要地位,让位于光鲜亮丽的产品”。

安全文化和流程已经退居次要地位,让位于光鲜亮丽的产品。
简·莱克
简·莱克
OpenAI研究员

Miles Brundage在2025年3月批评OpenAI涉嫌“改写”其AI安全历史。他的评论可以通过“ 这条推文. ”查看。Brundage担心OpenAI的新叙事旨在将担忧驳斥为“危言耸听”,并要求“即将到来的危险的压倒性证据”,这也在“ 他的社交媒体帖子.

”中得到了澄清。Miles Brundage肖像。1|这张图片显示了一位戴眼镜、留着胡子的男子,穿着棕色夹克,里面是深色衬衫,若有所思地看向一侧。背景柔和模糊。

来源: robots.law.miami.edu

Miles Brundage批评OpenAI涉嫌“改写”其AI安全历史,担心他们的新叙事旨在驳斥关于迫在眉睫的危险的担忧。

尽管存在这些批评,OpenAI发言人Taya Christianson坚称,公司对其在提供强大且安全的AI系统方面的业绩感到自豪。

更广阔的AI安全格局

AI安全领域已获得显著关注,尤其自2023年以来,由生成式AI的快速发展以及研究人员和CEO日益增长的公众担忧所驱动。这包括关于当前风险的讨论,例如AI错误、偏见和AI驱动的监视,以及新兴威胁,如错误信息和自主武器。推测性风险,例如对未来AGI代理失去控制或AI导致稳定的独裁,也构成了这些讨论的一部分。

历史上,自诺伯特·维纳在1949年指出网络控制论早期以来,AI风险一直备受争议。Roman Yampolskiy在2011年提出了“AI安全工程”一词,预测AI故障的频率和严重性将增加。尼克·博斯特罗姆2014年的著作《超级智能》进一步普及了这些担忧,埃隆·马斯克、比尔·盖茨和斯蒂芬·霍金等人物也呼应了他的警告。

世界各地的政府和学术机构正积极参与AI安全。美国国家安全委员会在2021年报告称,AI系统必须与人类目标和价值观保持一致,包括安全性和可信赖性。美国国家标准与技术研究院(NIST)开发了一个管理AI风险的框架。中国在2021年发布了强调人类控制和问责制的伦理指南,英国2021年国家AI战略承认了未对齐AGI的长期风险。

AI安全关键研究领域

AI安全研究主要涵盖几个关键领域:

领域 描述 示例挑战
鲁棒性 确保AI系统即使在意外情况或对抗性攻击下也能可靠且可预测地运行。 “对抗性例子”、“提示注入”、“模型窃取”
监控 开发理解和监督AI行为的方法,特别是随着系统变得越来越复杂。 “黑箱”问题、“内部可解释性”、检测“特洛伊木马”或后门。
对齐 确保AI系统追求预期的目标、偏好和道德原则,而不是不预期或有害的目标。 “代理目标”、“工具目标”、战略欺骗、编码人类价值观。
系统安全 解决源于竞争压力、不充分的安全文化和地缘政治影响的更广泛风险。 “逐底竞争”、网络安全影响、对决策的影响。

OpenAI承认其安全和对齐方法有几个核心原则:接受不确定性、倡导纵深防御、开发可扩展的安全方法、保持人类控制以及促进协作努力。这些原则在其文章“ 我们如何思考安全和对齐. ”中详细阐述。他们旨在构建透明、可审计和可控的系统,将明确的政策和“判例法”编码到模型训练中,如“ 他们的安全页面.

”上进一步探讨的。

OpenAI在AI安全领域的历程反映了雄心勃勃的承诺、重大的技术贡献和内部挑战之间复杂的相互作用。尽管该公司继续宣布新的举措,如“安全奖学金”,并强调其对安全开发的承诺,但前员工和《纽约客》的批判性报告对其实践与其既定使命的一致性提出了重要问题。围绕OpenAI内部文化以及产品优先于安全的持续辩论,凸显了在快速演进的AI领域中,在维护道德和安全标准以造福全人类方面所固有的困难。AI社区、政策制定者和公众的目光仍然聚焦于OpenAI,因为它正努力使其商业需求与其安全、有益AGI的创始愿景相协调。

来源: YouTube

OpenAI安全实践常见问题

以下是关于OpenAI在AI安全方面的方法和最新发展的一些常见问题:

  • OpenAI在AI安全方面的既定使命是什么?

    OpenAI的使命是确保通用人工智能(AGI)造福全人类。他们表示,安全是这一使命的核心部分,旨在最大化积极影响,同时最小化负面影响。

  • “安全奖学金”计划是什么?

    “安全奖学金”是OpenAI于2026年4月宣布的一项试点计划,旨在支持AI安全与对齐领域的独立研究,并培养该领域的新人才。它包括津贴、计算支持和指导。

  • 为什么对OpenAI的安全承诺存在担忧?

    担忧源于《纽约客》和前员工的报道,他们声称OpenAI由于商业压力偏离了其最初的安全优先理念。争议的焦点包括安全团队的解散,对“超级对齐团队”的alleged淡化,以及对领导层将产品发布置于彻底安全测试之上的批评。

  • 有哪些关键人物对OpenAI的安全文化表示担忧?

    主要批评者包括前首席科学家Ilya Sutskever、前安全主管Dario Amodei(现任Anthropic首席执行官)、前政策主管Miles Brundage以及研究员Jan Leike,他们都对公司的内部实践和哲学转变表达了担忧。

  • OpenAI声称如何确保AI安全?

    OpenAI声称从早期开发阶段就整合了安全措施,采用经验性红队测试、预发布测试和“准备框架”等实践。他们还与外部专家、政府和组织合作,解决儿童虐待材料和选举干预等风险。

分享我们的文章!
来源