OpenAI 的参数高尔夫：小型模型，大型 AI 风险

Lisa Ernst · 25.03.2026 · 人工智能 · 6 分钟

我一直对隐藏的限制以及它们所激发的创造力着迷。在人工智能的世界里，模型越来越大，计算量也越来越大，但“用更少的资源做更多的事”这个想法却显得至关重要，甚至近乎叛逆。《参数高尔夫》挑战正是 OpenAI 希望以此来促进的想法。

来源: OpenAI 的参数高尔夫挑战参赛者在严格的内存和计算限制下开发高效的语言模型。

OpenAI 推出了其“参数高尔夫”研究竞赛，以激励在严格限制下开发最高效的预训练语言模型。主要目标是在固定的 FineWeb 数据集上最大限度地减少保留损失。

快速摘要

以下是 OpenAI 参数高尔夫挑战的简要概述：

• 目标： 开发最高效的预训练语言模型。
• 目的： 在固定的 FineWeb 数据集上最大限度地减少保留损失。
• 工件限制： 16 MB（16,000,000 十进制字节），包括权重 + 训练代码。
• 计算限制： 在 8x NVIDIA H100 GPU 上运行 10 分钟。
• 评估： 在 FineWeb 验证集上进行压缩（每字节位数）。
• 时间表： 2026 年 3 月 18 日至 2026 年 4 月 30 日。
• 支持： 来自 OpenAI 和 Runpod 的 1,000,000 美元计算积分。
• 激励： 表现最佳者有机会获得 OpenAI 的工作面试。

挑战：限制与规则

https://github.com/openai/parameter-golf

如在 GitHub repository, 上的详细信息，参赛者面临严格的 16 MB 工件限制——具体为 16,000,000 个十进制字节，而不是 16 MiB——这包括模型权重和训练代码。关键是，用于评估的所有代码字节都必须包含在指定的 train_gpt.py 脚本中。

严格的限制

除了严格的大小限制外，本次挑战还规定了严格的计算预算：在 8x NVIDIA H100 GPU 上最多只能训练 10 分钟，如 challenge documentation.

来源: wccftech.com

本次挑战的计算预算非常严格，仅允许在强大的 8x NVIDIA H100 GPU 上进行 10 分钟的训练。

对提交内容的评估侧重于在 FineWeb 验证数据集上的压缩性能（以每字节位数衡量），并且保持了分词器无关性。在评估阶段，不允许进行任何外部下载、训练数据集访问或网络调用，以确保工件完全自包含且可重现。

公平竞争与验证

OpenAI 将严格验证排行榜上的顶尖作品，并保留取消不规范结果资格的权利。虽然允许跨多个运行进行超参数调优，但明确禁止注入额外的计算，例如通过暴力破解种子。挑战明确规定，所有计入的代码字节都必须包含在 train_gpt.py 脚本中，并且在评估期间不允许进行任何外部下载或网络调用。

技术格局与优化策略

https://openai.com/index/parameter-golf/#credit-form

挑战于 2026 年 3 月 18 日开始，4 月 30 日结束。OpenAI 提供了一个包含基线模型、固定数据集和评估脚本的 GitHub 仓库，以促进参与。参赛者分叉此仓库，在规定的尺寸和计算限制内改进模型，然后提交一个包含其代码、日志、结果和方法摘要的 Pull Request (PR)。一旦批准，改进的结果就会被添加到自动更新的排行榜上。

优化方法

参赛者采用各种优化策略，通常分为两大类：独特的架构和压缩方案。架构创新可能包括“测试时计算”、“激进的参数绑定”、“深度递归”或“低秩训练”。压缩策略可能涉及较低精度、量化感知训练 (QAT)、Bitnets 或新型分词器。该挑战可以被理解为一种 L(N) 优化形式，旨在用固定数量的参数实现最低的损失。FineWeb 数据集以及一个大大减少的 1024 个 token 的词汇量是训练过程的基础。

排行榜亮点

排行榜展示了多样化的方法和令人印象深刻的结果。以下是一些产生影响的技术一览：

挑战也欢迎“非破纪录”的提交，只要它们能够成功执行，就能展示独特或非常规的方法。存在一个“无限制计算轨道”，适用于那些超出 10 分钟训练时间但仍提供宝贵见解的提交。GitHub 仓库还提供了使用 MLX 在配备 Apple Silicon 的 Mac 上进行训练的指南。“参数高尔夫”挑战部分受到早期“NanoGPT”挑战的启发。

对参与者的支持和 OpenAI 的招聘策略

https://openai.com/index/parameter-golf/#credit-form

http://modelcraft.runpod.io/

OpenAI 正与 Runpod 合作支持参与者，通过 official OpenAI credit form 和 Runpod 的 Modelcraft 计划，提供价值 1,000,000 美元的计算积分。

来源: runpod.io

在一项合作中，OpenAI 和 Runpod 提供价值 1,000,000 美元的计算积分，以实现资源的民主化。

这项合作旨在实现对关键计算资源的民主化访问。可以通过 Runpod's deployment console 和 specific template link.

人才招聘与未来研究

https://www.inc.com/ben-sherry/want-a-job-at-openai-take-this-online-challenge-today/91318272

除了眼前的技术进步，这项举措还充当了 OpenAI 的战略人才招聘工具，如在Inc.com article. 报道的那样。表现出色的参与者可能会收到公司内部开放职位的面试邀请。OpenAI 计划在 6 月份招聘一小批初级研究员，其中包括学生和奥赛获奖者。从“参数高尔夫”中获得的见解将直接影响 OpenAI 的未来研究。挑战的成功方法也可能会被公开展示。

结论

“参数高尔夫”挑战体现了 AI 研究中的一个关键转变，在日益增长的模型占主导地位的时代，它强调了效率和创造力。通过突破极限下的可能性边界，参赛者不仅推动了技术前沿，还磨练了对 AI 未来至关重要的关键问题解决能力。该竞赛向受支持国家年满 18 周岁及以上的个人开放。虽然 OpenAI 员工可以参与，但他们没有资格获得计算积分。有关挑战的讨论和新闻可以在官方 OpenAI Discord 服务器的 #parameter-golf-discussions 和 #parameter-golf-announcements 频道中找到。

来源