Parameter Golf от OpenAI: Крошечные модели, большие ставки в ИИ

Лиза Эрнст · 25.03.2026 · Искусственный интеллект · 6 мин

Меня всегда завораживали скрытые ограничения и изобретательность, которую они вдохновляют. В мире искусственного интеллекта, где модели становятся все больше и требуют все больше вычислительных ресурсов, идея делать больше с меньшими затратами кажется жизненно важным, почти бунтарским действием. Именно это OpenAI стремится поощрить своим соревнованием "Parameter Golf".

Источник: Parameter Golf от OpenAI бросает вызов участникам разработать высокоэффективные языковые модели в рамках строгих ограничений по памяти и вычислениям.

OpenAI запустила свое исследовательское соревнование "Parameter Golf", чтобы стимулировать разработку наиболее эффективных предварительно обученных языковых моделей при жестких ограничениях. Основная цель — минимизировать потери на фиксированном наборе данных FineWeb.

Краткое резюме

Вот краткий обзор соревнования OpenAI Parameter Golf:

• Цель: Разработать наиболее эффективную предварительно обученную языковую модель.
• Задача: Минимизировать потери на фиксированном наборе данных FineWeb.
• Лимит артефакта: 16 МБ (16 000 000 десятичных байт) для весов + код обучения.
• Лимит вычислений: 10 минут на 8x GPU NVIDIA H100.
• Оценка: Сжатие на валидационном наборе FineWeb (биты на байт).
• Сроки: С 18 марта по 30 апреля 2026 года.
• Поддержка: 1 000 000 долларов США в виде вычислительных кредитов от OpenAI и Runpod.
• Стимул: Возможные собеседования в OpenAI для лучших участников.

Соревнование: Ограничения и правила

https://github.com/openai/parameter-golf

Как подробно описано на GitHub repository, участники сталкиваются со строгим лимитом артефакта в 16 МБ — конкретно 16 000 000 десятичных байт, а не 16 МиБ — охватывающим как веса модели, так и код обучения. Важно отметить, что все байты кода для оценки должны находиться в пределах указанного скрипта train_gpt.py.

Строгие ограничения

Помимо жестких ограничений по размеру, соревнование налагает строгий бюджет вычислений: максимум 10 минут времени обучения на 8x GPU NVIDIA H100, как указано в challenge documentation.

Источник: wccftech.com

Соревнование имеет строгий бюджет вычислений, позволяющий всего 10 минут обучения на мощных 8x GPU NVIDIA H100.

Оценка представленных работ сосредоточена на производительности сжатия на валидационном наборе FineWeb, измеряемой в битах на байт и независимо от токенизатора. Во время этапа оценки запрещены любые внешние загрузки, доступ к набору данных для обучения или сетевые вызовы, что гарантирует полную самодостаточность и воспроизводимость артефакта.

Справедливая игра и проверка

OpenAI будет тщательно проверять лучшие результаты в таблице лидеров и оставляет за собой право дисквалифицировать невоспроизводимые результаты. Хотя настройка гиперпараметров в нескольких прогонах разрешена, введение дополнительных вычислений, например, путем перебора начальных значений, строго запрещено. Соревнование явно указывает, что все учитываемые байты кода должны находиться в скрипте train_gpt.py, и никаких внешних загрузок или сетевых вызовов во время оценки не допускается.

Технический ландшафт и стратегии оптимизации

https://openai.com/index/parameter-golf/#credit-form

Соревнование началось 18 марта 2026 года и завершится 30 апреля 2026 года. OpenAI предоставляет репозиторий GitHub, содержащий базовую модель, фиксированный набор данных и скрипты оценки для облегчения участия. Участники форкают этот репозиторий, работают над улучшением модели в пределах предписанных ограничений по размеру и вычислениям, а затем отправляют Pull Request (PR), включающий их код, журналы, результаты и краткое описание их подхода. После одобрения улучшенные результаты добавляются в автоматически обновляемую таблицу лидеров.

Подходы к оптимизации

Участники применяют различные стратегии оптимизации, которые часто делятся на две основные категории: уникальные архитектуры и схемы сжатия. Архитектурные инновации могут включать "Вычисления во время тестирования", "Агрессивное связывание параметров", "Глубокую рекурсию" или "Низкоранговое обучение". Стратегии сжатия могут включать более низкую точность, обучение с учетом квантования (QAT), Bitnets или новые токенизаторы. Соревнование можно рассматривать как форму L(N)-оптимизации, направленную на наименьшие потери при фиксированном числе параметров. Набор данных FineWeb, наряду со значительно сокращенным словарем из 1024 токенов, лежит в основе процесса обучения.

Основные моменты таблицы лидеров

Таблица лидеров демонстрирует разнообразные подходы и впечатляющие результаты. Вот взгляд на некоторые из техники, которые оказывают влияние:

Соревнование также приветствует "нерекордные" работы, демонстрирующие уникальные или нетрадиционные подходы, при условии их успешного выполнения. Существует "Трек неограниченных вычислений" для работ, которые превышают 10-минутный лимит обучения, но все же дают ценные результаты. Репозиторий GitHub также содержит руководство по обучению на Mac с Apple Silicon с использованием MLX. Соревнование "Parameter Golf" частично вдохновлено более ранним соревнованием "NanoGPT".

Поддержка участников и стратегия найма OpenAI

https://openai.com/index/parameter-golf/#credit-form

http://modelcraft.runpod.io/

OpenAI сотрудничает с Runpod для поддержки участников, предлагая впечатляющие вычислительные кредиты на сумму 1 000 000 долларов США через official OpenAI credit form и инициативу Modelcraft от Runpod.

Источник: runpod.io

В рамках сотрудничества OpenAI и Runpod предлагают участникам вычислительные кредиты на сумму 1 000 000 долларов США, демократизируя доступ к необходимым ресурсам.

Это партнерство направлено на демократизацию доступа к необходимым вычислительным ресурсам. Доступные экземпляры GPU и их цены для облачных вычислений можно просмотреть через Runpod's deployment console и specific template link.

Привлечение талантов и будущие исследования

https://www.inc.com/ben-sherry/want-a-job-at-openai-take-this-online-challenge-today/91318272

Помимо непосредственных технических достижений, эта инициатива служит стратегическим инструментом для привлечения талантов OpenAI, как сообщаетInc.com article. Выдающиеся участники могут получить приглашения на собеседования на открытые вакансии в компании. OpenAI планирует нанять небольшую группу младших исследователей в июне, включая студентов и победителей олимпиад. Результаты "Parameter Golf" напрямую повлияют на будущие исследования OpenAI. Успешные подходы из соревнования также могут быть публично представлены.

Заключение

Соревнование "Parameter Golf" воплощает собой критически важный сдвиг в исследованиях ИИ, делая акцент на эффективности и находчивости в эпоху, когда доминируют постоянно растущие модели. Расширяя границы возможного в условиях экстремальных ограничений, участники не только продвигают технический фронт, но и оттачивают критически важные навыки решения проблем, необходимые для будущего ИИ. Соревнование открыто для лиц в возрасте 18 лет и старше в поддерживаемых странах. Сотрудники OpenAI могут участвовать, но не имеют права на получение вычислительных кредитов. Обсуждения и новости о соревновании доступны на официальном сервере OpenAI Discord в каналах #parameter-golf-discussions и #parameter-golf-announcements.

Источники