تحدي معلمات OpenAI: نماذج صغيرة، رهانات كبيرة في الذكاء الاصطناعي
لطالما فتنتني القيود الخفية والبراعة التي تلهمها. في عالم الذكاء الاصطناعي، حيث تنمو النماذج بشكل أكبر وأكثر كثافة من ناحية الحوسبة، فإن فكرة فعل المزيد بالقليل تبدو وكأنها عمل حيوي، بل متمرد. هذا هو بالضبط ما تهدف OpenAI إلى تعزيزه من خلال تحديها "Parameter Golf".
أطلقت OpenAI مسابقة بحث "Parameter Golf" لتحفيز تطوير نماذج لغوية مدربة مسبقًا الأكثر كفاءة في ظل قيود شديدة. الهدف الأساسي هو تقليل الخسارة المحجوبة على مجموعة بيانات FineWeb ثابتة.
ملخص سريع
إليك نظرة عامة موجزة على تحدي "Parameter Golf" من OpenAI:
- الهدف: تطوير النموذج اللغوي المدرب مسبقًا الأكثر كفاءة.
- المهمة: تقليل الخسارة المحجوبة على مجموعة بيانات FineWeb ثابتة.
- حد الأصول: 16 ميغابايت (16,000,000 بايت عشري) للأوزان + كود التدريب.
- حد الحوسبة: 10 دقائق على 8 وحدات معالجة رسومات NVIDIA H100.
- التقييم: الضغط على مجموعة التحقق FineWeb (بت لكل بايت).
- الجدول الزمني: 18 مارس إلى 30 أبريل 2026.
- الدعم: 1,000,000 دولار أمريكي في أرصدة حوسبة من OpenAI و Runpod.
- الحافز: مقابلات عمل محتملة في OpenAI لأصحاب الأداء المتميز.
التحدي: القيود والقواعد
https://github.com/openai/parameter-golf
كما هو مفصل في GitHub repository, يواجه المشاركون حدًا صارمًا للأصول يبلغ 16 ميغابايت - تحديدًا 16,000,000 بايت عشري، وليس 16 ميبي - تشمل كلاً من أوزان النموذج وكود التدريب. والأهم من ذلك، يجب أن توجد جميع بايتات الكود للتقييم داخل البرنامج النصي train_gpt.py المخصص.
قيود صارمة
بالإضافة إلى قيود الحجم الضيقة، يفرض التحدي ميزانية حوسبة صارمة: بحد أقصى 10 دقائق من وقت التدريب على 8 وحدات معالجة رسومات NVIDIA H100، كما هو محدد في challenge documentation.

المصدر: wccftech.com
يحتوي التحدي على ميزانية حوسبة صارمة، لا تسمح إلا بـ 10 دقائق من وقت التدريب على وحدات معالجة رسومات NVIDIA H100 القوية (8 وحدات).
يركز تقييم الإرسال على أداء الضغط على مجموعة بيانات التحقق FineWeb، مقاسًا بالبت لكل بايت، مع بقاء أداة الترميز مستقلة. أثناء مرحلة التقييم، لا يُسمح بأي تنزيلات خارجية أو الوصول إلى مجموعة بيانات التدريب أو استدعاءات الشبكة، مما يضمن أن الأصل مكتفٍ ذاتيًا وقابل للتكرار بالكامل.
اللعب النظيف والتحقق
ستقوم OpenAI بالتحقق بدقة من أفضل الإدخالات على لوحة المتصدرين وتحتفظ بالحق في استبعاد النتائج غير القابلة للتكرار. في حين أن ضبط المعلمات الفائقة عبر عمليات تشغيل متعددة مسموح به، فإن حقن حوسبة إضافية، مثل القوة الغاشمة للبذور، ممنوع منعًا باتًا. ينص التحدي صراحةً على أن جميع بايتات الكود المحتسبة يجب أن تكون ضمن البرنامج النصي train_gpt.py، ولا يُسمح بتنزيلات خارجية أو استدعاءات شبكة أثناء التقييم.
المشهد التقني واستراتيجيات التحسين
https://openai.com/index/parameter-golf/#credit-form
بدأ التحدي في 18 مارس 2026، وينتهي في 30 أبريل 2026. توفر OpenAI مستودع GitHub يحتوي على نموذج أساسي ومجموعة بيانات ثابتة وسكربتات تقييم لتسهيل المشاركة. يقوم المشاركون بعمل نسخة متفرعة من هذا المستودع، ويعملون على تحسين النموذج ضمن حدود الحجم والحوسبة المحددة، ثم يرسلون طلب سحب (PR) يتضمن الكود والسجلات والنتائج وملخصًا لنهجهم. بمجرد الموافقة، تتم إضافة النتائج المحسنة إلى لوحة متصدرين يتم تحديثها تلقائيًا.
أساليب التحسين
يستخدم المشاركون استراتيجيات تحسين متنوعة، غالبًا ما تندرج ضمن فئتين رئيسيتين: معماريات فريدة وأنظمة ضغط. قد تشمل الابتكارات المعمارية "حوسبة وقت الاختبار"، "ربط المعلمات العدواني"، "التكرار العميق"، أو "التدريب منخفض الرتبة". يمكن أن تشمل استراتيجيات الضغط دقة أقل، تدريب متوافق مع التكميم (QAT)، Bitnets، أو أدوات ترميز جديدة. يمكن فهم التحدي على أنه شكل من أشكال L(N)-optimization، والذي يهدف إلى أقل خسارة مع عدد ثابت من المعلمات. تدعم مجموعة بيانات FineWeb، جنبًا إلى جنب مع مفردات مخفضة بشكل كبير تبلغ 1024 رمزًا، عملية التدريب.
أبرز ما في لوحة المتصدرين
تعرض لوحة المتصدرين أساليب متنوعة ونتائج رائعة. إليك لمحة عن بعض التقنيات التي أحدثت تأثيرًا:
| التقنية | الوصف / المثال | النتيجة (مثال) | المقدم (مثال) |
|---|---|---|---|
| LeakyReLU² + Legal Score-First TTT + Parallel Muon | مزيج معقد من دوال التنشيط والترميز والمعالجة المتوازية. | 1.1194 | abaybektursun |
| EMA (متوسط متحرك أسي) | يستخدم لمتوسط أوزان النموذج لتحقيق الاستقرار في التدريب وتحسين التعميم. | متغير | متنوع |
| GPTQ-lite | طريقة تكميم خفيفة الوزن لتقليل حجم النموذج. | متغير | متنوع |
| RoPE جزئي (تضمينات الموضع الدوارة) | نهج محسّن للترميز الموضعي في المحولات. | متغير | متنوع |
| Int6 MLP3x | استخدام أعداد صحيحة 6 بت للشبكات العصبية متعددة الطبقات (MLPs) مع مضاعف 3x. | متغير | متنوع |
| SmearGate | آلية بوابة غير تقليدية. | متغير | متنوع |
| BigramHash | تقنية تتضمن على الأرجح تجزئة bigrams لتمثيل فعال. | متغير | متنوع |
| التكميم الثلاثي | تكميم الأوزان بثلاث قيم ممكنة (على سبيل المثال، -1، 0، 1). | متغير | متنوع |
يرحب التحدي أيضًا بالإرسالات "غير القياسية" التي تعرض أساليب فريدة أو غير تقليدية، شريطة أن يتم تنفيذها بنجاح. يوجد "مسار حوسبة غير محدود" للإرسالات التي تتجاوز حد التدريب البالغ 10 دقائق ولكنها تقدم رؤى قيمة. يوفر مستودع GitHub أيضًا إرشادات للتدريب على أجهزة Mac مع Apple Silicon باستخدام MLX. استلهم تحدي "Parameter Golf" جزئيًا من تحدي "NanoGPT" السابق.
دعم المشاركين واستراتيجية التوظيف لـ OpenAI
https://openai.com/index/parameter-golf/#credit-form
http://modelcraft.runpod.io/
تتعاون OpenAI مع Runpod لدعم المشاركين، وتقدم ما قيمته 1,000,000 دولار أمريكي في أرصدة الحوسبة من خلال official OpenAI credit form ومبادرة Modelcraft من Runpod.

المصدر: runpod.io
في تعاون، تقدم OpenAI و Runpod ما قيمته 1,000,000 دولار أمريكي في أرصدة الحوسبة للمشاركين، مما يضفي طابعًا ديمقراطيًا على الوصول إلى الموارد الأساسية.
تهدف هذه الشراكة إلى إضفاء طابع ديمقراطي على الوصول إلى الموارد الحاسوبية الأساسية. يمكن مراجعة مثيلات وحدات معالجة الرسومات المتوفرة وأسعارها للحوسبة السحابية من خلال Runpod's deployment console و specific template link.
اكتساب المواهب والأبحاث المستقبلية
https://www.inc.com/ben-sherry/want-a-job-at-openai-take-this-online-challenge-today/91318272
بالإضافة إلى التقدم التقني الفوري، تعمل هذه المبادرة كأداة استراتيجية لاكتساب المواهب لـ OpenAI، كما هو مذكور فيInc.com article. قد يتلقى المشاركون المتميزون دعوات لإجراء مقابلات لوظائف شاغرة داخل الشركة. تخطط OpenAI لتوظيف مجموعة صغيرة من الباحثين المبتدئين في يونيو، بما في ذلك الطلاب والفائزون في الأولمبياد. ستفيد الأفكار المكتسبة من "Parameter Golf" أبحاث OpenAI المستقبلية بشكل مباشر. قد يتم أيضًا عرض الأساليب الناجحة من التحدي علنًا.
خاتمة
يجسد تحدي "Parameter Golf" تحولًا حاسمًا في أبحاث الذكاء الاصطناعي، مع التركيز على الكفاءة والبراعة في عصر تهيمن عليه النماذج المتنامية باستمرار. من خلال دفع حدود ما هو ممكن تحت قيود قصوى، لا يقوم المتنافسون فقط بدفع الحدود التقنية، بل يصقلون أيضًا مهارات حل المشكلات الهامة والحيوية لمستقبل الذكاء الاصطناعي. المسابقة مفتوحة للأفراد الذين تبلغ أعمارهم 18 عامًا أو أكثر في البلدان المدعومة. في حين أن موظفي OpenAI يمكنهم المشاركة، إلا أنهم غير مؤهلين للحصول على أرصدة حوسبة. المناقشات والأخبار حول التحدي متاحة على خادم Discord الرسمي لـ OpenAI في قنوات #parameter-golf-discussions و #parameter-golf-announcements.
ما هو تحدي "Parameter Golf"؟
إنها مسابقة بحثية مفتوحة من OpenAI لتطوير نماذج لغوية مدربة مسبقًا الأكثر كفاءة في ظل قيود صارمة على حجم النموذج وموارد الحوسبة.
ما هي القيود الرئيسية؟
يجب على المشاركين الالتزام بحد أصول يبلغ 16 ميغابايت (للأوزان + كود التدريب) وحد تدريب يبلغ 10 دقائق على 8 وحدات معالجة رسومات NVIDIA H100.
كيف يتم تقييم الإرسالات؟
يتم تقييم الإرسالات بناءً على أداء الضغط (بت لكل بايت) على مجموعة بيانات التحقق FineWeb ثابتة، مما يضمن أن الأصل مكتفٍ ذاتيًا وقابل للتكرار.
ما نوع الدعم المتاح للمشاركين؟
تقدم OpenAI، بالشراكة مع Runpod، ما قيمته 1,000,000 دولار أمريكي في أرصدة الحوسبة لمساعدة المشاركين على الوصول إلى موارد GPU اللازمة.
ما هي فوائد المشاركة؟
بالإضافة إلى تقدم أبحاث الذكاء الاصطناعي، قد يتلقى أفضل المشاركين دعوات لإجراء مقابلات عمل في OpenAI، وقد يتم عرض الأساليب الناجحة علنًا.
المصدر: يوتيوب
مصادر