DeepSeek mHC: شرح طريقة التدريب
تبحث ورقة DeepSeek الجديدة حول mHC (روابط فائقة مقيدة بالبنية المتنوعة) جانبًا حاسمًا في تدريب نماذج اللغة الكبيرة: الروابط بين الطبقات. هذه العناصر غير الملحوظة هي التي تحدد، في عمليات التدريب الكبيرة، استقرار النماذج وقابليتها للتوسع من خلال التأثير على انتشار الإشارات وتدرجات الانحدار.
المصدر: تمثيل خاص
مقدمة إلى mHC
لطالما كانت الوصلات المتبقية (Residual Connections) هي المعيار لسنوات، لأنها تجعل تدريب الشبكات العميقة ممكنًا في المقام الأول. الفكرة الأساسية بسيطة: تتعلم طبقة تصحيحًا إضافيًا، بينما ينقل مسار التخطي (Skip-path) المعلومات سليمة. لاحقًا، تم تطوير مبدأ تعيين الهوية (Identity-mappings) كمرساة للاستقرار: إذا ظل مسار التخطي هو الهوية، يمكن للإشارات وتدرجات الانحدار أن تنتشر بسهولة عبر العديد من الكتل. في Transformer، يظهر نفس النمط كـ "Add & Norm" حول الطبقات الفرعية، بما في ذلك الجمع المتبقي والتطبيع. هذا هو أحد الأسباب التي تجعل مكدسات Transformer العميقة جدًا قابلة للتدريب بشكل مستقر في الممارسة العملية.
تنشأ المشكلة عندما تريد قوة تعبيرية أكبر ولا تعامل مسار التخطي على أنه مجرد "الهوية + دلتا صغيرة"، بل كملعب لتدفقات معلومات أغنى. تصيغ DeepSeek ذلك مباشرة: مقاربات مثل الروابط الفائقة توسع عرض تيار الاتصال المتبقي وتنوع الاتصال. إنها تكتسب أداءً، لكنها تضحي بخصائص تعيين الهوية - مع عدم الاستقرار وقابلية التوسع المحدودة كنتيجة جانبية.
الروابط الفائقة (HC)
تم تقديم الروابط الفائقة (HC) كبديل للوصلات المتبقية الكلاسيكية لتخفيف تضاربات الهدف النموذجية في متغيرات الاتصال المتبقي، مثل بين اختفاء تدرج الانحدار ("Gradient-Vanishing") و"انهيار التمثيل" ("Representation Collapse"). الفكرة: يُسمح للشبكة بتعديل قوة الروابط بين الأعماق ديناميكيًا وإعادة توصيل علاقات الطبقات بمرونة أكبر، بدلاً من مجرد استخدام مسار التخطي المباشر بشكل صارم.
تقنيًا، يتم تحقيق ذلك في إعداد HC، من بين أمور أخرى، من خلال أن تيار الاتصال المتبقي لم يعد متجهًا واحدًا لكل رمز، بل يُنظر إليه كـ "تيارات" متعددة تتفاعل مع بعضها البعض. تصف DeepSeek بالضبط هذه الصورة ذات n-Streams: يتم توسيع إدخال الطبقة بعامل n ويتم اعتباره مصفوفة تحتوي على n تيارات متبقية.
تكمن المشكلة في الرياضيات: بمجرد أن لا يعود مسار التخطي "الهوية"، ولكنه يعمل فعليًا كمصفوفة قابلة للتعلم، تتضاعف هذه الانحرافات عبر العديد من الطبقات. توضح DeepSeek مقاييس عدم الاستقرار بشكل صريح لتكوينات الطبقات المتراكبة (خرائط متبقية مركبة) وتربط ذلك بخطر تضخيم أو تخفيض الإشارة. "جدار الذاكرة" كعنق زجاجة مركزي وتظهر أن تكاليف الوصول إلى الذاكرة لكل رمز في طبقة RC المستندة إلى HC يمكن أن تزداد بشكل تقريبي بما يتناسب مع n، إذا لم يتم اتخاذ إجراء مضاد مع اندماج النوى (Kernel Fusion).
المصدر: predibase.com
عملية التدريب التكراري من DeepSeek-V3 إلى DeepSeek-R1، التي تستخدم التعلم المعزز لزيادة الأداء.
طريقة DeepSeek mHC
قدمت DeepSeek mHC (روابط فائقة مقيدة بالبنية المتنوعة) كإطار عمل لمعالجة هاتين المشكلتين بالضبط: استقرار انتشار الإشارة والنفقات العامة للنظام. نُشرت الورقة في 31 ديسمبر 2025 على arXiv.
الإجراء المركزي ليس وظيفة خسارة جديدة، بل تقييد لمصفوفات تعيين الاتصال المتبقي على مجموعة معينة ("البنية المتنوعة") - على وجه التحديد، إلى المصفوفات العشوائية المزدوجة (doubly stochastic matrices). تحدد DeepSeek هذا الشرط بوضوح: إدخالات غير سالبة، كل صف وكل عمود مجموعهما 1، وبالتالي تقع المصفوفة ضمن مجموعة المصفوفات العشوائية المزدوجة.
توصف هذه المجموعة أيضًا بأنها متعددة السطوح بيركهوف (Birkhoff polytope)، وتستخدم DeepSeek هذا المصطلح صراحةً. رياضيًا، متعددة السطوح بيركهوف هي الغلاف المحدب لمصفوفات التبديل (permutation matrices) وتتوافق تمامًا مع مجموعة المصفوفات العشوائية المزدوجة.
تعلل DeepSeek سبب أهمية ذلك في سياق mHC بثلاث خصائص تسلط الضوء عليها كخصائص ذات صلة بالتدريب:
- التحكم في المعيار: معيار المصفوفة العشوائية المزدوجة مقيد بـ 1، مما يجعل التعيين "غير متوسع" (non-expansive) ويهدف إلى تخفيف انفجار تدرج الانحدار (Gradient Explosion).
- الإغلاق تحت الضرب: إذا كانت كل مصفوفة اتصال متبقي عشوائية مزدوجة، فإن التعيين المتبقي المركب عبر العديد من الطبقات يظل ضمن هذه المجموعة، مما يدعم الاستقرار عبر العمق.
- تفسير هندسي: كمزيج محدب من مصفوفات التبديل، يعمل تعيين الاتصال المتبقي كـ "إعادة ترتيب وخلط" متحكم فيه بين التيارات، بدلاً من كونه مصفوفة تضخيم خطي عشوائية.
لجعل هذا التقييد عمليًا في التدريب، تحتاج إلى إسقاط من "عشوائي" إلى "عشوائي مزدوج". تستخدم DeepSeek لهذا الغرض صراحةً خوارزمية Sinkhorn-Knopp، أي القياس التكراري للصفوف والأعمدة لموازنة المصفوفة في اتجاه العشوائية المزدوجة. المرجع الكلاسيكي لهذه الطريقة هو خوارزمية Sinkhorn-Knopp, المرجع الكلاسيكي لهذه الطريقة هو Sinkhorn & Knopp (1967).
توجد أيضًا في الورقة قرار عملي محدد: تختار DeepSeek حدًا أقصى (t_max) للتكرارات، وتذكر t_max = 20 كقيمة مستخدمة في التجارب.
المصدر: sebastianraschka.com
وصف تفصيلي لعملية التدريب من DeepSeek-V3 إلى DeepSeek-R1، يسلط الضوء على دمج مصادر بيانات مختلفة.
الفوائد العملية والتنفيذ
تضع DeepSeek mHC صراحةً كتوسع لـ HC، يعيد "خصائص الهوية" دون التخلي عن مزايا تصميم متعدد التيارات. الهدف ليس فقط "أكثر استقرارًا"، بل "أكثر قابلية للتوسع" - أي أكثر متانة بالضبط حيث تبدأ تركيبة الطبقات في الانهيار.
على جانب النظام، تتجه DeepSeek بشكل ملموس نحو الهندسة: فهي تصف اندماج النوى (Kernel Fusion)، وإعادة ترتيب عمليات RMSNorm، والدقة المختلطة، ودمج عمليات متعددة مع وصول مشترك إلى الذاكرة في نوى متخصصة. إنها تقدم رقمًا لذلك أيضًا: في تنفيذها (مع n = 4)، تشير إلى نفقات تدريب هامشية تبلغ 6,7 %.
هذا هو الجزء الذي غالبًا ما يتم تجاهله في المناقشة: خدعة هندسية تبدو جيدة نظريًا لا تفيد كثيرًا إذا كانت تضغط على عرض النطاق الترددي للذاكرة لدرجة أن الرموز لكل ثانية تنهار. تعالج DeepSeek بالضبط تكاليف الإدخال/الإخراج هذه بشكل صريح، بما في ذلك الادعاء بأنه بدون نوى مدمجة، يمكن أن يؤدي الطلب المفرط على الإدخال/الإخراج إلى تدهور كبير في الإنتاجية.
الأهمية السوقية والأسئلة المفتوحة
تصف Business Insider mHC كنهج تدريب جديد من DeepSeek وتستشهد بتحليلات ترى أن هذه الخطوة قد تكون اختراقًا للتوسع هناك أيضًا نقطة تثير استجابة فورية في السوق: المزيد من الأداء بتكلفة تدريب أعلى قليلاً سيكون نسبة جذابة إذا أثبتت أنها قابلة للتكرار.
تدرج صحيفة South China Morning Post الورقة كإشارة إلى قرارات هندسة DeepSeek المتعلقة بأجيال النماذج القادمة وتؤكد على التركيز „نماذج أكبر مقابل تكلفة أقل“. تتبنى Yahoo Tech أيضًا تصنيف SCMP وتسميها mHC كجزء من محاولة تدريب النماذج بتكلفة أكثر كفاءة.
ومع ذلك، تظل هناك نقطتان مرجعيتان واضحتان قبل تصنيف mHC كمعيار جديد:
- ما مدى قوة مكاسب الاستقرار عبر عائلات نماذج أخرى، وإعدادات المحسن (Optimizer setups)، ومتغيرات التطبيع، واستراتيجيات التوازي، بخلاف التكوينات المعروضة في الورقة؟
- إلى أي مدى يعتمد "الربح الصافي" على جودة التحسينات النظامية، أي ما إذا كانت الفرق الأخرى يمكنها تحقيق اندماج النوى ومسار الذاكرة بنفس الجودة؟
إذا قرأت mHC بشكل موضوعي، فإنها تبدو أقل كـ "خدعة سحرية" وأكثر كـ اقتراح لوضع طوبولوجيا الهيكل تحت قيود رياضية صارمة لجعل التوسع أكثر قابلية للتنبؤ. هذا النوع تحديدًا من التغيير يمكن أن يحدد في الممارسة العملية نجاح أو فشل عملية تشغيل كبيرة، لأنه لا يحسن على السطح، بل يحسن استقرار مسارات المعلومات.
mHC هي محاولة DeepSeek لجعل الروابط الفائقة "ناضجة" لعمليات التدريب الكبيرة: المزيد من الاتصال الداخلي بين تيارات الاتصال المتبقي، ولكن ضمن قيد يهدف إلى الحد من نمو الإشارة وتدرج الانحدار. المحرك الحقيقي هو الإسقاط على المصفوفات العشوائية المزدوجة عبر Sinkhorn-Knopp والخصائص الاستقرارية المبررة بذلك، جنبًا إلى جنب مع الضبط الدقيق جدًا للبنية التحتية. ما إذا كان سيصبح "تقنية تدريب LLM جديدة لعام 2026" بمعنى التبني الواسع، يعتمد أقل على مصطلح mHC نفسه، وأكثر على ما إذا كانت المختبرات الأخرى ستتمكن من تكرار النتائج وإبقاء تكاليف النظام صغيرة حقًا.