DeepSeek mHC : Méthode d'entraînement expliquée
Le nouveau papier de DeepSeek sur le mHC (Manifold-Constrained Hyper-Connections) aborde un aspect critique de l'entraînement des LLM : les connexions inter-couches. Ces éléments omniprésents sont déterminants lors des grands cycles d'entraînement, influençant la propagation du signal et des gradients pour assurer la stabilité et la scalabilité des modèles.
Source: Représentation propriétaire
Introduction au mHC
Les connexions résiduelles sont standards depuis des années, rendant possibles l'entraînement de réseaux profonds. L'idée de base est simple : une couche apprend une correction supplémentaire, tandis qu'un chemin de saut transmet l'information intacte. Plus tard, le principe des mappings d'identité a été mis en avant comme ancre de stabilité : si le chemin de saut reste une identité, les signaux et gradients peuvent plus facilement se propager à travers de nombreux blocs. Dans le Transformer, le même schéma apparaît sous forme de "Add & Norm" autour des sous-couches, incluant l'addition résiduelle et la normalisation. C'est une des raisons pour lesquelles des piles de Transformers très profondes peuvent être entraînées de manière stable en pratique.
Le problème survient lorsque l'on souhaite plus d'expressivité et que l'on ne traite plus le chemin résiduel simplement comme une "identité + petit delta", mais comme un terrain de jeu pour des flux d'informations plus riches. DeepSeek le formule directement : des approches comme les Hyper-Connections étendent la largeur du flux résiduel et varient la connectivité. Elles gagnent en performance, mais sacrifient la propriété de mapping d'identité, avec comme effet secondaires l'instabilité et une scalabilité limitée.
Hyper-Connections (HC)
Les Hyper-Connections (HC) ont été présentées comme une alternative aux connexions résiduelles classiques, afin d'atténuer des conflits de compromis typiques dans les variantes résiduelles, par exemple entre le gradient vanishing et le "Representation Collapse". L'idée : le réseau peut ajuster dynamiquement la force des connexions entre les profondeurs et "recâbler" plus flexiblement les relations entre couches, au lieu d'utiliser simplement le saut direct.
Techniquement, cela est réalisé dans le cadre HC, entre autres, en considérant que le flux résiduel n'est plus un vecteur unique par token, mais composé de plusieurs "flux" qui interagissent. DeepSeek décrit précisément cette image à n flux : l'entrée d'une couche est étendue par un facteur n et considérée comme une matrice avec n flux résiduels.
Le hic réside dans les mathématiques : dès lors que le chemin de saut n'est plus une "identité", mais agit effectivement comme une matrice apprenable, ces déviations se multiplient sur de nombreuses couches. DeepSeek présente explicitement des métriques d'instabilité pour des compositions de couches (mappings résiduels composés) et relie cela au risque d'amplification ou d'atténuation du signal. le goulot d'étranglement central "memory wall" et montre que les coûts d'accès à la mémoire par token dans la couche résiduelle HC peuvent augmenter approximativement proportionnellement à n, si l'on ne compense pas par la fusion de noyaux.
Source: predibase.com
Le processus d'entraînement itératif de DeepSeek-V3 à DeepSeek-R1, qui utilise l'apprentissage par renforcement pour améliorer les performances.
Méthode DeepSeek mHC
DeepSeek a présenté le mHC ("Manifold-Constrained Hyper-Connections") comme un framework censé aborder ces deux chantiers : stabilité de la propagation du signal et surcharge système. Le papier a été publié sur arXiv le 31 décembre 2025.
La mesure centrale n'est pas une nouvelle fonction de perte, mais une contrainte des matrices de mapping résiduel sur un ensemble spécifique ("Manifold") – concrètement des matrices doublement stochastiques. DeepSeek définit clairement cette condition : entrées non négatives, chaque ligne et chaque colonne somment à 1, et ainsi la matrice appartient à l'ensemble des matrices doublement stochastiques.
Cet ensemble est également décrit comme un polytope de Birkhoff, et DeepSeek utilise ce terme explicitement. Mathématiquement, le polytope de Birkhoff est l'enveloppe convexe des matrices de permutation et correspond précisément à l'ensemble des matrices doublement stochastiques.
DeepSeek justifie l'importance de cela dans le contexte du mHC avec trois propriétés qu'ils soulignent comme pertinentes pour l'entraînement :
- Contrôle de la norme: La norme spectrale d'une matrice doublement stochastique est limitée par 1, ce qui rend le mapping "non expansif" et doit atténuer l'explosion des gradients.
- Fermeture sous multiplication: Si chaque matrice résiduelle est doublement stochastique, le mapping résiduel composé sur de nombreuses couches reste également dans cet ensemble, ce qui devrait soutenir la stabilité en profondeur.
- Interprétation géométrique: En tant que combinaison convexe de matrices de permutation, le mapping résiduel agit comme un "réarrangement et mélange" contrôlé entre les flux, plutôt qu'une matrice d'amplification linéaire arbitraire.
Pour que cette contrainte soit praticable lors de l'entraînement, il faut une projection de "quelconque" sur "doublement stochastique". DeepSeek utilise explicitement l'algorithme de Sinkhorn-Knopp, c'est-à-dire une mise à l'échelle itérative des lignes et des colonnes pour équilibrer une matrice en direction de doublement stochastique. La référence classique pour cette procédure est Algorithme de Sinkhorn-Knopp, La référence classique pour cette procédure est Sinkhorn & Knopp (1967).
Le papier mentionne également une décision pratique concrète : DeepSeek choisit une coupure finie (t_max) pour les itérations et indique t_max = 20 comme valeur utilisée dans les expériences.
Source: sebastianraschka.com
Représentation détaillée du processus d'entraînement de DeepSeek-V3 à DeepSeek-R1, soulignant l'intégration de différentes sources de données.
Avantages pratiques et implémentation
DeepSeek positionne explicitement le mHC comme une extension du HC qui "redonne" les propriétés d'identité sans abandonner les avantages d'une conception multi-flux. L'ambition n'est pas seulement "plus stable", mais "plus scalable" – donc plus robuste précisément là où la composition de couches commence autrement à basculer.
Du point de vue du système, DeepSeek va de manière inhabituellement concrète vers l'ingénierie : ils décrivent la fusion de noyaux, le réarrangement des opérations RMSNorm, la précision mixte et le regroupement de plusieurs opérations avec accès mémoire commun dans des noyaux spécialisés. Ils donnent également un chiffre pour cela : dans leur implémentation (avec n = 4), ils rapportent une surcharge d'entraînement marginale de 6,7 %.
C'est la partie souvent négligée dans la discussion : une astuce architecturale qui semble théoriquement bonne n'apporte pas grand-chose si elle charge la bande passante mémoire au point que les tokens par seconde chutent. DeepSeek aborde précisément ces coûts d'E/S de manière explicite, y compris l'affirmation que sans noyaux fusionnés, la demande excessive d'E/S peut gravement détériorer le débit.
Pertinence marché et questions ouvertes
Business Insider décrit le mHC comme une nouvelle approche d'entraînement de DeepSeek et cite des analystes qui considèrent cette étape comme une percée potentielle pour la scalabilité Là, le point qui suscite immédiatement une réaction sur le marché apparaît : plus de performance pour un coût d'entraînement légèrement plus élevé serait un ratio attractif, s'il se révèle reproductible.
Le South China Morning Post classe le papier comme un signal des décisions d'ingénierie de DeepSeek concernant les prochaines générations de modèles et souligne l'accent mis sur „"bigger models for less"“. Yahoo Tech reprend également l'analyse du SCMP et nomme le mHC comme faisant partie de la tentative de rendre l'entraînement des modèles plus rentable.
Néanmoins, deux points de contrôle clairs subsistent avant de considérer le mHC comme une nouvelle norme :
- Quelle est la robustesse du gain de stabilité par rapport à d'autres familles de modèles, configurations d'optimiseurs, variantes de normalisation et stratégies de parallélisation, au-delà des configurations présentées dans le papier ?
- Dans quelle mesure le "gain net" dépend-il de la qualité des optimisations système, c'est-à-dire si d'autres équipes parviennent à la fusion de noyaux et au chemin mémoire de manière similaire ?
Si l'on lit le mHC sobrement, cela ressemble moins à une "astuce magique" qu'à une proposition de placer la topologie architecturale sous de dures contraintes mathématiques afin de rendre la scalabilité plus prévisible. C'est précisément ce type de changement qui peut, en pratique, décider du succès ou de l'échec d'une grande exécution, car il n'optimise pas en surface, mais la stabilité des chemins d'information.
Le mHC est la tentative de DeepSeek de rendre les Hyper-Connections "adultes" pour les grands cycles d'entraînement : plus de communication interne entre les flux résiduels, mais sous une contrainte qui vise à limiter la croissance du signal et des gradients. Le véritable levier est la projection sur des matrices doublement stochastiques via Sinkhorn-Knopp et les propriétés de stabilité qui en découlent, combinées à un réglage d'infrastructure très concret. La question de savoir si cela deviendra une "nouvelle technique d'entraînement LLM 2026" au sens d'une adoption large dépend moins du terme mHC que de la capacité d'autres laboratoires à reproduire les résultats et à maintenir les coûts système réellement bas.