DeepSeek mHC: Metodo di addestramento spiegato
Il nuovo paper di DeepSeek su mHC (Manifold-Constrained Hyper-Connections) affronta un aspetto critico dell'addestramento dei LLM: le connessioni tra i layer. Questi elementi apparentemente insignificanti decidono, durante le grandi sessioni di addestramento, la stabilità e la scalabilità dei modelli, influenzando la propagazione del segnale e del gradiente.
Fonte: Rappresentazione autoprodotta
Introduzione a mHC
Le connessioni residue sono state uno standard per anni, poiché rendono i reti profonde addestrabili. L'idea di base è semplice: un layer apprende una correzione aggiuntiva, mentre un percorso di skip trasporta le informazioni inalterate. Successivamente, il principio delle mappature identitarie è stato elaborato come ancora di stabilità: se il percorso di skip rimane un'identità, segnali e gradienti possono propagarsi più facilmente attraverso molti blocchi. Nel Transformer, lo stesso schema appare come "Add & Norm" attorno ai sub-layer, includendo addizione residua e normalizzazione. Questo è uno dei motivi per cui stack Transformer molto profondi possono essere addestrati stabilmente in pratica.
Il problema sorge quando si desidera maggiore espressività e non si tratta più il percorso residuo solo come "identità + piccolo delta", ma come terreno di gioco per flussi di informazioni più ricchi. DeepSeek lo formula direttamente: approcci come Hyper-Connections ampliano la larghezza dello stream residuo e variano la connettività. Guadagnano prestazioni, ma sacrificano la proprietà di mappatura identitaria, con instabilità e scalabilità limitata come effetto collaterale.
Hyper-Connections (HC)
Le Hyper-Connections (HC) sono state introdotte come alternativa alle classiche connessioni residue, per mitigare i tipici conflitti tra gradienti evanescenti e "Representation Collapse". L'idea: la rete può regolare dinamicamente la forza delle connessioni tra profondità e "ricablare" le relazioni tra layer in modo più flessibile, invece di utilizzare solo lo skip diretto.
Tecnicamente, questo viene realizzato nell'impostazione HC, tra l'altro, facendo in modo che lo stream residuo non sia più un singolo vettore per token, ma venga concepito come più "stream" che interagiscono tra loro. DeepSeek descrive esattamente questa immagine n-stream: l'input di uno strato viene ampliato di un fattore n e considerato come una matrice con n stream residui.
Il problema sta nella matematica: non appena il percorso di skip non è più "identità", ma agisce effettivamente come una matrice addestrabile, queste deviazioni si moltiplicano attraverso molti layer. DeepSeek mostra esplicitamente metriche di instabilità per composizioni di layer (mappature residue composte) e le collega al rischio di amplificazione o smorzamento del segnale. "memory wall" come collo di bottiglia centrale e dimostra che i costi di accesso alla memoria per token nel layer residuo HC possono aumentare grossolanamente in proporzione a n, se non si interviene con il kernel fusion.
Fonte: predibase.com
Il processo iterativo di addestramento da DeepSeek-V3 a DeepSeek-R1, che utilizza il Reinforcement Learning per migliorare le prestazioni.
Metodo DeepSeek mHC
DeepSeek ha presentato mHC ("Manifold-Constrained Hyper-Connections") come framework che mira ad affrontare proprio questi due problemi: la stabilità della propagazione del segnale e l'overhead del sistema. Il paper è stato pubblicato su arXiv il 31 dicembre 2025.
La misura centrale non è una nuova funzione di loss, ma una limitazione delle matrici di mappatura residua a un insieme specifico ("manifold") - in particolare a matrici doppiamente stocastiche. DeepSeek definisce chiaramente questa condizione: elementi non negativi, ogni riga e ogni colonna sommano a 1, e quindi la matrice appartiene all'insieme delle matrici doppiamente stocastiche.
Questo insieme viene descritto anche come politopo di Birkhoff, e DeepSeek utilizza esplicitamente questo termine. Matematicamente, il politopo di Birkhoff è l'inviluppo convesso delle matrici di permutazione e corrisponde esattamente all'insieme delle matrici doppiamente stocastiche.
DeepSeek giustifica perché ciò è importante nel contesto mHC con tre proprietà che evidenziano come rilevanti per l'addestramento:
- Controllo della norma: La norma spettrale di una matrice doppiamente stocastica è limitata da 1, rendendo la mappatura "non espansiva" e presumibilmente smorzando l'esplosione dei gradienti.
- Chiusura sotto moltiplicazione: Se ogni matrice residua è doppiamente stocastica, anche la mappatura residua composta attraverso molti layer rimane in questo insieme, il che dovrebbe supportare la stabilità in profondità.
- Interpretazione geometrica: Essendo una combinazione convessa di matrici di permutazione, la mappatura residua agisce come un "riordinamento e mescolamento" controllato tra gli stream, piuttosto che come una matrice amplificatrice lineare arbitraria.
Affinché questa limitazione sia praticabile durante l'addestramento, è necessaria una proiezione da "arbitrario" a "doppiamente stocastico". DeepSeek utilizza esplicitamente l'algoritmo di Sinkhorn-Knopp, ovvero il ridimensionamento iterativo di righe e colonne per bilanciare una matrice verso il doppiamente stocastico. Il riferimento classico per questa procedura è Algoritmo di Sinkhorn-Knopp, Il riferimento classico per questa procedura è Sinkhorn & Knopp (1967).
Nel paper si trova anche una decisione pratica concreta: DeepSeek sceglie un cutoff finito (t_max) per le iterazioni e indica il valore t_max = 20 utilizzato negli esperimenti.
Fonte: sebastianraschka.com
Rappresentazione dettagliata del processo di addestramento da DeepSeek-V3 a DeepSeek-R1, che evidenzia l'integrazione di diverse fonti di dati.
Vantaggi pratici e implementazione
DeepSeek posiziona esplicitamente mHC come un'estensione di HC che "riporta indietro" le proprietà identitarie, senza rinunciare ai vantaggi di un design multi-stream. L'obiettivo non è solo "più stabile", ma "più scalabile", ovvero più robusto proprio lì dove la composizione dei layer altrimenti inizia a vacillare.
Sul lato sistema, DeepSeek entra in modo insolitamente concreto nell'ingegneria: descrivono il kernel fusion, la riorganizzazione delle operazioni RMSNorm, la precisione mista e l'aggregazione di più operazioni con accesso alla memoria comune in kernel specializzati. Forniscono anche un numero: nella loro implementazione (con n = 4) riportano un overhead di addestramento marginale di 6,7 %.
Questa è la parte che spesso viene trascurata nella discussione: un trucco architetturale che sembra teoricamente valido, porta poco se sovraccarica così tanto la larghezza di banda della memoria che i token al secondo crollano. DeepSeek affronta proprio questi costi I/O in modo esplicito, inclusa l'affermazione che senza kernel fusi, l'eccessiva richiesta di I/O può peggiorare drasticamente l'throughput.
Rilevanza di mercato e domande aperte
Business Insider descrive mHC come un nuovo approccio di addestramento di DeepSeek e cita analisti che considerano questo passo come un potenziale svolta per la scalabilità Lì emerge anche il punto che risuona immediatamente nel mercato: più prestazioni a costi di addestramento solo leggermente superiori sarebbe un rapporto attraente, se si dimostra riproducibile.
Il South China Morning Post inquadra il paper come un segnale per le decisioni ingegneristiche di DeepSeek relative alle prossime generazioni di modelli, sottolineando il focus „modelli più grandi per meno“. Anche Yahoo Tech riprende l'inquadramento dello SCMP e definisce mHC parte del tentativo di addestrare modelli in modo più conveniente.
Tuttavia, rimangono due chiari punti di verifica prima di poter definire mHC un nuovo standard:
- Quanto è robusto il guadagno di stabilità rispetto ad altre famiglie di modelli, configurazioni di optimizer, varianti di normalizzazione e strategie di parallelizzazione, al di là delle configurazioni mostrate nel paper?
- Quanto dipende il "vantaggio netto" dalla qualità delle ottimizzazioni di sistema, ovvero se altri team riescono a ottenere un kernel fusion e un percorso di memoria simili?
Se si legge mHC in modo sobrio, sembra meno un "trucco magico" e più una proposta di porre la topologia architettonica sotto rigide guide matematiche, in modo che la scalabilità diventi più pianificabile. Proprio questo tipo di cambiamento può decidere in pratica il successo o il fallimento di una grande esecuzione, perché non ottimizza in superficie, ma la stabilità dei percorsi informativi.
mHC è il tentativo di DeepSeek di "far maturare" le Hyper-Connections per grandi sessioni di addestramento: più comunicazione interna tra gli stream residui, ma sotto un vincolo che dovrebbe limitare la crescita del segnale e del gradiente. Il vero leva è la proiezione su matrici doppiamente stocastiche tramite Sinkhorn-Knopp e le conseguenti proprietà di stabilità, combinate con un tuning infrastrutturale molto concreto. Se questo si trasformerà in una "nuova tecnica di addestramento LLM 2026" in senso lato, dipenderà meno dal concetto mHC e più dal fatto se altri laboratori riusciranno a riprodurre i risultati e a mantenere i costi di sistema davvero bassi.