DeepSeek mHC: Método de entrenamiento explicado
El nuevo artículo de DeepSeek sobre mHC (Manifold-Constrained Hyper-Connections) aborda un aspecto crítico del entrenamiento de LLMs: las conexiones entre layers. Estos elementos discretos deciden en grandes ejecuciones de entrenamiento sobre la estabilidad y escalabilidad de los modelos, influyendo en la propagación de señales y gradientes.
Fuente: Crédito propio
Introducción a mHC
Las conexiones residuales son un estándar desde hace años, ya que hacen que las redes profundas sean entrenables en primer lugar. La idea básica es simple: un layer aprende una corrección adicional, mientras que un camino de salto transmite información sin alterar. Más tarde, el principio de los mapeos de identidad se desarrolló como ancla de estabilidad: si el camino de salto sigue siendo una identidad, las señales y los gradientes pueden propagarse más fácilmente a través de muchos bloques. En el Transformer, el mismo patrón aparece como "Add & Norm" alrededor de sub-layers, incluyendo la adición residual y la normalización. Esta es una razón por la que los stacks de Transformer muy profundos pueden entrenarse de manera estable en la práctica.
El problema surge cuando se quiere más capacidad de expresión y el camino residual ya no se trata solo como "identidad + pequeño delta", sino como un campo de juego para flujos de información más ricos. DeepSeek lo formula directamente: enfoques como Hyper-Connections amplían el ancho del stream residual y varían la conectividad. Ganan rendimiento, pero a costa de la propiedad de mapeo de identidad, con inestabilidad y escalabilidad limitada como efectos secundarios.
Hiper-conexiones (HC)
Las hiper-conexiones (HC) se presentaron como una alternativa a las conexiones residuales clásicas para mitigar conflictos de objetivos típicos en variantes residuales, como entre el desvanecimiento del gradiente y el "colapso de representación". La idea: la red puede ajustar dinámicamente la fuerza de las conexiones entre profundidades y "recablear" las relaciones de layer de manera más flexible, en lugar de simplemente usar el salto directo.
Técnicamente, esto se implementa en el entorno HC, entre otras cosas, al considerar que el stream residual ya no es un único vector por token, sino que se concibe como varios "streams" que interactúan entre sí. DeepSeek describe precisamente esta imagen de n streams: la entrada de una capa se amplía en un factor n y se considera como una matriz con n streams residuales.
El inconveniente reside en las matemáticas: tan pronto como el camino de salto ya no es una "identidad", sino que actúa efectivamente como una matriz aprendible, estas desviaciones se multiplican a través de muchos layers. DeepSeek muestra explícitamente métricas de inestabilidad para composiciones de capas (mapeos residuales compuestos) y lo relaciona con el riesgo de amplificación o atenuación de la señal. "memory wall" como cuello de botella central y demuestra que los costos de acceso a la memoria por token en el layer residual HC pueden aumentar aproximadamente en proporción a n, si no se contrarresta con fusión de kernels.
Fuente: predibase.com
El proceso iterativo de entrenamiento de DeepSeek-V3 a DeepSeek-R1, que utiliza aprendizaje por refuerzo para mejorar el rendimiento.
Método DeepSeek mHC
DeepSeek ha presentado mHC ("Manifold-Constrained Hyper-Connections") como un framework que pretende abordar precisamente estos dos puntos débiles: la estabilidad de la propagación de señales y la sobrecarga del sistema. El artículo se publicó en arXiv el 31 de diciembre de 2025.
La medida central no es una nueva función de pérdida, sino una restricción de las matrices de mapeo residual a un conjunto específico ("manifold") – concretamente, a matrices doblemente estocásticas. DeepSeek define esta condición claramente: entradas no negativas, cada fila y cada columna suman 1, y por lo tanto la matriz pertenece al conjunto de las matrices doblemente estocásticas.
Este conjunto también se describe como el politopo de Birkhoff, y DeepSeek utiliza explícitamente este término. Matemáticamente, el politopo de Birkhoff es la envoltura convexa de matrices de permutación y corresponde exactamente al conjunto de las matrices doblemente estocásticas.
DeepSeek justifica por qué esto es importante en el contexto de mHC con tres propiedades que destacan como relevantes para el entrenamiento:
- Control de norma: La norma espectral de una matriz doblemente estocástica está limitada por 1, lo que hace que el mapeo sea "no expansivo" y debe atenuar la explosión de gradientes.
- Cierre bajo multiplicación: Si cada matriz residual es doblemente estocástica, el mapeo residual compuesto a través de muchos layers también permanece en este conjunto, lo que debe apoyar la estabilidad a través de la profundidad.
- Interpretación geométrica: Como combinación convexa de matrices de permutación, el mapeo residual actúa como una "reorganización y mezcla" controlada entre streams, en lugar de una matriz de amplificación lineal arbitraria.
Para que esta restricción sea práctica en el entrenamiento, se necesita una proyección de "arbitrario" a "doblemente estocástico". DeepSeek utiliza explícitamente el algoritmo de Sinkhorn-Knopp para esto, es decir, escalado iterativo de filas y columnas para equilibrar una matriz hacia doblemente estocástica. La referencia clásica para este procedimiento es Algoritmo de Sinkhorn-Knopp, La referencia clásica para este procedimiento es Sinkhorn & Knopp (1967).
El artículo también contiene una decisión práctica concreta: DeepSeek elige un corte finito (t_max) para las iteraciones y menciona el valor utilizado t_max = 20 en los experimentos.
Fuente: sebastianraschka.com
Descripción detallada del proceso de entrenamiento de DeepSeek-V3 a DeepSeek-R1, destacando la integración de diferentes fuentes de datos.
Beneficios prácticos e implementación
DeepSeek posiciona explícitamente mHC como una extensión de HC que "devuelve" las propiedades de identidad sin renunciar a los beneficios de un diseño multi-stream. La ambición no es solo "más estable", sino "más escalable", es decir, más robusto precisamente donde la composición de layers de lo contrario comienza a fallar.
En el lado del sistema, DeepSeek va inusualmente concreto hacia la ingeniería: describen la fusión de kernels, la reorganización de operaciones RMSNorm, la precisión mixta y la consolidación de varias operaciones con acceso a memoria común en kernels especializados. Para ello, también dan una cifra: en su implementación (con n = 4), informan de una sobrecarga de entrenamiento marginal de 6,7 %.
Esta es la parte que a menudo se pasa por alto en la discusión: un truco arquitectónico que teóricamente se ve bien, aporta poco si carga tanto el ancho de banda de la memoria que los tokens por segundo se desploman. DeepSeek aborda explícitamente estos costos de I/O, incluida la afirmación de que sin kernels fusionados, la demanda de I/O excesiva puede empeorar en gran medida el rendimiento.
Relevancia en el mercado y preguntas abiertas
Business Insider describe mHC como el nuevo enfoque de entrenamiento de DeepSeek y cita a analistas que consideran el paso como un potencial avance para la escalabilidad Allí también aparece el punto que resuena inmediatamente en el mercado: más rendimiento con costos de entrenamiento solo ligeramente más altos sería una relación atractiva si se demuestra reproducible.
The South China Morning Post clasifica el artículo como una señal de las decisiones de ingeniería de DeepSeek en torno a las próximas generaciones de modelos y enfatiza el enfoque en „modelos más grandes por menos“. Yahoo Tech también retoma la clasificación de SCMP y nombra a mHC como parte del intento de entrenar modelos de manera más rentable.
Sin embargo, quedan dos criterios de verificación claros antes de clasificar mHC como un nuevo estándar:
- ¿Qué tan robusta es la ganancia de estabilidad en otras familias de modelos, configuraciones de optimizador, variantes de normalización y estrategias de paralelización, más allá de las configuraciones mostradas en el artículo?
- ¿Cuán fuertemente depende el "beneficio neto" de la calidad de las optimizaciones del sistema, es decir, de si otros equipos logran la fusión de kernels y la ruta de memoria de manera similar?
Si se lee mHC objetivamente, parece menos un "truco mágico" y más una propuesta para someter la topología arquitectónica a duras directrices matemáticas para que la escalabilidad sea más predecible. Precisamente este tipo de cambio puede decidir en la práctica el éxito o el fracaso de una gran ejecución, porque no optimiza en la superficie, sino en la estabilidad de los caminos de información.
mHC es el intento de DeepSeek de "madurar" las hiper-conexiones para ejecuciones de entrenamiento grandes: más comunicación interna entre streams residuales, pero bajo una restricción que debería limitar el crecimiento de señales y gradientes. La palanca real es la proyección a matrices doblemente estocásticas a través de Sinkhorn-Knopp y las propiedades de estabilidad justificadas por ello, combinadas con una afinación de infraestructura muy concreta. Si esto se convierte en una "nueva técnica de entrenamiento de LLM 2026" en el sentido de una adopción amplia, dependerá menos del término mHC que de si otros laboratorios pueden reproducir los resultados y mantener realmente bajos los costos del sistema.