DeepSeek mHC: Método de Treinamento Explicado
O novo paper da DeepSeek sobre mHC (Manifold-Constrained Hyper-Connections) aborda um aspecto crítico do treinamento de LLMs: as conexões entre as camadas. Esses elementos discretos determinam a estabilidade e escalabilidade dos modelos em grandes rodadas de treinamento, influenciando a propagação de sinais e gradientes.
Fonte: Representação Própria
Introdução ao mHC
As Residual Connections são padrão há anos, pois tornam as redes profundas treináveis em primeiro lugar. A ideia básica é simples: uma camada aprende uma correção adicional, enquanto um caminho de salto transporta informações sem alteração. Mais tarde, o princípio das Identity Mappings foi desenvolvido como âncora de estabilidade: se o caminho de salto permanecer uma identidade, os sinais e gradientes podem propagar mais facilmente por muitos blocos. No Transformer, o mesmo padrão aparece como "Add & Norm" em torno das sub-camadas, incluindo adição residual e normalização. Esta é uma razão pela qual pilhas de Transformer muito profundas podem ser treinadas de forma estável na prática.
O problema surge quando se deseja mais expressividade e o caminho residual não é mais tratado apenas como "identidade + pequeno delta", mas como um playground para fluxos de informação mais ricos. A DeepSeek formula isso diretamente: abordagens como Hyper-Connections expandem a largura do fluxo residual e variam a conectividade. Eles ganham desempenho, mas sacrificam a propriedade de Identity Mapping – com instabilidade e escalabilidade limitada como efeitos colaterais.
Hyper-Connections (HC)
Hyper-Connections (HC) foram apresentadas como uma alternativa às conexões residuais clássicas para mitigar conflitos de objetivos típicos em variantes residuais, como entre vanishing gradients e representation collapse. A ideia: a rede pode ajustar a força das conexões entre profundidades de forma mais dinâmica e "re-cabear" as relações de camada de forma mais flexível, em vez de usar apenas o salto direto de forma rígida.
Tecnicamente, isso é realizado no cenário HC, entre outras coisas, pelo fato de que o fluxo residual não é mais um único vetor por token, mas é concebido como vários "fluxos" que interagem entre si. A DeepSeek descreve exatamente essa imagem de n-fluxos: a entrada de uma camada é expandida por um fator n e considerada como uma matriz com n fluxos residuais.
O problema reside na matemática: assim que o caminho de salto não é mais uma "identidade", mas efetivamente atua como uma matriz treinável, esses desvios se multiplicam por muitas camadas. A DeepSeek demonstra explicitamente métricas de instabilidade para compositiones de camadas (mapeamentos residuais compostos) e a conecta com o risco de amplificação ou atenuação de sinal. "memory wall" como um gargalo central e mostra que os custos de acesso à memória por token no layer residual HC podem aumentar aproximadamente proporcionalmente a n, se não for contrariado com fusão de kernels.
Fonte: predibase.com
O processo iterativo de treinamento do DeepSeek-V3 para DeepSeek-R1, que usa Reinforcement Learning para melhorar o desempenho.
Método DeepSeek mHC
A DeepSeek apresentou o mHC ("Manifold-Constrained Hyper-Connections") como um framework que visa abordar justamente essas duas áreas de preocupação: estabilidade da propagação de sinais e overhead do sistema. O paper foi publicado em 31 de dezembro de 2025 no arXiv.
A medida central não é uma nova função de perda, mas uma restrição das matrizes de mapeamento residual a um conjunto específico ("manifold") – concretamente, a matrizes duplamente estocásticas. A DeepSeek define claramente essa condição: entradas não negativas, cada linha e cada coluna somam 1, e assim a matriz pertence ao conjunto das matrizes duplamente estocásticas.
Este conjunto também é descrito como o Polítopo de Birkhoff, e a DeepSeek usa o termo explicitamente. Matematicamente, o Polítopo de Birkhoff é o invólucro convexo de matrizes de permutação e corresponde exatamente ao conjunto das matrizes duplamente estocásticas.
A DeepSeek justifica por que isso é importante no contexto mHC com três propriedades que eles destacam como relevantes para o treinamento:
- Controle da Norma: A norma espectral de uma matriz duplamente estocástica é limitada por 1, tornando o mapeamento "não expansivo" e supostamente atenuando a explosão de gradientes.
- Fechamento sob Multiplicação: Se cada matriz residual é duplamente estocástica, o mapeamento residual composto por muitas camadas também permanece nesse conjunto, o que supostamente suporta a estabilidade através da profundidade.
- Interpretação Geométrica: Como uma combinação convexa de matrizes de permutação, o mapeamento residual atua como uma "reordenação e mistura" controlada entre os fluxos, em vez de uma matriz amplificadora linear arbitrária.
Para que essa restrição seja praticável no treinamento, é necessária uma projeção de "qualquer" para "duplamente estocástico". A DeepSeek utiliza explicitamente o algoritmo de Sinkhorn-Knopp para isso, ou seja, a escalonamento iterativo de linhas e colunas para equilibrar uma matriz em direção a ser duplamente estocástica. A referência clássica para este procedimento é Algoritmo de Sinkhorn-Knopp, A referência clássica para este procedimento é Sinkhorn & Knopp (1967).
O paper também inclui uma decisão prática específica: a DeepSeek escolhe um corte finito (t_max) para as iterações e cita o valor usado de t_max = 20 nos experimentos.
Fonte: sebastianraschka.com
Descrição detalhada do processo de treinamento do DeepSeek-V3 para DeepSeek-R1, destacando a integração de diferentes fontes de dados.
Vantagens Práticas e Implementação
A DeepSeek posiciona explicitamente o mHC como uma extensão do HC que "traz de volta" as propriedades de identidade sem abrir mão das vantagens de um design multi-fluxo. A ambição não é apenas ser "mais estável", mas também "mais escalável" – ou seja, mais robusto exatamente onde a composição de camadas normalmente começa a falhar.
Do lado do sistema, a DeepSeek avança de forma incomumente concreta em direção à engenharia: eles descrevem fusão de kernels, reordenação de operações RMSNorm, precisão mista e a combinação de várias operações com acesso à memória comum em kernels especializados. Eles fornecem um número para isso: em sua implementação (com n = 4), eles relatam um overhead de treinamento marginal de 6,7 %.
Esta é a parte que muitas vezes é negligenciada na discussão: um truque arquitetural que parece bom teoricamente, pouco adianta se sobrecarregar a largura de banda da memória a ponto de os tokens por segundo despencarem. A DeepSeek aborda explicitamente esses custos de I/O, incluindo a afirmação de que, sem kernels fundidos, a demanda excessiva de I/O pode piorar significativamente o throughput.
Relevância de Mercado e Questões Abertas
O Business Insider descreve o mHC como uma nova abordagem de treinamento da DeepSeek e cita analistas que veem o passo como um potencial avanço para o escalonamento Lá também aparece o ponto que gera ressonância imediata no mercado: mais desempenho com custos de treinamento apenas ligeiramente mais altos seria uma relação atraente, se se mostrar reproduzível.
O South China Morning Post classifica o paper como um sinal das decisões de engenharia da DeepSeek em torno de futuras gerações de modelos e enfatiza o foco em „modelos maiores por menos“. O Yahoo Tech também adota a classificação do SCMP e nomeia o mHC como parte do esforço para treinar modelos de forma mais econômica.
No entanto, permanecem dois critérios claros antes que o mHC possa ser classificado como um novo padrão:
- Quão robusto é o ganho de estabilidade em outras famílias de modelos, configurações de otimizadores, variantes de normalização e estratégias de paralelização, além das configurações mostradas no paper?
- Quão dependente é a "vantagem líquida" da qualidade das otimizações do sistema, ou seja, se outras equipes conseguem otimizar a fusão de kernels e o caminho de memória de forma semelhante?
Lendo o mHC de forma sóbria, parece menos uma "mágica" e mais uma proposta para colocar a topologia da arquitetura sob rigorosas diretrizes matemáticas para tornar o escalonamento mais previsível. Exatamente esse tipo de mudança pode decidir na prática o sucesso ou o fracasso de uma grande rodada, pois não otimiza na superfície, mas na estabilidade dos caminhos de informação.
O mHC é a tentativa da DeepSeek de tornar as Hyper-Connections "adultas" para grandes rodadas de treinamento: mais comunicação interna entre os fluxos residuais, mas sob uma restrição que visa limitar o crescimento do sinal e do gradiente. O verdadeiro alavancagem é a projeção em matrizes duplamente estocásticas via Sinkhorn-Knopp e as propriedades de estabilidade daí decorrentes, combinadas com um ajuste de infraestrutura muito concreto. Se isso se tornará uma "nova técnica de treinamento de LLM de 2026" no sentido de ampla adoção, dependerá menos do termo mHC e mais se outros laboratórios conseguirem reproduzir os resultados e manter os custos do sistema realmente baixos.