DeepSeek mHC: Manifold-Constrained Hyper-Connections

Viacheslav Dubrov

2026-01-21 · Bijgewerkt 2026-07-15 · 9 min · Modelengineering

Automatische vertaling Dit artikel is automatisch vertaald vanuit de oorspronkelijke Engelse versie.

Moderne deep learning is gebaseerd op de residual connection. Hyper-Connections (HC) verkennen een andere architecturale dimensie: maak de residual state breder met meerdere interacterende streams. Het paper van DeepSeek over Manifold-Constrained Hyper-Connections (mHC) onderzoekt hoe je die routing stabiel houdt bij grotere trainingsschalen.

Deze post begint met standaard residual connections en voegt daarna Hyper-Connections en de instabiliteit die ze veroorzaken toe. De mHC-constraint en de implementatiekosten komen aan het einde aan bod.

Waarom residual connections werken

Het depth-probleem

Meer lagen kunnen de capaciteit vergroten, maar maken optimalisatie en signaalpropagatie ook moeilijker. Afhankelijk van initialisatie, normalization en architectuur kunnen forward activations of backward gradients over de diepte afnemen, toenemen of slecht geconditioneerd raken.

De residual-oplossing

Het ResNet-paper introduceerde een eenvoudige oplossing. In plaats van een directe mapping te leren, leer je de residual: het verschil met identity:

De nuttige eigenschap is de identity shortcut. Wanneer de residual function $F(x)$ nul oplevert, wordt de laag een pass-through. Daaruit volgen twee consequenties:

1. Een directe gradient-term: backpropagation bevat een pad via de identity-component.
2. Een eenvoudige fallback-mapping: de residual branch kan dicht bij nul blijven wanneer een laag de state maar weinig hoeft te veranderen.

Dit elimineert niet elk optimalisatieprobleem, maar maakte aanzienlijk diepere netwerken praktisch.

Hoe layer normalization het residual pad verandert

Transformers voegden een nieuwe variabele toe: waar plaats je Layer Normalization (LN)? Die keuze lijkt klein, maar is dat niet.

De ResiDual-architectuur combineert Pre-LN- en Post-LN-residual paths. HC maakt de residual state in plaats daarvan breder.

Hyper-Connections voegen parallelle residual streams toe

Hyper-Connections (HC) vergroot de width van de residual stream in plaats van de depth te verhogen.

Wat een stream betekent

In een standaard Transformer heeft elke token een state van $d$ dimensies die door de blocks gaat. Aan het begin van het netwerk repliceert HC die input embedding $n$ keer, waarbij $n$ de “expansion rate” is, doorgaans 4. De hidden state met $d$ dimensies wordt een $n \times d$ “hyper hidden matrix”.

In Hyper-Connections is een stream een van die $n$ parallelle instanties van de state.

De kopieën beginnen identiek en divergeren daarna doordat learned maps de streams lezen, beschrijven en mengen. Het paper interpreteert ze als meerdere connection patterns over de depth; het vereist niet dat elke stream een vaste, voor mensen leesbare rol krijgt.

Kernmechanismen

In plaats van één residual pathway houdt HC $n$ parallelle streams actief door het hele netwerk. Bij elke transformer block worden drie operaties uitgevoerd, elk aangestuurd door kleine learnable weights:

1. Read ($\mathcal{H}^{pre}$): aggregeer de $n$ streams tot de input met $d$ dimensies die door de attention- of feed-forward block wordt gebruikt.
2. Write ($\mathcal{H}^{post}$): map de output van die block terug naar updates voor de $n$ streams.
3. Mix ($\mathcal{H}^{res}$): pas een residual map van $n \times n$ toe voordat de block-update wordt opgeteld.

Deze maps kunnen bestaan uit statische parameters plus input-dependent termen. De residual map is cruciaal voor de stabiliteit, omdat die herhaaldelijk over de depth wordt vermenigvuldigd.

Wat het HC-paper rapporteert

Het HC-paper rapporteert 1,8× snellere convergence voor zijn OLMoE-1B-7B DHC×4-configuratie ten opzichte van de baseline, plus downstream gains bij 500B tokens (Section 1). Dit betreft één geëvalueerde configuratie en is geen algemene speed multiplier voor vier streams.

Het scaling-probleem

Het mHC-paper rapporteert instabiliteit wanneer unconstrained HC wordt opgeschaald naar zijn 27B-setup.

Waarom unconstrained HC instabiel kan worden

Dezelfde unconstrained maps die HC flexibel maken, verwijderen ook het gegarandeerde identity path dat residuals eenvoudig trainbaar maakt.

Het composite-map-probleem

Bij standaard residuals:

$x_{l+1} = x_l + F(x_l)$

Wanneer $F(x) \rightarrow 0$ geldt, is dit identity: $x_{l+1} = x_l$. Het signaal gaat ongewijzigd door.

Bij Hyper-Connections bevat het residual path een matrixvermenigvuldiging:

$x_{l+1} = \mathbf{H}^{res}_l \cdot x_l + \dots$

Over L lagen wordt het signaal:

$x_L = \mathbf{H}^{res}_L \times \mathbf{H}^{res}_{L-1} \times \dots \times \mathbf{H}^{res}_1 \times x_0$

Het gedrag hangt af van de composite matrix, niet van de vraag of individuele entries groter of kleiner dan 1 zijn. Wanneer opeenvolgende maps langs een uitgelijnde richting een operator gain groter dan één hebben, kunnen signalen groeien; gains kleiner dan één kunnen ze verzwakken. Negatieve entries kunnen bovendien cancellation veroorzaken.

Het mHC-paper meet die gain met Amax Gain Magnitude: de maximale absolute rijsom voor forward propagation en kolomsom voor backward propagation in een composite residual map. In het 27B HC-experiment nadert de piek 3.000, wat samenvalt met instabiel trainingsgedrag (Section 5.4).

Het ontwerpdoel is daarom specifieker dan elke map tot identity maken: inter-stream mixing toestaan en tegelijk amplification over composities begrenzen.

De mHC-constraint

mHC behoudt inter-stream routing, maar beperkt elke residual mixing matrix tot de Birkhoff-polytoop, de verzameling van doubly stochastic matrices. Zo’n matrix heeft non-negative entries en de som van elke rij en elke kolom is één. De constraint maakt elke output stream tot een convex combination van input streams en begrenst de spectral norm van de residual map tot één.

Wat double stochasticity garandeert

Double stochasticity levert drie eigenschappen tegelijk:

Dit is geen letterlijk behoud van Euclidean energy. Een doubly stochastic map kan verschillen tussen streams afvlakken. De map zorgt voor mean conservation en non-expansive routing onder de genoemde norm bound.

De constraint heeft nog drie consequenties:

1. Spectral norm ≤ 1: de residual routing map kan de Euclidean norm niet versterken.
2. Closed under multiplication: een product van doubly stochastic matrices blijft doubly stochastic; de constraint blijft dus behouden bij compositie over de depth.
3. Convex mixing: volgens de stelling van Birkhoff-von Neumann ligt de map in de convex hull van permutation matrices.

Sinkhorn-Knopp-projectie

De learnable residual logits zijn unconstrained. mHC exponentieert ze eerst om een positive matrix te verkrijgen en wisselt daarna kolom- en rijnormalisatie af. Na voldoende iteraties nadert dit Sinkhorn-Knopp-proces een doubly stochastic matrix; het paper gebruikt 20 iteraties als een praktische, approximate differentiable projection, niet als een exacte constraint.

Voor raw logits $A$ verloopt de procedure als volgt:

S = exp(A)
repeat 20 times:
    S = S / column_sum(S)
    S = S / row_sum(S)
return S

De operaties zijn differentiable, maar niet gratis. mHC gebruikt een fused forward kernel en een custom backward kernel die de tussenliggende normalization states on-chip opnieuw berekent.

Details van de parameterization

• Residual map: exponentiation plus Sinkhorn normalization produceert de approximate doubly stochastic $\mathcal{H}^{res}$.
• Read- en write-maps: $\mathcal{H}^{pre}=\sigma(\tilde{\mathcal{H}}^{pre})$ en $\mathcal{H}^{post}=2\sigma(\tilde{\mathcal{H}}^{post})$. Beide maps blijven non-negative, waardoor cancellation door mixed-sign coefficients afneemt (Section 4.2).

Volledige mHC-architectuur

De flow door elke block:

1. Input: $n$ parallelle residual streams komen de laag binnen.
2. Read ($\mathcal{H}^{pre}$): de $n$ streams worden gecombineerd tot de input die door de layer function wordt gebruikt. Het paper gebruikt $\sigma(\tilde{\mathcal{H}}^{pre})$, waardoor de coëfficiënten non-negative zijn.
3. Computation: de standaard Transformer block (Attention of MLP) verwerkt de ene geaggregeerde vector.
4. Write ($\mathcal{H}^{post}$): de block-output wordt met $2\sigma(\tilde{\mathcal{H}}^{post})$ gemapt naar updates voor de $n$ streams. De coëfficiënten blijven non-negative.
5. Mix ($\mathcal{H}^{res}$): de approximate doubly stochastic residual map mengt de binnenkomende streams voordat de update wordt opgeteld.
6. Output: de bijgewerkte stream matrix gaat naar de volgende laag.

Alleen de residual mixing map gebruikt de Sinkhorn-projectie. De read- en write-maps gebruiken non-negative parameterizations. Dat onderscheid is belangrijk, omdat de composition guarantee van het paper van toepassing is op $\mathcal{H}^{res}$.

Infrastructuur die nodig is voor de gerapporteerde overhead

Vier streams verhogen memory access voor de residual state, activation storage en pipeline communication. Het timingresultaat van 6,7% berust op de volgende gezamenlijk ontworpen implementatie.

Kernel fusion

De implementatie fuseert operaties die memory access delen, gebruikt waar passend mixed precision en implementeert de meeste custom kernels met TileLang. De Sinkhorn-loop en de bijbehorende custom backward pass draaien binnen dedicated kernels om memory traffic en launch overhead te beperken.

Selective recomputation

Elke intermediate Sinkhorn-state opslaan voor backpropagation zou het geheugengebruik sterk doen toenemen. Daarom:

• mHC verwijdert intermediate activations na de forward pass.
• mHC berekent ze on-the-fly opnieuw tijdens de backward pass.

Een uitgebreide DualPipe-schedule overlapt delen van communication, recomputation en layer work aan de grenzen van de pipeline. De behaalde overlap is specifiek voor dit trainingssysteem.

Gerapporteerd systeemresultaat

Voor de large-scale setup van het paper voegt expansion rate $n=4$ 6,7% trainingstijd toe ten opzichte van de baseline (Section 4.3). Dit is een systeemresultaat, niet de overhead van een standaard framework-implementatie.

Wat de experimenten aantonen

In de 27B-vergelijking bereikt unconstrained HC een piek in composite Amax Gain van bijna 3.000. Met 20-step approximate Sinkhorn projection wijkt mHC’s composite backward gain af van één, maar blijft die in de gerapporteerde analyse begrensd op ongeveer 1,6 (Section 5.4).

De auteurs trainen ook 3B-, 9B- en 27B-varianten van DeepSeek-V3-geïnspireerde MoE-modellen (Section 5.3). Bij 27B presteert mHC beter dan de standaard residual baseline op alle acht gerapporteerde downstream benchmarks en beter dan HC op zes van de acht (Table 4). HC scoort iets hoger op GSM8K en MATH. Dit zijn in-house pretraining-experimenten van het team dat de methode voorstelt; onafhankelijke replicatie en vergelijkingen op andere architecturen blijven dus open.

Trade-offs en open vragen

mHC is niet voor elk model een drop-in verbetering. Er blijven vier vragen over:

1. System overhead: 6,7% is het geoptimaliseerde resultaat uit het paper; een andere runtime, device topology of model shape kan andere kosten opleveren.
2. Implementation complexity: een reference implementation kan de methode uitdrukken, maar voor throughput die overeenkomt met de gerapporteerde resultaten zijn custom kernels, recomputation en schedule-wijzigingen nodig.
3. Mixing bias: double stochasticity behoudt het cross-stream mean en voorkomt expansion door $\mathcal{H}^{res}$, maar kan verschillen tussen streams afvlakken. De block-update verandert de totale representatie nog steeds.
4. Evidence scope: het sterkste bewijs komt uit language-model pretraining op DeepSeek-V3-geïnspireerde MoE-architecturen. Generalisatie naar andere modelfamilies is in dit paper nog niet aangetoond.

Belangrijkste conclusies

1. Residual connections werken dankzij identity mapping: de mogelijkheid om signalen ongewijzigd door te geven.
2. Hyper-Connections schalen width in plaats van depth, en het HC-paper rapporteert snellere convergence voor één configuratie met vier streams.
3. Unconstrained HC kan de residual conservation property verliezen wanneer residual maps over de depth worden samengesteld.
4. mHC beperkt residual mixing tot de Birkhoff-polytoop, behoudt het cross-stream mean en begrenst amplification.
5. Sinkhorn-Knopp maakt de constraint differentiable, waardoor end-to-end training mogelijk wordt.
6. De gerapporteerde overhead van 6,7% is een systems-prestatie, geen eigenschap van de architectuur alleen.

mHC is een veelbelovende manier om bredere residual topology te onderzoeken en tegelijk de herhaald toegepaste residual map goed geconditioneerd te houden. Of de methode voor een ander model de moeite waard is, hangt af van onafhankelijke quality gains en van de kosten om de bijbehorende systems stack te reproduceren.

Referenties

• mHC: Manifold-Constrained Hyper-Connections - Xie et al. (DeepSeek)
• Deep Residual Learning for Image Recognition - He et al. (ResNet)
• Hyper-Connections - Het oorspronkelijke HC-paper
• TileLang - Framework voor CUDA kernel-optimalisatie
• DualPipe - Scheduler voor pipeline parallelism in DeepSeek-V3
• ResiDual - Architectuur met een dual residual path