DeepSeek mHC: Manifold-Constrained Hyper-Connections

Viacheslav Dubrov

2026-01-21 · Aktualisiert 2026-07-15 · 9 Min. · Modellentwicklung

Automatische Übersetzung Dieser Artikel wurde automatisch aus der englischen Originalversion übersetzt.

Moderne Deep-Learning-Systeme basieren auf der Residual Connection. Hyper-Connections (HC) untersuchen eine weitere architektonische Dimension: den Residual State in mehrere miteinander interagierende Streams zu verbreitern. Das Paper zu DeepSeeks Manifold-Constrained Hyper-Connections (mHC) untersucht, wie sich dieses Routing bei größeren Trainingsmaßstäben stabil halten lässt.

Dieser Beitrag beginnt mit Standard-Residual Connections und führt anschließend Hyper-Connections sowie die dadurch entstehende Instabilität ein. Die mHC-Constraint und ihre Implementierungskosten werden am Ende behandelt.

Warum Residual Connections funktionieren

Das Tiefenproblem

Zusätzliche Layer können die Kapazität erhöhen, erschweren aber auch die Optimierung und Signalpropagation. Abhängig von Initialisierung, Normalisierung und Architektur können Forward Activations oder Backward Gradients über die Tiefe hinweg schrumpfen, wachsen oder schlecht konditioniert werden.

Die Residual-Lösung

Das ResNet-Paper führte eine einfache Lösung ein. Statt eine direkte Abbildung zu lernen, wird das Residual gelernt, also die Abweichung von der Identity:

Die entscheidende Eigenschaft ist der Identity Shortcut. Wenn die Residual Function $F(x)$ null ausgibt, wird der Layer zu einem Pass-through. Daraus folgen zwei Konsequenzen:

1. Ein direkter Gradiententerm: Die Backpropagation enthält einen Pfad durch die Identity-Komponente.
2. Eine einfache Fallback-Abbildung: Der Residual Branch kann nahe null bleiben, wenn ein Layer den State kaum verändern muss.

Damit wird nicht jedes Optimierungsproblem beseitigt, aber deutlich tiefere Netzwerke werden praktikabel.

Wie Layer Normalization den Residual Path verändert

Transformer führten eine neue Variable ein: die Position von Layer Normalization (LN). Die Entscheidung wirkt nebensächlich, ist es aber nicht.

Die Architektur ResiDual kombiniert Pre-LN- und Post-LN-Residual Paths. HC verbreitert stattdessen den Residual State.

Hyper-Connections fügen parallele Residual Streams hinzu

Hyper-Connections (HC) erweitern die Breite des Residual Streams, statt die Tiefe zu erhöhen.

Was ein Stream bedeutet

In einem Standard-Transformer besitzt jeder Token einen $d$-dimensionalen State, der durch die Blöcke läuft. Am Anfang des Netzwerks repliziert HC dieses Input Embedding $n$-mal, wobei $n$ die „Expansion Rate“ und typischerweise 4 ist. Der $d$-dimensionale Hidden State wird zu einer $n \times d$ „Hyper Hidden Matrix“.

Bei Hyper-Connections ist ein Stream eine dieser $n$ parallelen Instanzen des States.

Die Kopien beginnen identisch und divergieren anschließend, während lernbare Maps die Streams auslesen, in sie schreiben und sie mischen. Das Paper interpretiert sie als mehrere Connection Patterns über die Tiefe hinweg; es setzt nicht voraus, dass jeder Stream eine feste, für Menschen lesbare Rolle erhält.

Zentrale Mechanismen

Statt eines Residual Paths führt HC $n$ parallele Streams durch das gesamte Netzwerk. In jedem Transformer Block laufen drei Operationen ab, die jeweils durch kleine lernbare Weights gesteuert werden:

1. Read ($\mathcal{H}^{pre}$): Die $n$ Streams werden zu dem $d$-dimensionalen Input aggregiert, den der Attention- oder Feed-Forward-Block verarbeitet.
2. Write ($\mathcal{H}^{post}$): Der Output des Blocks wird auf Updates für die $n$ Streams abgebildet.
3. Mix ($\mathcal{H}^{res}$): Eine $n \times n$ Residual Map wird angewendet, bevor das Block-Update addiert wird.

Diese Maps können aus statischen Parametern sowie inputabhängigen Termen bestehen. Die Residual Map ist für die Stabilität entscheidend, da sie über die Tiefe hinweg wiederholt multipliziert wird.

Was das HC-Paper berichtet

Das HC-Paper berichtet für seine Konfiguration OLMoE-1B-7B DHC×4 eine 1,8× schnellere Konvergenz gegenüber der Baseline sowie Downstream-Gains bei 500B Tokens (Abschnitt 1). Dies betrifft eine evaluierte Konfiguration und ist kein allgemeiner Speed-Multiplier für vier Streams.

Das Skalierungsproblem

Das mHC-Paper berichtet über Instabilität, wenn unbeschränktes HC auf sein 27B-Setup skaliert wird.

Warum unbeschränktes HC instabil werden kann

Dieselben unbeschränkten Maps, die HC flexibel machen, entfernen auch den garantierten Identity Path, der das Training von Residuals erleichtert.

Das Composite-Map-Problem

Bei Standard-Residuals gilt:

$x_{l+1} = x_l + F(x_l)$

Wenn $F(x) \rightarrow 0$, ist dies die Identity: $x_{l+1} = x_l$. Das Signal wird unverändert weitergeleitet.

Bei Hyper-Connections enthält der Residual Path eine Matrixmultiplikation:

$x_{l+1} = \mathbf{H}^{res}_l \cdot x_l + \dots$

Über L Layer hinweg wird das Signal zu:

$x_L = \mathbf{H}^{res}_L \times \mathbf{H}^{res}_{L-1} \times \dots \times \mathbf{H}^{res}_1 \times x_0$

Das Verhalten hängt von der Composite Matrix ab und nicht davon, ob einzelne Einträge über oder unter 1 liegen. Wenn aufeinanderfolgende Maps entlang einer ausgerichteten Richtung Operator Gains über eins besitzen, können Signale wachsen; Gains unter eins können sie abschwächen. Negative Einträge können außerdem Cancellation verursachen.

Das mHC-Paper misst diesen Gain mit Amax Gain Magnitude: der maximalen absoluten Zeilensumme für die Forward Propagation und der maximalen absoluten Spaltensumme für die Backward Propagation in einer Composite Residual Map. Im 27B-HC-Experiment nähert sich der Peak 3.000 und fällt mit instabilem Trainingsverhalten zusammen (Abschnitt 5.4).

Das Designziel ist daher enger gefasst, als jede Map zur Identity zu machen: Inter-Stream Mixing soll möglich bleiben, während die Verstärkung über Kompositionen hinweg begrenzt wird.

Die mHC-Constraint

mHC behält das Inter-Stream Routing bei, beschränkt aber jede Residual Mixing Matrix auf das Birkhoff-Polytop, also die Menge der doppelt-stochastischen Matrizen. Eine solche Matrix besitzt nichtnegative Einträge, und die Summe jeder Zeile sowie jeder Spalte ist eins. Die Constraint macht jeden Output Stream zu einer konvexen Kombination von Input Streams und begrenzt die Spektralnorm der Residual Map auf eins.

Was Doppelstochastizität garantiert

Doppelstochastizität liefert gleichzeitig drei Eigenschaften:

Dies ist keine wörtliche Erhaltung der euklidischen Energie. Eine doppelt-stochastische Map kann Unterschiede zwischen Streams glätten. Sie erhält den Mittelwert und ermöglicht unter der angegebenen Normschranke ein nicht-expansives Routing.

Die Constraint hat drei weitere Konsequenzen:

1. Spektralnorm ≤ 1: Die Residual Routing Map kann die euklidische Norm nicht verstärken.
2. Abgeschlossenheit unter Multiplikation: Das Produkt doppelt-stochastischer Matrizen bleibt doppelt-stochastisch; die Constraint bleibt also auch bei einer Komposition über die Tiefe hinweg erhalten.
3. Konvexes Mixing: Nach dem Satz von Birkhoff-von-Neumann liegt die Map in der konvexen Hülle von Permutationsmatrizen.

Sinkhorn-Knopp-Projektion

Die lernbaren Residual Logits sind unbeschränkt. mHC exponentiert sie zunächst, um eine positive Matrix zu erhalten, und alterniert anschließend zwischen Spalten- und Zeilennormalisierung. Mit genügend Iterationen nähert sich dieser Sinkhorn-Knopp-Prozess einer doppelt-stochastischen Matrix; das Paper verwendet 20 Iterationen als praktikable, näherungsweise differenzierbare Projektion und nicht als exakte Constraint.

Für rohe Logits $A$ läuft das Verfahren wie folgt ab:

S = exp(A)
repeat 20 times:
    S = S / column_sum(S)
    S = S / row_sum(S)
return S

Die Operationen sind differenzierbar, aber nicht kostenlos. mHC verwendet einen fusionierten Forward Kernel und einen Custom Backward Kernel, der die Zwischenzustände der Normalisierung On-Chip rekonstruiert.

Details der Parametrisierung

• Residual Map: Exponentiation plus Sinkhorn-Normalisierung erzeugen die näherungsweise doppelt-stochastische $\mathcal{H}^{res}$.
• Read- und Write-Maps: $\mathcal{H}^{pre}=\sigma(\tilde{\mathcal{H}}^{pre})$ und $\mathcal{H}^{post}=2\sigma(\tilde{\mathcal{H}}^{post})$. Beide Maps bleiben nichtnegativ, wodurch Cancellation durch Koeffizienten mit gemischten Vorzeichen reduziert wird (Abschnitt 4.2).

Vollständige mHC-Architektur

Der Ablauf durch jeden Block:

1. Input: $n$ parallele Residual Streams gelangen in den Layer.
2. Read ($\mathcal{H}^{pre}$): Die $n$ Streams werden zum Input kombiniert, den die Layer Function verarbeitet. Das Paper verwendet $\sigma(\tilde{\mathcal{H}}^{pre})$, wodurch die Koeffizienten nichtnegativ werden.
3. Computation: Der Standard-Transformer-Block (Attention oder MLP) verarbeitet den einzelnen aggregierten Vektor.
4. Write ($\mathcal{H}^{post}$): Der Block-Output wird mit $2\sigma(\tilde{\mathcal{H}}^{post})$ auf Updates für die $n$ Streams abgebildet. Die Koeffizienten bleiben nichtnegativ.
5. Mix ($\mathcal{H}^{res}$): Die näherungsweise doppelt-stochastische Residual Map mischt die eingehenden Streams, bevor das Update addiert wird.
6. Output: Die aktualisierte Stream Matrix wird an den nächsten Layer weitergegeben.

Nur die Residual Mixing Map verwendet die Sinkhorn-Projektion. Die Read- und Write-Maps verwenden nichtnegative Parametrisierungen. Dieser Unterschied ist wichtig, weil die Kompositionsgarantie des Papers für $\mathcal{H}^{res}$ gilt.

Infrastruktur für den berichteten Overhead

Vier Streams erhöhen Memory Accesses des Residual States, Activation Storage und Pipeline Communication. Das Timing-Ergebnis von 6,7 % hängt von der folgenden gemeinsam entwickelten Implementierung ab.

Kernel Fusion

Die Implementierung fusioniert Operationen mit gemeinsamem Memory Access, verwendet geeignete Mixed Precision und implementiert die meisten Custom Kernels mit TileLang. Die Sinkhorn-Schleife und ihr Custom Backward Pass laufen in dedizierten Kernels, um Memory Traffic und Launch Overhead zu reduzieren.

Selektive Rekombination

Das Speichern jedes Zwischenzustands von Sinkhorn für die Backpropagation würde den Speicherbedarf stark erhöhen. Stattdessen:

• Gibt mHC Intermediate Activations nach dem Forward Pass frei.
• Rekonstruiert sie während des Backward Pass On-the-Fly.

Ein erweiterter DualPipe-Schedule überlappt Teile von Communication, Recomputation und Layer-Arbeit an den Pipeline-Grenzen. Die erreichte Überlappung ist spezifisch für dieses Trainingssystem.

Berichtetes Systemergebnis

Für das Large-Scale-Setup des Papers fügt die Expansion Rate $n=4$ im Vergleich zur Baseline 6,7 % Trainingszeit hinzu (Abschnitt 4.3). Dies ist ein Systemergebnis und nicht der Overhead einer einfachen Framework-Implementierung.

Was die Experimente zeigen

Im 27B-Vergleich erreicht unbeschränktes HC einen Peak der Composite Amax Gain nahe 3.000. Mit der näherungsweisen Sinkhorn-Projektion über 20 Schritte weicht der Composite Backward Gain von eins ab, bleibt in der berichteten Analyse aber mit ungefähr 1,6 begrenzt (Abschnitt 5.4).

Die Autoren trainieren außerdem von DeepSeek-V3 inspirierte MoE-Varianten mit 3B, 9B und 27B (Abschnitt 5.3). Bei 27B schlägt mHC die Standard-Residual-Baseline bei allen acht berichteten Downstream-Benchmarks und HC bei sechs von acht (Tabelle 4). HC liegt bei GSM8K und MATH geringfügig höher. Dies sind In-house-Pretraining-Experimente des Teams, das die Methode vorgeschlagen hat. Eine unabhängige Replikation und Vergleiche auf anderen Architekturen stehen daher noch aus.

Trade-offs und offene Fragen

mHC ist nicht für jedes Model ein Drop-in-Gewinn. Vier Fragen bleiben offen:

1. System Overhead: 6,7 % ist das optimierte Ergebnis des Papers; ein anderer Runtime, eine andere Device-Topologie oder eine andere Model-Form kann andere Kosten verursachen.
2. Implementierungskomplexität: Eine Referenzimplementierung kann die Methode ausdrücken, aber für den berichteten Throughput sind Custom Kernels, Recomputation und Änderungen am Schedule erforderlich.
3. Mixing Bias: Doppelstochastizität erhält den Stream-übergreifenden Mittelwert und verhindert Expansion durch $\mathcal{H}^{res}$, kann aber Unterschiede zwischen Streams glätten. Das Block-Update verändert weiterhin die Gesamtrepräsentation.
4. Umfang der Evidenz: Die stärkste Evidenz stammt aus dem Language-Model-Pretraining auf von DeepSeek-V3 inspirierten MoE-Architekturen. Die Generalisierung auf andere Model-Familien ist durch dieses Paper noch nicht belegt.

Die wichtigsten Erkenntnisse

1. Residual Connections funktionieren wegen der Identity Mapping: Signale können unverändert weitergeleitet werden.
2. Hyper-Connections skalieren die Breite statt der Tiefe, und das HC-Paper berichtet für eine Vier-Stream-Konfiguration eine schnellere Konvergenz.
3. Unbeschränktes HC kann die Conservation-Eigenschaft des Residuals verlieren, wenn Residual Maps über die Tiefe hinweg komponiert werden.
4. mHC beschränkt das Residual Mixing auf das Birkhoff-Polytop, erhält den Stream-übergreifenden Mittelwert und begrenzt die Verstärkung.
5. Sinkhorn-Knopp macht die Constraint differenzierbar und ermöglicht End-to-End-Training.
6. Der berichtete Overhead von 6,7 % ist eine Systemleistung, keine reine Eigenschaft der Architektur.

mHC ist ein vielversprechender Ansatz, um breitere Residual Topologies zu untersuchen und dabei die wiederholt angewendete Residual Map gut zu konditionieren. Ob sich der Ansatz für ein anderes Model lohnt, hängt von unabhängigen Quality Gains und den Kosten für die Reproduktion seines Systems Stacks ab.

Referenzen

• mHC: Manifold-Constrained Hyper-Connections – Xie et al. (DeepSeek)
• Deep Residual Learning for Image Recognition – He et al. (ResNet)
• Hyper-Connections – Original-Paper zu HC
• TileLang – Framework zur CUDA-Kernel-Optimierung
• DualPipe – Scheduler für Pipeline Parallelism in DeepSeek-V3
• ResiDual – Architektur mit dualem Residual Path