Reading the Math in AI Papers · Teil 4 von 4

ELBO, Diffusion-Loss, pass@k und Skalierungsgesetze lesen

Viacheslav Dubrov

2026-11-13 · 12 Min. · Modellentwicklung

Automatische Übersetzung

Dieser Artikel wurde automatisch aus der englischen Originalversion übersetzt.

Dieser Teil erklärt, was zwei generative Models trainieren und was vier verbreitete Messgrößen aussagen. Er richtet sich an Ingenieure, die ELBO und Diffusion-Loss verstehen oder Paper mit Angaben zu pass@k, Perplexität, Rechenkomplexität und Skalierungsgesetzen vergleichen möchten. Die Diagramme zeigen die Berechnungen; die Gleichungen geben genau an, was optimiert oder gezählt wird.

Die Abschnitte über generative Models bauen aufeinander auf. Die Abschnitte über Metriken lassen sich unabhängig lesen. Teil 1 bietet bei Bedarf eine Notationsübersicht. Alle Logarithmen hier sind natürliche Logarithmen.

Generative Models: ELBO und Diffusion

Ein Sprachmodell kann einer vorgegebenen Antwort Token für Token eine Wahrscheinlichkeit zuweisen. Andere generative Models führen verborgene Variablen ein: Zwischenwerte, die bei der Datengenerierung helfen, aber im Trainingsdataset fehlen. Um die Wahrscheinlichkeit eines Bildes zu berechnen, müsste man dann möglicherweise über zu viele verborgene Werte mitteln. Die nächsten beiden Methoden trainieren, ohne diesen Mittelwert exakt zu berechnen.

ELBO: eine berechenbare untere Schranke

Ein Variational Autoencoder (VAE) erzeugt ein Bild aus einem latenten Vektor $z$ : einer Liste von Zahlen. Ein einfaches zweidimensionales Beispiel ist $z=(-0.4,1.2)$ . Diese Zahlen sind Eingaben für ein neuronales Netz, keine Anweisungen in einer Programmiersprache. Der Vektor ist latent, weil das Trainingsdataset Bilder enthält, aber die zugehörigen $z$ -Werte nicht vorgibt.

Um in dem hier beschriebenen Standard-VAE ein Bild zu generieren, ziehe jeden Eintrag von $z$ unabhängig aus einer Normalverteilung mit Mittelwert 0 und Standardabweichung 1. Das Ziehen von Werten gemäß einer Verteilung heißt Sampling. Diese feste Verteilung über Vektoren ist der Prior, geschrieben als $p(z)$ .

Der Decoder ist ein trainiertes neuronales Netz. Seine gelernten Weights transformieren $z$ in die Parameter einer Verteilung über Pixelwerte. Ein Decoder für Bilder mit 28 mal 28 Pixeln, deren Werte 0 oder 1 sind, kann beispielsweise 784 Wahrscheinlichkeiten ausgeben, eine pro Pixel. Jede Wahrscheinlichkeit gibt an, wie wahrscheinlich der Wert 1 für dieses Pixel ist. Das Sampling dieser Pixelwerte erzeugt ein Bild. Die Einträge des Vektors bestimmen über das gelernte Netz die Pixelwahrscheinlichkeiten; sie sind nicht selbst Pixel. Kingma und Welling, §3 und Anhang C, beschreiben diesen Standardaufbau.

Beim Training stammt ein Bild $x$ aus dem Dataset. Ein Encoder, ein weiteres neuronales Netz, erhält dieses Bild als Eingabe. In dem hier verwendeten gaußschen Aufbau sagt er für jeden Eintrag von $z$ einen Mittelwert und eine Standardabweichung vorher. Zusammen definieren diese $q_\phi(z\mid x)$ , eine Verteilung über latente Vektoren für dieses Bild. Wir sampeln $z$ aus dieser Verteilung statt aus dem Prior. Der Decoder weist dann dem ursprünglichen Bild mithilfe des gesampelten Vektors die Wahrscheinlichkeit $p_\theta(x\mid z)$ zu.

Das Training belohnt den Decoder dafür, dem beobachteten Bild eine hohe Log-Wahrscheinlichkeit zuzuweisen. Außerdem zieht es die KL-Divergenz ab: ein nichtnegatives Maß dafür, wie stark die Vektorverteilung des Encoders vom festen Prior abweicht. Das Diagramm zeigt beide Terme und die andere Herkunft der Vektoren bei der Generierung.

$Das VAE-Training beginnt mit einem beobachteten Bild, sampelt mithilfe eines Encoders einen numerischen latenten Vektor und lässt den Decoder dasselbe Bild bewerten. Ein zweiter Vergleich hält die Vektorverteilung des Encoders nahe am festen Prior. Die Generierung sampelt einen Vektor direkt aus dem Prior und erhält mit dem trainierten Decoder eine Pixelverteilung, aus der sie ein neues Bild sampelt.$ $Das VAE-Training beginnt mit einem beobachteten Bild, sampelt mithilfe eines Encoders einen numerischen latenten Vektor und lässt den Decoder dasselbe Bild bewerten. Ein zweiter Vergleich hält die Vektorverteilung des Encoders nahe am festen Prior. Die Generierung sampelt einen Vektor direkt aus dem Prior und erhält mit dem trainierten Decoder eine Pixelverteilung, aus der sie ein neues Bild sampelt.$

Der Trainingsscore hat zwei Terme:

\begin{aligned} \mathcal L(x)&=\mathbb E_{q_\phi(z\mid x)}[\log p_\theta(x\mid z)]\\ &\quad-D_{\mathrm{KL}}(q_\phi(z\mid x)\Vert p(z)). \end{aligned}

Der erste Term mittelt die Log-Wahrscheinlichkeit des Bildes über die vom Encoder gesampelten Vektoren. Der zweite ist die KL-Strafe. Die Symbole $\phi$ und $\theta$ bezeichnen die gelernten Parameter von Encoder und Decoder. Beide Netze lernen, diesen Score zu erhöhen; Code, der einen Loss minimiert, verwendet den negativen Score.

Dies ist der Evidence Lower Bound, kurz ELBO. Die Evidenz $p_\theta(x)$ ist die Wahrscheinlichkeit des Models für das beobachtete Bild, gemittelt über alle möglichen latenten Vektoren. Kingma und Welling, §2.2, Gleichungen (1)–(3), setzen sie zum Trainingsscore in Beziehung:

\begin{aligned} &\log p_\theta(x)=\mathcal L(x)\\ &\quad+D_{\mathrm{KL}}\bigl(q_\phi(z\mid x)\Vert p_\theta(z\mid x)\bigr)\\ &\geq\mathcal L(x). \end{aligned}

Hier ist $p_\theta(z\mid x)$ der wahre Posterior: die Verteilung des Models über latente Vektoren, wenn dieses Bild gegeben ist. Der nichtnegative KL-Term ist die Differenz zwischen ELBO und Log-Evidenz; er ist null, wenn der Encoder diesen Posterior nachbildet. Diese Identität erklärt die Schranke. Die berechenbare Trainingsstrafe im Diagramm vergleicht den Encoder dagegen mit dem bekannten Prior $p(z)$ . Ein Trainingsschritt benötigt daher den unbekannten Posterior nicht.

Ein höherer ELBO beweist allein nicht, dass sich der Decoder verbessert hat. Ein besserer Encoder kann die Schranke genauer machen, während der Decoder unverändert bleibt. Außerdem gilt die Schranke für den exakten Erwartungswert: Eine Schätzung aus wenigen gesampelten Vektoren kann bei einer einzelnen Ziehung die Log-Evidenz überschreiten. Die ausführliche ELBO-Lektüre leitet die Schranke her und prüft sie an einem durchgerechneten Beispiel.

DDPM: das hinzugefügte Rauschen vorhersagen

Bei DDPM sind die verborgenen Variablen verrauschte Versionen eines Bildes. Beim Training nimmt es ein unverrauschtes Bild aus dem Dataset und zieht zufälliges Rauschen: eine standardnormalverteilte Zahl pro Bildkoordinate. Es wählt zufällig einen Schritt $t$ aus einem festen Rauschplan, der die Mischanteile von Bild und Rauschen bestimmt. Das Netz sieht dieses verrauschte Bild und $t$ ; seine Aufgabe ist, genau das gerade hinzugefügte Rauschen vorherzusagen.

Die Generierung verwendet das trainierte Netz wiederholt. Sie beginnt mit zufälligem Rauschen, sagt Rauschen auf der aktuellen Stufe vorher und verwendet diese Vorhersage für einen kleinen Entrauschungsschritt. Die Weights bleiben dabei unverändert. Das Training hat somit einen bekannten Zielwert, der den Fehler zur Aktualisierung des Netzes liefert; die Generierung erzeugt mit dem gelernten Netz über viele Schritte ein Bild.

$Beim Training werden ein unverrauschtes Bild und bekanntes Rauschen auf einer zufällig gewählten Stufe kombiniert. Das Netz sagt das hinzugefügte Rauschen vorher und vergleicht seine Vorhersage mit der bekannten Stichprobe. Die Generierung beginnt mit Rauschen und verwendet das Netz wiederholt, um weniger verrauschte Bilder zu erhalten.$ $Beim Training werden ein unverrauschtes Bild und bekanntes Rauschen auf einer zufällig gewählten Stufe kombiniert. Das Netz sagt das hinzugefügte Rauschen vorher und vergleicht seine Vorhersage mit der bekannten Stichprobe. Die Generierung beginnt mit Rauschen und verwendet das Netz wiederholt, um weniger verrauschte Bilder zu erhalten.$

Die Schreibweise $x_t$ für die verrauschte Eingabe erleichtert das Lesen des Loss:

\begin{aligned} x_t&=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\epsilon\\ L_{\mathrm{simple}}&=\mathbb E_{t,x_0,\epsilon}\left[\lVert\epsilon-\epsilon_\theta(x_t,t)\rVert^2\right]. \end{aligned}

$x_0$ ist ein unverrauschtes Trainingsbild, $t$ ein zufällig gewählter Schritt und $\epsilon$ eine neue standardnormalverteilte Rauschstichprobe. Das Netz $\epsilon_\theta$ mit gelernten Parametern $\theta$ sagt diese Stichprobe vorher. Die quadrierte Norm summiert die quadrierten Vorhersagefehler über die Bildkoordinaten; der Erwartungswert mittelt über Bilder, Schritte und Rauschstichproben.

Der feste Plan definiert $\alpha_s=1-\beta_s$ und $\bar\alpha_t=\prod_{s=1}^{t}\alpha_s$ , wobei $\beta_s$ die in Schritt $s$ hinzugefügte Rauschvarianz ist. Der Überstrich bezeichnet dieses Produkt, keinen Mittelwert. Es bestimmt die beiden Koeffizienten der Mischung im Diagramm: $\sqrt{\bar\alpha_t}$ für das Bild und $\sqrt{1-\bar\alpha_t}$ für das Rauschen. Nahe 1 bedeutet überwiegend Bild; nahe 0 bedeutet überwiegend Rauschen.

Das Training kann $x_t$ direkt konstruieren; es muss nicht jeden vorhergehenden Rauschschritt ausführen. Das ursprüngliche DDPM verwendet 1.000 Stufen und sampelt die Trainingsschritte gleichverteilt. Siehe Gleichung (4), Gleichung (14) und Algorithmus 1 oder die ausführliche DDPM-Lektüre.

Das Paper leitet eine mit dem ELBO verwandte Variationsschranke her und ändert dann die Gewichtung ihrer Terme, um diesen praktischen Loss zu erhalten. Der vereinfachte Loss ist selbst nicht die ursprüngliche Likelihood-Schranke. Bei der Generierung skaliert Algorithmus 2 das aktuelle Bild neu, zieht ein Vielfaches des vorhergesagten Rauschens ab und fügt außer im letzten Schritt neues Rauschen hinzu. Er zieht nicht einfach die Vorhersage einmal ab, um ein unverrauschtes Bild zu erhalten.

Metriken und Kostenangaben

Eine Trainingszielfunktion, ein Evaluationsscore und eine Kostenschätzung beantworten unterschiedliche Fragen. Die nächsten Abschnitte zeigen, was jede angegebene Zahl zählt und was für einen sinnvollen Vergleich unverändert bleiben muss.

Pass@k: die Wahrscheinlichkeit, dass mindestens eines von k Samples besteht

pass@k fragt, ob mindestens eines von $k$ generierten Programmen die Tests besteht. Es erlaubt mehrere Versuche; es bedeutet nicht, dass die erste Antwort des Models richtig ist.

Das Codex-Paper sampelt für jede Aufgabe unabhängig $n$ Programme und zählt die $c$ Programme, die bestehen. Dann betrachtet es jede mögliche Menge aus $k$ Samples. Vom Wert eins wird der Anteil der Mengen abgezogen, die nur Fehlschläge enthalten:

\widehat{\operatorname{pass@}k}=1-\frac{\binom{n-c}{k}}{\binom nk}.

Die Notation $\binom nk$ zählt, auf wie viele Arten sich $k$ Elemente aus $n$ ohne Zurücklegen auswählen lassen. Dies ist die Schätzung für eine Aufgabe; der angegebene Score mittelt sie über die Aufgaben. Bei fünf Samples, von denen zwei bestehen und drei scheitern, gibt es zehn Paare. Nur drei Paare enthalten zwei Fehlschläge. Die Schätzung für pass@2 ist daher $1-3/10=0.7$ .

Das Raster zeigt diese zehn Paare im hypothetischen Beispiel. Alle fünf Programme lösen dieselbe Aufgabe und durchlaufen dieselben Tests. Ein Paar besteht, sobald eines seiner beiden Programme besteht.

$Fünf gesampelte Programme heißen A bis E. A und B bestehen; C, D und E scheitern. Das obere Dreiecksraster enthält die zehn möglichen Paare. Sieben Paare enthalten A oder B und bestehen. Nur CD, CE und DE enthalten kein Programm, das die Tests besteht.$ $Fünf gesampelte Programme heißen A bis E. A und B bestehen; C, D und E scheitern. Das obere Dreiecksraster enthält die zehn möglichen Paare. Sieben Paare enthalten A oder B und bestehen. Nur CD, CE und DE enthalten kein Programm, das die Tests besteht.$

Verwende diesen Schätzer mit ganzzahligen Anzahlen $0\leq c\leq n$ und $1\leq k\leq n$ . Wenn weniger als $k$ Samples scheitern, enthält jede Menge ein Sample, das die Tests besteht, und die Schätzung ist 1. Die naheliegende Abkürzung $1-(1-c/n)^k$ ist verzerrt; im Beispiel ergibt sie 0.64. Das Codex-Paper, §2.1 und Abbildung 3, liefert den Schätzer und eine numerisch stabile Implementierung; die ausführliche Lektüre erklärt, warum er funktioniert.

Vergleiche dasselbe $k$ , dieselben Aufgaben, Tests, Prompts und Generierungseinstellungen. Bestandene Tests belegen nicht die Korrektheit für jede Eingabe. Ein eingesetztes System braucht außerdem eine Möglichkeit, einen Kandidaten auszuwählen, der die Tests besteht, etwa durch Ausführen dieser Tests; das bloße Generieren mehrerer Antworten identifiziert die richtige nicht.

Perplexität: die effektive Anzahl von Auswahlmöglichkeiten pro Token

Perplexität bewertet die Wahrscheinlichkeiten, die ein Sprachmodell den tatsächlichen nächsten Tokens eines vorgegebenen Texts zuweist. An jeder Position erhält das Model den vorhergehenden Text und liefert Wahrscheinlichkeiten für die möglichen nächsten Tokens. Dann wird die Wahrscheinlichkeit des tatsächlich folgenden Tokens abgelesen. Eine generierte Antwort ist nicht nötig. Der Score überführt die mittlere negative Log-Wahrscheinlichkeit auf eine leichter interpretierbare Skala:

\operatorname{PPL}=\exp\left(-\frac1T\sum_{t=1}^{T}\log p_\theta(y_t\mid y_{<t})\right).

$T$ ist die Anzahl der Tokens, $y_t$ das beobachtete Token und $y_{<t}$ sein vorhergehender Kontext. Wenn das Model jedem beobachteten Token die Wahrscheinlichkeit $1/4$ gibt, ist die Perplexität 4. Bei unterschiedlichen Wahrscheinlichkeiten verwendet der Score ihr geometrisches Mittel. Die Wahrscheinlichkeiten 0.5, 0.2 und 0.1 ergeben eine Perplexität von ungefähr 4.64: denselben Score wie die Wahrscheinlichkeit $1/4.64$ für jedes Token.

Die Diagramme verwenden erfundene Wahrscheinlichkeiten für drei aufeinanderfolgende Positionen. Jeder Balken stammt aus einer anderen Next-Token-Vorhersage; die Balken müssen sich daher nicht zu 1 summieren. Das rechte Diagramm ersetzt sie durch einen konstanten Wert. Die Produkte stimmen überein, also auch die Perplexitäten.

$Jeder Balken ist die Wahrscheinlichkeit des tatsächlich folgenden Tokens an einer eigenen Textposition. Zwei Diagramme vergleichen die erfundenen Wahrscheinlichkeiten 0.5, 0.2 und 0.1 mit drei gleichen Wahrscheinlichkeiten von ungefähr 0.215. Beide Produkte sind 0.01 und beide Perplexitäten ungefähr 4.64. Die gemeinsame gestrichelte Linie markiert das geometrische Mittel der Wahrscheinlichkeiten.$ $Jeder Balken ist die Wahrscheinlichkeit des tatsächlich folgenden Tokens an einer eigenen Textposition. Zwei Diagramme vergleichen die erfundenen Wahrscheinlichkeiten 0.5, 0.2 und 0.1 mit drei gleichen Wahrscheinlichkeiten von ungefähr 0.215. Beide Produkte sind 0.01 und beide Perplexitäten ungefähr 4.64. Die gemeinsame gestrichelte Linie markiert das geometrische Mittel der Wahrscheinlichkeiten.$

Bei gleichem Evaluationstext, Tokenizer und Kontextverfahren ist ein kleinerer Wert besser. Er bedeutet, dass das Model dem beobachteten Text eine höhere Wahrscheinlichkeit zugewiesen hat, nicht dass seine generierten Antworten nützlicher oder richtiger sind. Tokenizer teilen Text unterschiedlich auf, und der Umgang mit dem Context Window verändert die Wahrscheinlichkeiten. Der Perplexitätsleitfaden von Hugging Face erklärt diese Vergleichsbedingungen.

Big-O: wie die Kosten mit der Sequenzlänge wachsen

Self-Attention transformiert den aktuellen Vektor jedes Tokens mithilfe gelernter Matrizen in Query, Key und Value. Ein Query-Key-Vergleich bewertet, wie stark eine Position eine andere verwenden soll. Diese Scores werden zu Gewichtungsfaktoren für die Kombination der Values, wie in der Attention-Definition des Transformers, §3.2.

Für einen Attention Head und $L$ Tokens ergibt der Vergleich jeder Query mit jedem Key eine Score-Tabelle der Größe $L\times L$ . Eine Verdopplung der Sequenzlänge $L$ vervierfacht diese Tabelle. Ist jeder Vergleich ein Skalarprodukt der Länge $d$ , wächst der Rechenaufwand für die Scores gemäß $O(L^2d)$ . Big-O beschreibt eine asymptotische obere Schranke; es lässt Konstanten weg und sagt allein keine Laufzeit voraus.

Die Raster zeigen vollständige Attention: Jede Position kann jede Position verwenden. Eine längere Sequenz fügt sowohl Query-Zeilen als auch Key-Spalten hinzu. Jede Zelle ist ein Score; Implementierungen wie FlashAttention können die Scores berechnen, ohne das ganze Raster gleichzeitig zu speichern. Kausale Attention schließt künftige Positionen aus, aber die Anzahl der zulässigen Paare wächst weiterhin quadratisch.

$Ein Vier-mal-vier-Raster enthält 16 Query-Key-Scores. Ein Acht-mal-acht-Raster mit gleicher Zellengröße enthält 64. Die Verdopplung der Sequenzlänge verdoppelt beide Dimensionen und vervierfacht die Anzahl der Scores vollständiger Attention.$ $Ein Vier-mal-vier-Raster enthält 16 Query-Key-Scores. Ein Acht-mal-acht-Raster mit gleicher Zellengröße enthält 64. Die Verdopplung der Sequenzlänge verdoppelt beide Dimensionen und vervierfacht die Anzahl der Scores vollständiger Attention.$

Unterschiedliche Attention-Änderungen senken unterschiedliche Kosten:

Methode	Was sich ändert	Was mit der Sequenz weiter wächst
FlashAttention	Berechnet Attention blockweise und vermeidet eine vollständige Score-Tabelle im GPU-Hauptspeicher	Der Rechenaufwand für die Scores bleibt quadratisch
DSA	Ein günstigerer Scorer wählt bis zu $k$ Tokens für vollständige Attention	Der Scorer vergleicht weiterhin alle zulässigen Paare
MLA	Speichert weniger Attention-Daten pro gecachtem Token	Die Cache-Größe wächst weiterhin linear mit der Tokenanzahl

Diese Einsparungen sind keine austauschbaren Beschleunigungen. Prüfe, ob ein Paper Rechenoperationen, belegten Speicher, Speichertransfers oder Cache-Größe gemessen hat. Prüfe außerdem, ob es die Prompt-Verarbeitung oder die Token-Generierung gemessen hat; DeepSeek-V3.2, Abbildung 3, weist diese Phasen getrennt aus.

Skalierungsgesetze: angepasste Kurven mit begrenztem Gültigkeitsbereich

Ein Skalierungsgesetz hilft, ein Trainingsbudget zwischen einem größeren Model und mehr Daten aufzuteilen. Es ist eine an Experimente angepasste Kurve. Beispielsweise berichtet DeepSeek LLM, §3.2, Gleichung (4):

\begin{aligned} M_{\mathrm{opt}}&=0.1715\,C^{0.5243},\\ D_{\mathrm{opt}}&=5.8316\,C^{0.4757}. \end{aligned}

$C$ ist der Trainingsrechenaufwand in Gleitkommaoperationen. $M$ ist der Rechenaufwand pro Token ohne Embeddings und dient hier als Maß für die Model-Größe; es ist nicht die Parameteranzahl. $D$ ist die Anzahl der Trainingstokens. Der Index „opt“ kennzeichnet die angepasste Aufteilung, die den Validierungsloss bei diesem Budget minimieren soll. Die Koeffizienten 0.1715 und 5.8316 gehören zu dieser Anpassung und diesen Einheiten.

Die folgenden Kurven teilen die angepassten Aufteilungen durch ihre Werte bei einem Budget von $10^{17}$ FLOPs, sodass sich jeder angepasste Koeffizient herauskürzt. Ein hundertfaches Budget ergibt den $100^{0.5243}\approx11.18$ -fachen Rechenaufwand pro Token und die $100^{0.4757}\approx8.94$ -fache Tokenanzahl. Dies sind die beiden Endpunkte der Abbildung. Ihre Faktoren multiplizieren sich, weil das Paper den Gesamtrechenaufwand als $C=MD$ definiert.

$Aus der Anpassung von DeepSeek LLM berechnete Kurven teilen einen hundertfachen Rechenaufwand in ungefähr 11.18-mal mehr Rechenaufwand pro Token und 8.94-mal mehr Trainingstokens auf. Die horizontale Achse des Rechenaufwandsverhältnisses ist logarithmisch; die vertikale Achse des Zunahmefaktors ist linear. Die dargestellten Budgets liegen im angegebenen Anpassungsbereich.$ $Aus der Anpassung von DeepSeek LLM berechnete Kurven teilen einen hundertfachen Rechenaufwand in ungefähr 11.18-mal mehr Rechenaufwand pro Token und 8.94-mal mehr Trainingstokens auf. Die horizontale Achse des Rechenaufwandsverhältnisses ist logarithmisch; die vertikale Achse des Zunahmefaktors ist linear. Die dargestellten Budgets liegen im angegebenen Anpassungsbereich.$

Diese Schlussfolgerung gilt für diese Experimente. Die Anpassung deckt $10^{17}$ bis $3\times10^{20}$ FLOPs ab. Außerhalb dieses Bereichs ist sie eine Extrapolation; selbst innerhalb können andere Daten oder Trainingseinstellungen die beste Aufteilung verändern. Abschnitt 3.3 berichtet unterschiedliche Exponenten für unterschiedliche Datasets. Die ausführliche Lektüre zu Skalierungsgesetzen erklärt die Einheiten und prüft das Zusammenspiel der angepassten Formeln.

Eine Gleichung lesen, die diese Serie nicht behandelt

Verwende für eine andere Gleichung die sechs Fragen aus Teil 1: Bestimme die Objekte, Operationen, Dimensionen, das Sampling, die gelernten Größen und die getroffene Aussage.

Das Repository paper-math-skills liefert Agent-Anweisungen zum Schreiben und Prüfen einer ausführlichen Erläuterung. Die verlinkten Lektüren zeigen solche Ergebnisse mit Symboldefinitionen und numerischen Prüfungen.

Quellen und Versionen

Eine ausführlichere Einführung in die Grundlagen bietet Tianhua Chens The Little Book of Generative AI Foundations, §3.2 behandelt den ELBO.