Jak czytać matematykę w artykułach AI z arXiv: praktyczny przewodnik

Viacheslav Dubrov

2026-11-03 · 50 min · Inżynieria modeli

Tłumaczenie automatyczne

Ten artykuł został automatycznie przetłumaczony z angielskiego oryginału.

Czytanie matematyki w artykule o AI to przydatna umiejętność dla inżynierów, którzy muszą zrozumieć model, odtworzyć metodę albo ocenić wynik eksperymentu. Ten przewodnik pokazuje, jak odczytywać notację, sprawdzać równanie na małych liczbach i łączyć je z resztą artykułu oraz z implementacją. Zakłada, że umiesz czytać kod, ale nie zakłada, że notacja z publikacji naukowych jest ci już znana.

Równanie ściska w jednej linii kilka decyzji: jakie obiekty przetwarza, jakie mają wymiary, które wartości są losowane oraz co jest uczone, a co pozostaje stałe. Odtworzenie tych szczegółów to dobry pierwszy krok. Wyjaśnienie, dlaczego metoda działa, i wierna implementacja wymagają dalszej pracy.

Zacznij od omówienia mechanizmu uwagi: łączy ono jedno równanie z kształtami tablic, małymi liczbami i działającym kodem w Pythonie. Ściąga z notacji wyjaśnia wyrażenia, które spotkasz w innych artykułach. Dalsze części serii stosują tę samą metodę do równań z konkretnych artykułów: równań architektury, takich jak RoPE, MLA i LoRA; celów treningowych, takich jak DPO i GRPO; oraz modeli generatywnych i metryk, takich jak ELBO, dyfuzja i pass@k. Tych części jeszcze nie ma, więc omówienia, do których odwołuje się ta część, nie są podlinkowane. Dłuższe ujęcie podstaw znajdziesz w książce Tianhua Chena The Little Book of Generative AI Foundations, która rozwija algebrę liniową i rachunek prawdopodobieństwa stojące za modelami generatywnymi.

Uwaga (attention) – czytana symbol po symbolu

Uwaga tworzy wektor wyjściowy jako średnią ważoną wektorów wartości (value). Wagi uzyskuje, porównując wektor zapytania (query) dla pozycji wyjściowej z wektorem klucza (key) dla każdej dostępnej pozycji wejściowej. Macierze $Q$, $K$ i $V$ zbierają wektory zapytań, kluczy i wartości. Skalowana uwaga iloczynu skalarnego łączy te kroki w równaniu (1) w §3.2.1 (§ oznacza „sekcję”) artykułu Attention Is All You Need:

Definicje są w tekście, nie w równaniu. Akapit przed równaniem (1) mówi, że zapytania i klucze mają wymiar $d_k$, a wartości wymiar $d_v$. Metoda liczy iloczyn skalarny każdego zapytania ze wszystkimi kluczami, dzieli każdy z nich przez $\sqrt{d_k}$ i stosuje softmax, „aby uzyskać wagi wartości”. Zapytania są „spakowane razem w macierz $Q$”, a klucze i wartości w $K$ i $V$. Każdy wiersz tych macierzy to więc wektor jednego tokena, a softmax daje jeden zestaw wag na zapytanie. Wyuczone macierze, które zamieniają wektory tokenów na $Q$, $K$ i $V$, pojawiają się dalej, w §3.2.2.

Kształty i role. Głowica uwagi (head) wykonuje jedno takie obliczenie na własnych wektorach zapytań, kluczy i wartości. Zanim zaczniesz czytać operatory, zapisz ich kształty. Dla jednej głowicy z $n$ zapytaniami i $m$ kluczami:

Artykuły podają kształt, wskazując zbiór, do którego należy macierz: $Q\in\mathbb R^{n\times d_k}$ oznacza macierz liczb rzeczywistych o $n$ wierszach i $d_k$ kolumnach, czyli tablicę o kształcie [n, dk].

Czytaj od środka na zewnątrz.

1. $QK^\top$ mnoży macierz $n\times d_k$ przez macierz $d_k\times m$. Wspólny wymiar $d_k$ zostaje zsumowany, więc wynikiem jest tabela wyników (scores) o wymiarach $n\times m$. Element $(i,j)$ to iloczyn skalarny zapytania $i$ i klucza $j$: pomnóż odpowiadające sobie elementy, a potem dodaj iloczyny. Przy ustalonych długościach wektorów wynik jest tym większy, im bardziej podobne są ich kierunki.

2. Dzielenie przez $\sqrt{d_k}$ powstrzymuje wzrost wyników wraz z szerokością wektora. Przypis 4 w artykule pokazuje, dlaczego nieskalowane iloczyny skalarne rosną. Załóżmy, że składowe zapytania i klucza są od siebie niezależne (znajomość części z nich nic nie mówi o pozostałych), każda ze średnią 0 i wariancją 1 (średnia kwadratu odległości od średniej). Wtedy:

   $$\begin{aligned} \text{one product }q_ik_i:&\quad\text{variance }1\\ q^\top k=\textstyle\sum_{i=1}^{d_k}q_ik_i:&\quad\text{variance }d_k,\ \text{standard deviation }\sqrt{d_k}\\ q^\top k/\sqrt{d_k}:&\quad\text{standard deviation }1 \end{aligned}$$

   Te linie korzystają z dwóch reguł dotyczących liczb niezależnych. Po pierwsze, iloczyn dwóch niezależnych liczb, z których każda ma średnią 0 i wariancję 1, też ma wariancję 1. Po drugie, przy dodawaniu liczb niezależnych ich wariancje się sumują, więc $d_k$ iloczynów daje wariancję $d_k$. Odchylenie standardowe to pierwiastek kwadratowy z wariancji, czyli $\sqrt{d_k}$. Podzielenie każdego wyniku przez $\sqrt{d_k}$ zmniejsza rozrzut o ten sam czynnik, z powrotem do 1.

   Dlaczego te dwie reguły są prawdziwe

   Wariancja przy średniej 0. Wariancja to średni kwadrat odległości od średniej. Gdy średnia wynosi 0, kwadrat odległości od średniej to po prostu kwadrat liczby, więc wariancja jest średnią z kwadratu. Składowa $q_i$ o średniej 0 i wariancji 1 ma więc $q_i^2$ ze średnią 1.

   Średnia z iloczynu. Dla liczb niezależnych średnia z iloczynu jest iloczynem średnich. Weźmy liczbę $a$, która z równym prawdopodobieństwem wynosi 1 lub 3, więc ma średnią 2, oraz liczbę $b$, która z równym prawdopodobieństwem wynosi 1 lub 5, więc ma średnią 3. Niezależność oznacza, że $b$ przyjmuje każdą ze swoich wartości równie często bez względu na to, jaka wyszła $a$, więc wszystkie cztery pary są jednakowo prawdopodobne. Gdy $a=1$, iloczyny to 1 i 5, ze średnią $3=1\times3$. Gdy $a=3$, iloczyny to 3 i 15, ze średnią $9=3\times3$. W obu przypadkach średnia wynosi $a\times3$, więc po obu wartościach $a$ jest to $(3+9)/2=6$, czyli $2\times3$. Bez niezależności reguła zawodzi: gdyby $b$ wynosiło 5 zawsze, gdy $a$ wynosi 3, a 1 zawsze, gdy $a$ wynosi 1, pojawiłyby się tylko iloczyny 1 i 15, a ich średnia to 8. Wikipedia podaje tę regułę dla dowolnych niezależnych zmiennych losowych, używając określenia „wartość oczekiwana” na średnią: independence and expectation.

   Reguła 1: jeden iloczyn ma wariancję 1. Weźmy jeden iloczyn $q_ik_i$. Jego średnia to iloczyn średnich, $0\times0=0$, więc jego wariancja jest średnią z $(q_ik_i)^2=q_i^2k_i^2$. Kwadraty są niezależne, bo niezależne są $q_i$ i $k_i$, a każdy ma średnią 1, więc wariancja wynosi $1\times1=1$. Ogólny wzór to variance of a product of independent variables.

   Reguła 2: wariancje niezależnych składników się sumują. Nazwijmy iloczyny $x_i=q_ik_i$, tak że iloczyn skalarny jest sumą $x_1+\cdots+x_{d_k}$. Składniki są niezależne, bo każdy używa innych składowych, a każdy ma średnią 0 i wariancję 1. Suma też ma średnią 0, więc jej wariancja jest średnią z jej kwadratu. Pomnożenie sumy przez siebie daje jeden iloczyn $x_ix_j$ dla każdej pary składników, czyli siatkę $d_k\times d_k$:

   

   Komórki na przekątnej to kwadraty $x_i^2$ i każda ma średnią 1. Każda inna komórka mnoży dwa różne, niezależne składniki, więc jej średnia jest iloczynem ich średnich, $0\times0=0$: dodatnie i ujemne wartości się znoszą. Zostaje tylko $d_k$ komórek na przekątnej, więc wariancja sumy wynosi $d_k$, a jej odchylenie standardowe $\sqrt{d_k}$. Rozrzut rośnie z pierwiastkiem kwadratowym z szerokości, bo większość siatki się znosi. Ogólne twierdzenie Wikipedia podaje jako variance of a sum of uncorrelated variables; zmienne niezależne są zawsze nieskorelowane, więc reguła je obejmuje.

   Przy $d_k=64$ surowe wyniki rozkładają się zwykle w przedziale około $\pm8$; po przeskalowaniu w około $\pm1$, przy dowolnej szerokości.

   Szeroko rozrzucone wyniki nasycają softmax (krok 3), a jego gradienty zanikają. Jeśli jeden wynik w wierszu jest znacznie wyższy od pozostałych, softmax daje temu kluczowi wagę bliską 1, a każdemu innemu kluczowi wagę bliską 0. Mała zmiana któregokolwiek wyniku ledwo rusza wagami, więc gradient docierający do zapytań i kluczy jest bliski zeru, a trening prawie nie ma czym ich dostrajać. Artykuł podaje to jako prawdopodobne wyjaśnienie wcześniejszego wyniku: bez skalowania uwaga oparta na iloczynie skalarnym radziła sobie przy dużym $d_k$ gorzej niż uwaga addytywna, starsza forma, która ocenia parę zapytanie–klucz małą siecią (Britz et al., 2017). Sam artykuł nie mierzy gradientów.

3. Softmax zamienia każdy wiersz wyników na wagi. Niech $z=(z_1,\ldots,z_m)$ będzie jednym wierszem przeskalowanych wyników. Wykładnicza $e^a$, zapisywana też jako $\exp(a)$, używa stałej $e\approx2.718$. Wtedy $\operatorname{softmax}(z)_j=e^{z_j}/\sum_{j'}e^{z_{j'}}$, gdzie $j'$ to po prostu druga nazwa indeksu, więc suma przebiega po wszystkich kluczach w wierszu. Wagi są dodatnie, a każdy wiersz sumuje się do 1.

4. Pomnożenie wag $n\times m$ przez wartości $m\times d_v$ sumuje po osi kluczy. Wiersz $i$ wyjścia $n\times d_v$ jest średnią ważoną wierszy wartości, z wagami zależnymi od tego, jak dobrze każdy klucz pasował do zapytania $i$.

Policz kwadraty na rysunku: każdy iloczyn usuwa oś, którą dzielą jego dwie siatki.

Sprawdź to na dwóch liczbach. Weźmy jedno zapytanie i dwa klucze, których przeskalowane wyniki to $(0,\log3)$, dobrane tak, by wykładnicze wyszły 1 i 3, oraz wartości $v_1=(2,0)$ i $v_2=(0,4)$. Rysunek przelicza to po jednej operacji na kolumnę:

Uwaga wymieszała obie wartości; nie wybrała lepiej pasującego tokena.

Porównaj to z kodem. Poniższa funkcja NumPy implementuje jedną głowicę. k.T to transpozycja. axis=1 to oś kluczy, więc wiersz każdego zapytania jest normalizowany osobno. Maksimum wiersza jest odejmowane przed np.exp: dodanie tej samej liczby do każdego wyniku w wierszu skraca się w ilorazie softmaxu, więc wynik się nie zmienia, ale duże wyniki przestają powodować przepełnienie. Opcjonalna maska ustawia zablokowane wyniki na $-\infty$, co daje im wagi dokładnie równe zero. Dekoder używa takiej maski, by token nie patrzył na późniejsze tokeny (§3.2.3 artykułu).

Zapisz blok jako attention_example.py i uruchom uv run --with numpy python attention_example.py. Testy przechodzą bez żadnego komunikatu.

import numpy as np

def attention(q, k, v, allowed=None):
    """One head. q: [n, dk], k: [m, dk], v: [m, dv], allowed: bool [n, m]."""
    scores = q @ k.T / np.sqrt(q.shape[1])  # [n, m]
    if allowed is not None:
        if not allowed.any(axis=1).all():
            raise ValueError("every query needs at least one allowed key")
        scores = np.where(allowed, scores, -np.inf)
    scores = scores - scores.max(axis=1, keepdims=True)
    weights = np.exp(scores)
    weights = weights / weights.sum(axis=1, keepdims=True)  # rows sum to 1
    return weights @ v, weights  # [n, dv], [n, m]

# The two-key example from the text.
out, w = attention(
    np.array([[1.0]]),
    np.array([[0.0], [np.log(3.0)]]),
    np.array([[2.0, 0.0], [0.0, 4.0]]),
)
np.testing.assert_allclose(w, [[0.25, 0.75]])
np.testing.assert_allclose(out, [[0.5, 3.0]])

# A causal mask: query i may attend only to keys 0..i.
x = np.random.default_rng(0).normal(size=(3, 4))
out, w = attention(x, x, x, allowed=np.tril(np.ones((3, 3), dtype=bool)))
assert out.shape == (3, 4)
np.testing.assert_allclose(w.sum(axis=1), 1.0)
assert np.all(w[np.triu_indices(3, k=1)] == 0)

Zapytanie, którego wszystkie klucze są zablokowane, to przypadek, który równanie zostawia nierozstrzygnięty: każda waga w jego wierszu wyniosłaby $0/0$. Funkcja zgłasza błąd zamiast zwracać NaN.

Od jednej głowicy do kilku. Bazowy Transformer uruchamia równolegle osiem głowic, każdą z własnymi wyuczonymi macierzami do tworzenia $Q$, $K$ i $V$ i każdą z $d_k=d_v=64$. Łączy ich wyniki i mnoży rezultat przez kolejną wyuczoną macierz, $W^O$ (Attention Is All You Need, §3.2.2).

Implementacja może też przetwarzać batch: kilka sekwencji wejściowych naraz. Na przykład scaled dot-product attention w PyTorch przyjmuje tensor zapytań Q o kształcie [batch, heads, n, d_k]. Pierwsze dwa wymiary wybierają sekwencję i głowicę; Q[b, h] to macierz [n, d_k] dla tej pary. Wzór uwagi stosuje się osobno do każdej pary. Funkcja NumPy z tego artykułu obsługuje tylko jedną taką parę: jej operacje .T i axis=1 zakładają dwuwymiarowe dane wejściowe.

Sześć pytań do każdego równania

Jaki rodzaj twierdzenia zawiera równanie

Uwaga jest obliczeniem: mówi, jak z danych wejściowych uzyskać wynik. Artykuły zapisują też równania, które pełnią inne role:

Ograniczenie (constraint) stwierdza własność, którą musi mieć wynik. Dla wag uwagi ta własność brzmi: każda waga jest nieujemna, a każdy wiersz sumuje się do 1. Softmax to obliczenie, które wytwarza wagi o tej własności. Sam wymóg nie mówi, że trzeba użyć softmaxu.

$=$ stwierdza, że dwa wyrażenia są równe. $:=$ oznacza „jest zdefiniowane jako”: nadaje wyrażeniu nazwę. Definicja może nazywać metrykę, stratę albo zbiór dozwolonych wartości, więc samo $:=$ nie mówi, z jakim rodzajem równania z tabeli powyżej masz do czynienia.

Na przykład Evaluating Large Language Models Trained on Code, artykuł, który wprowadził model generowania kodu Codex, używa $:=$ do zdefiniowania estymatora pass@k (równanie 1). Ta metryka mierzy szansę, że co najmniej jeden z $k$ wygenerowanych programów przejdzie testy. W raporcie technicznym DeepSeek-V4 równanie (2) łączy dwa twierdzenia: $\mathcal M:=\{\ldots\}$ definiuje zbiór dozwolonych macierzy, a $B_l\in\mathcal M$ wymaga, by macierz mieszania modelu $B_l$ należała do tego zbioru. Definicja używa $:=$; ograniczenie używa $\in$, czyli „należy do”. Sekcje o pass@k i mHC omawiają te przykłady.

Znajdowanie nowego równania, jego definicji i jego kodu

Sekcja metody artykułu opisuje, jak działa jego model lub algorytm treningowy. Nagłówek może brzmieć „Method”, „Architecture” albo bardziej szczegółowo. Autorzy często najpierw wyjaśniają istniejącą metodę, a potem pokazują, co zmienili. Aby ustalić deklarowany wkład, zacznij od podsumowania nowości we wstępie. Na przykład DeepSeekMath, §1.1 wymienia Group Relative Policy Optimization (GRPO), swoją metodę trenowania modeli na ocenionych odpowiedziach. Numery sekcji i równań odnoszą się tu do podlinkowanego artykułu.

Następnie porównaj proponowaną metodę z wcześniejszą, którą zmienia. Ilustrują to dwa artykuły:

• Zmiana architektury. DeepSeek-V2 opisuje standardową uwagę wielogłowicową w §2.1.1 i wprowadza multi-head latent attention (MLA) w §2.1.2. Standardowa uwaga przechowuje klucze i wartości każdego wcześniejszego tokena. MLA przechowuje skompresowany wektor, z którego można je odtworzyć. Porównanie tych równań pokazuje, co model przechowuje inaczej; omówienie MLA wyprowadza oszczędność pamięci.
• Zmiana treningu. DeepSeekMath, §4.1.1 podaje cel Proximal Policy Optimization (PPO) jako równanie (1), a GRPO jako równanie (3). Oba używają przewagi (advantage): liczby, która mówi, czy odpowiedź była lepsza, czy gorsza od oczekiwanej. PPO szacuje ją za pomocą drugiej wyuczonej sieci, modelu wartości, który przewiduje nagrodę, jaka jeszcze zostanie uzyskana z niepełnej odpowiedzi. GRPO zamiast tego porównuje nagrodę za odpowiedź z nagrodami za inne odpowiedzi na to samo pytanie. Omówienie GRPO porównuje te składniki, używając notacji całych odpowiedzi z DeepSeek-R1.

Znajdź definicje wokół równania. Sprawdź poprzedzający akapit, każde zdanie „gdzie …” po nim, przypisy i dodatki. W Attention Is All You Need akapit przed równaniem (1) definiuje wymiary, a przypis 4 wyjaśnia współczynnik skalowania. DeepSeek-V3 definiuje większość symboli routingu zaraz po równaniu (15), a składnik $b_i$ tuż przed równaniem (16). DeepSeek-V2 rozwija MLA w równaniach (9)–(19), a potem zbiera obliczenia w Dodatku C.

Sprawdź algorytm i kod. Ramka algorytmu to ponumerowany listing pseudokodu, który podaje kolejność operacji. Algorithm 1 w DeepSeekMath pokazuje, kiedy generować odpowiedzi, a kiedy aktualizować model. Algorithm 1 w Denoising Diffusion Probabilistic Models (DDPM) określa, jak losować obraz treningowy, poziom szumu i szum. Implementacje rozstrzygają dalsze szczegóły: domyślnie np.std dzieli sumę kwadratów odchyleń przez $n$, a torch.std przez $n-1$. Przykład GRPO pokazuje, jak ten wybór zmienia wartości przewagi obliczone z tych samych nagród.

Wersje arXiv mogą przenosić sekcje i powtarzać równania pod nowymi numerami, więc podawaj wersję. W DeepSeek-R1 v1 cel GRPO to §2.2.1, równania (1)–(3). W v2, opublikowanej w styczniu 2026, to §2.1, a te same równania wracają jako (11)–(13) w Supplementary A.3. Link bez wersji otwiera najnowszą, więc każdy link do arXiv w tej serii zawiera wersję, z którą go sprawdzono.

Sprawdzanie własnego odczytu za pomocą LLM

Model czatowy potrafi przygotować szkic tabeli symboli, indeks każdej sumy i sprawdzenie na małych liczbach, jeśli podasz mu definicje i poprosisz o wskazanie braków. Tekst skopiowany z PDF spłaszcza indeksy dolne, górne i ułamki do jednej linii; linki „HTML (experimental)” i „TeX Source” na stronie abstraktu arXiv dają czysty tekst do wklejenia. Wklej równanie i otaczające je akapity razem z takim poleceniem:

Below is equation (N) from <paper title, arXiv ID and version>, followed by
the paragraphs that define its symbols.

1. Make a table with one row per symbol: shape or type, meaning, and whether
   it is input data, a trained weight, a frozen model, a fixed setting or a
   random sample. Quote the sentence that defines it.
2. List every symbol the pasted text does not define. Do not guess them.
3. For every sum, mean, softmax, min or expectation, name the index or the
   distribution it runs over.
4. Work through the equation with the smallest numbers that use every term.
5. Say which kind of statement it is: a computation, definition, objective,
   update rule, constraint, bound, estimator or empirical fit.

Bez kroku 2 nic nie powstrzymuje modelu przed uzupełnieniem brakującej definicji zwykłym znaczeniem litery, na przykład odczytaniem $\sigma$ w DPO jako odchylenia standardowego zamiast sigmoidy. Cytaty z kroku 1 pozwalają sprawdzić tabelę: wyszukaj każdy z nich w PDF i potraktuj wiersz, którego cytatu nie możesz znaleźć, jako zgadywanie.

Ta sama procedura jako umiejętności agenta. paper-math-skills pakuje tę sekcję i poniższą ściągę z notacji w dwie umiejętności (skills) napisane dla Claude Code; mogą z nich korzystać także inni agenci, którzy ładują pliki SKILL.md. read-paper-math pobiera przypiętą wersję arXiv, cytuje zdanie definiujące każdy symbol, czyta równanie od środka na zewnątrz i wykonuje sprawdzenie na małych liczbach. check-paper-math przegląda taki odczyt względem artykułu: wyszukuje każdy cytat, powtarza obliczenia i oznacza twierdzenia mocniejsze lub słabsze niż w artykule. paper-math-readings zawiera odczyty tych umiejętności dla części 2–4, po jednym dla każdej z 15 sekcji z linią Source:.

Ściąga z notacji

Jeśli jakaś grecka litera jest ci obca, otwórz tabelę liter greckich z tego artykułu (Dodatek A), by poznać jej nazwę i typowe znaczenia. Jeśli chcesz więcej ćwiczyć matematykę, Stanford CS229 udostępnia powtórki z rachunku prawdopodobieństwa i algebry liniowej wraz z ćwiczeniami; Preliminaries z Dive into Deep Learning wyjaśniają podstawy razem z kodem.

Indeksy, znaki nad literami i znaki relacji

Litery są lokalnymi nazwami zmiennych: każdy artykuł definiuje własne. Indeksy dolne są zwykle numerami pozycji. $x_i$ może być współrzędną $i$ wektora albo przykładem $i$ w zbiorze danych, a $h_t$ to wektor modelu dla tokena $t$, zwany jego stanem ukrytym (hidden state).

Indeksy górne w artykułach o modelach często są etykietami. W $h_t^{(\ell)}$ indeks górny w nawiasie to zwykle numer warstwy, a nie potęga; w $\operatorname{FFN}^{(s)}_i$ i $\operatorname{FFN}^{(r)}_i$ z DeepSeek-V3 oznacza on ekspertów współdzielonych (shared) i kierowanych (routed), czyli tych, z których korzysta każdy token, i tych, które wybiera router (zobacz przykład routingu MoE). W DeepSeek-V2 $W^{DKV}$ i $k_t^C$ niosą etykiety, a nie wykładniki; przykład MLA definiuje te etykiety. $W^\top$ to transpozycja, a $x^2$ to kwadrat.

$x_{1:T}$ oznacza pozycje od 1 do $T$, w tym $T$, inaczej niż wycinek (slice) w Pythonie; artykuły zwykle liczą od 1. $x_{<t}$ oznacza każdą pozycję przed $t$. $X_{t,:}$ wybiera wiersz $t$, jak w wycinaniu w NumPy.

Znaki przy literze zwykle zmieniają jej znaczenie w jeden z tych sposobów:

Niektóre symbole inne niż greckie litery też pełnią kilka funkcji:

Pięć znaków mówi, jak powiązane są dwie strony. $:=$, czasem $\triangleq$, definiuje nową nazwę. $\approx$ oznacza przybliżenie, na przykład uśrednienie po próbkach w sekcji Wartości oczekiwane i skąd biorą się próbki. $\propto$ znaczy „proporcjonalne do”, z pominiętą stałą normalizującą: $p_i\propto e^{z_i}$ staje się rozkładem dopiero po podzieleniu przez $\sum_j e^{z_j}$. $\ll$ znaczy „znacznie mniejsze niż”, jak w $d_c\ll d_hn_h$ z DeepSeek-V2: skompresowana szerokość jest znacznie mniejsza niż łączna szerokość wszystkich głowic. $\leftarrow$ to przypisanie, jak w regule aktualizacji.

Sumy, zliczanie, przedziały i logarytmy

Duże $\sum$ dodaje składniki, a $\prod$ je mnoży. Indeks pod każdym operatorem zaczyna się tu od 1 i biegnie do górnej granicy $N$:

Indeks należy do operatora, tak jak zmienna pętli należy do swojej pętli. W $y_i=\sum_{j=1}^{d}W_{ij}x_j$ suma przebiega po $j$, a $i$ identyfikuje element wyniku. Wynikiem jest wektor z jednym elementem na każde $i$: rozpisany iloczyn macierzy i wektora $Wx$. Indeksy po lewej stronie mówią, jaki kształt ma wynik.

Czynnik przed sumą decyduje, co dostaje równą wagę. Batch z odpowiedzią o 2 tokenach i odpowiedzią o 8 tokenach, gdzie $\ell_{it}$ to strata na tokenie $t$ odpowiedzi $i$ (w GRPO $\ell$ jest zamiast tego składnikiem do maksymalizacji), można uśrednić na dwa sposoby:

W pierwszym sposobie każda odpowiedź dostaje wagę $\tfrac12$, dzieloną między jej tokeny:

W drugim każdy token ma wagę $1/10$. GRPO losuje $G$ odpowiedzi $o_1,\ldots,o_G$ na każde pytanie, a $\vert o_i\vert$ to liczba tokenów odpowiedzi $i$. Oba uśrednienia wyglądają wtedy tak, dla GRPO z DeepSeekMath i dla DAPO, późniejszego wariantu GRPO:

Dla $G=2$ są to $L_{\text{answers}}$ i $L_{\text{tokens}}$ z góry. DAPO przyjęło uśrednianie po tokenach (§3.3), ponieważ uśrednianie po odpowiedziach dawało tokenom długich odpowiedzi zbyt małą wagę: model uczył się zbyt mało z długich dobrych odpowiedzi i nie karał dostatecznie długich, powtarzalnych złych.

Suma może też zliczać. Artykuły robią to za pomocą wskaźnika (indicator): pogrubionej jedynki z warunkiem, $\mathbf 1[C]$, która równa się 1, gdy warunek $C$ jest prawdziwy, a 0, gdy jest fałszywy. Niektóre artykuły umieszczają warunek w nawiasach okrągłych albo drukują zamiast tego jedynkę w kroju podwójnie kreskowanym (double-struck); znaczenie jest to samo. Dodanie wskaźników zlicza więc, ile razy warunek jest spełniony. Typowym przykładem jest trafność (accuracy). Jeśli $\hat y_i$ to przewidziana klasa, a $y_i$ poprawna klasa dla przykładu $i$, to $\sum_i\mathbf 1[\hat y_i=y_i]$ jest liczbą poprawnych predykcji. Predykcje (kot, pies, pies) wobec poprawnych etykiet (kot, kot, pies) dają wskaźniki 1, 0 i 1, więc liczba wynosi 2, a trafność 2/3. W warstwie mixture-of-experts (MoE) router wysyła każdy token do kilku z wielu podsieci feed-forward, zwanych ekspertami. W stracie bilansującej DeepSeek-V3 (równanie 18) wskaźnik wynosi 1, gdy wynik eksperta dla tokena należy do $K_r$ najwyższych wyników dla tego tokena, gdzie $K_r$ to liczba ekspertów, do których kierowany jest każdy token. Jego suma po tokenach sekwencji zlicza, jak często to się zdarzyło. Wynik użyty tutaj pomija obciążenie (bias) dodawane przez routing, więc zliczenie może się różnić od ekspertów, których router faktycznie wybiera (routing MoE).

Współczynnik dwumianowy $\binom nk$, czytany „$n$ po $k$”, zlicza sposoby wyboru $k$ różnych elementów spośród $n$ bez względu na kolejność. Dla liczb całkowitych $0\leq k\leq n$ równa się $n!/(k!\,(n-k)!)$. Wykrzyknik oznacza silnię: $n!=1\times2\times\cdots\times n$, przy $0!=1$. Na przykład $\binom52=5!/(2!\,3!)=10$: pięć elementów daje dziesięć różnych par. DeepSeekMoE używa współczynników dwumianowych do zliczania kombinacji ekspertów, a estymator pass@k do zliczania zbiorów próbek.

Przedziały używają nawiasów do oznaczenia, które końce są wliczone: $[a,b]$ zawiera oba, $(a,b)$ żaden. W Gated DeltaNet $\alpha_t\in(0,1)$ oznacza ściśle między 0 a 1. W innych miejscach $(a,b)$ to para.

Logarytm naturalny odwraca potęgowanie: $\log(e^a)=a$. Logarytmy zamieniają iloczyny na sumy, a ilorazy na różnice: $\log(ab)=\log a+\log b$ i $\log(a/b)=\log a-\log b$, ale $\log(a+b)$ się nie rozkłada. Dlatego artykuły pracują na logarytmach prawdopodobieństw. Logarytm iloczynu prawdopodobieństw tokenów jest sumą, a logarytm ilorazu prawdopodobieństw dwóch modeli jest różnicą, czyli postacią użytą w celach DPO i GRPO. Artykuły o ML mają na myśli logarytm naturalny, o ile nie powiedziano inaczej; wyniki są w natach, a logarytmy o podstawie 2 dają bity. Dla prawdopodobieństwa $p\leq1$ mamy $-\log p\geq0$, a wartość ta rośnie bez ograniczeń, gdy $p$ zbliża się do 0, więc pewna siebie błędna predykcja jest kosztowna.

Log-sum-exp oznacza: podnieś do potęgi wykładniczej każdy wynik $z_i$, zsumuj rezultaty, a potem weź logarytm. Bezpośrednie obliczenie $\log\sum_i e^{z_i}$ może przepełnić zakres, gdy któryś wynik jest duży. Zamiast tego znajdź największy wynik i nazwij go $m$. Zapis $m=\max_i z_i$ oznacza „porównaj wszystkie elementy $z_i$ i weź największy”; w NumPy m = z.max().

Odejmij $m$ od każdego wyniku przed potęgowaniem, a po wzięciu logarytmu dodaj je z powrotem:

Dla $z=(1000,1001)$ największy wynik to $m=1001$. Przesunięte wyniki to $(-1,0)$, więc obliczenie przyjmuje postać $1001+\log(e^{-1}+1)\approx1001.313$. Żadna wykładnicza nie jest większa niż 1. Kod uwagi używa tego samego odejmowania przed softmaxem; tam wspólny czynnik skraca się w dzieleniu, więc nic nie trzeba dodawać z powrotem.

Prawdopodobieństwo warunkowe i prawdopodobieństwo tekstu

$p_\theta(y\mid x)$ to prawdopodobieństwo, jakie model o parametrach $\theta$ przypisuje wynikowi $y$ przy danym wejściu $x$. Indeks dolny nazywa parametry; niektóre artykuły piszą $p(y\mid x;\theta)$, gdzie średnik również oznacza parametry, a nie warunek. Z kropką w miejscu wyniku, $p_\theta(\cdot\mid x)$ jest całym rozkładem po wynikach, a nie pojedynczą liczbą. Artykuły o RL zapisują ten sam obiekt jako $\pi_\theta(o\mid q)$, czyli prawdopodobieństwo, że model napisze odpowiedź $o$ na pytanie $q$, i nazywają model polityką (policy).

Zamiana zdarzenia z warunkiem daje inną liczbę. Przyjmijmy 100 odpowiedzi modelu: 60 jest poprawnych, 50 to poprawny JSON, a 40 spełnia oba warunki. Wtedy

Niech $A$ oznacza „odpowiedź jest poprawna”, a $B$ „odpowiedź jest poprawnym JSON-em”. Prawdopodobieństwo warunkowe ogranicza zliczanie do odpowiedzi spełniających warunek: $P(A\mid B)=P(A\cap B)/P(B)$, pod warunkiem że $P(B)>0$. Symbol $\cap$ oznacza „zachodzą oba zdarzenia”. Tutaj ułamek wynosi $0.4/0.5=0.8$, tyle samo co 40 poprawnych odpowiedzi wśród 50 z poprawnym JSON-em.

Dwa zdarzenia są niezależne, gdy wiedza, że jedno zaszło, nie zmienia prawdopodobieństwa drugiego. Wymaga to $P(A\cap B)=P(A)P(B)$. W tej próbce $P(\text{both})=0.4$, podczas gdy $P(\text{correct})P(\text{valid JSON})=0.6\times0.5=0.3$, więc zaobserwowane proporcje nie spełniają niezależności.

Twierdzenie Bayesa, zwane też regułą Bayesa, wiąże oba kierunki warunkowania: $P(A\mid B)=P(B\mid A)P(A)/P(B)$. Pozwala obliczyć prawdopodobieństwo $A$ przy danym $B$ z prawdopodobieństwa $B$ przy danym $A$ i prawdopodobieństw obu zdarzeń. Przykład ELBO używa go do znalezienia prawdopodobieństwa ukrytego kodu przy danym zaobserwowanym obrazie.

Model językowy ocenia sekwencję token po tokenie. Z reguły łańcuchowej prawdopodobieństwa

Każdy czynnik warunkuje się na wszystkich wcześniejszych tokenach, więc wzór nie zakłada niezależności tokenów. Jeśli trzy tokeny mają prawdopodobieństwa warunkowe 0,5, 0,2 i 0,1:

Zwykła strata treningowa to ujemna wartość tej sumy podzielona przez długość:

Podczas treningu wcześniejsze tokeny $y_{<t}$ pochodzą ze zbioru danych. Podczas generowania są to własne wcześniejsze wybory modelu.

Wartości oczekiwane i skąd biorą się próbki

Wartość oczekiwana to średnia ważona prawdopodobieństwami:

Czytaj $\mathbb E_{x\sim p}[f(x)]$ jako „średnia z $f(x)$, gdy $x$ jest losowane z $p$”. Zapis $\sum_x$ sumuje po wszystkich możliwych wartościach dyskretnych $x$. Bez indeksu dolnego $\mathbb E[X]$ uśrednia zmienną losową $X$ po jej własnym rozkładzie: jeśli $X$ wynosi 1 z prawdopodobieństwem 0,75 i 3 z prawdopodobieństwem 0,25, to $\mathbb E[X]=1\times0.75+3\times0.25=1.5$.

Gdy zmienna ma gęstość $p(x)$, czyli prawdopodobieństwo na jednostkę $x$, średnia ważona jest całką, $\int f(x)p(x)\,dx$. Symbol $dx$ wskazuje $x$ jako zmienną, po której się całkuje; bez zapisanych granic całka obejmuje cały jej zakres. Przykład gęstości wyjaśnia prawdopodobieństwo na jednostkę i pokazuje całkę jako pole pod krzywą.

Kod treningowy nie może sumować po każdym możliwym wejściu, więc losuje i uśrednia: $\mathbb E_{x\sim p}[f(x)]\approx\frac1N\sum_{i=1}^{N}f(x_i)$, gdzie każde $x_i$ jest losowane niezależnie z $p$, co artykuły zapisują jako $x_i\overset{\text{iid}}{\sim}p$. Artykuły nazywają to estymatą Monte Carlo, a w kodzie jest to loss.mean() po batchu. Średnia z batcha estymuje wartość oczekiwaną tylko wtedy, gdy batch jest losowany z rozkładu podanego w indeksie $\mathbb E$, więc indeks mówi, jak powstają dane treningowe:

• DPO uśrednia po zapisanych przykładach $(x,y_w,y_l)\sim\mathcal D$: prompcie, odpowiedzi preferowanej i odpowiedzi odrzuconej. Odpowiedzi są zbierane i oznaczane przed tym etapem treningu; mogą pochodzić z wcześniejszego generowania przez model. W każdym kroku treningu model oblicza prawdopodobieństwa dla tych dostarczonych odpowiedzi i aktualizuje swoje wagi. Nie losuje w tym kroku nowych odpowiedzi.
• GRPO w DeepSeek-R1: wygeneruj odpowiedzi, potem porównaj ich nagrody. Trening losuje pytanie ze zbioru danych, generuje kilka odpowiedzi i ocenia je funkcją nagrody, na przykład sprawdzeniem wyniku matematycznego albo uruchomieniem testów jednostkowych. Aktualizacja faworyzuje odpowiedzi, które uzyskały wynik powyżej średniej grupy. Zapis $q\sim P(Q)$ oznacza „wylosuj pytanie $q$ z rozkładu pytań”. Zapis $\{o_i\}\sim\pi_{\theta_{old}}(O\mid q)$ oznacza „wylosuj odpowiedzi $o_i$ na to pytanie z kopii modelu o nazwie $\pi_{\theta_{old}}$”. Indeks old oznacza kopię, która wygenerowała te odpowiedzi; ta kopia pozostaje stała, dopóki batch służy do aktualizacji. Omówienie GRPO wyjaśnia porównanie nagród i aktualizacje.
• Destylacja on-policy w MiniLLM i DeepSeek-V4: wygeneruj tekst, potem ucz się z prawdopodobieństw nauczyciela. Trenowany model to uczeń (student). Generuje tekst; zamrożony nauczyciel (teacher) dostarcza prawdopodobieństwa następnego tokena dla tych samych prefiksów, a trening dostraja prawdopodobieństwa ucznia do prawdopodobieństw nauczyciela. To te prawdopodobieństwa stanowią sygnał treningowy, a nie nagroda za odpowiedź jak w GRPO. MiniLLM zapisuje tekst wylosowany przez ucznia jako $y\sim q_\theta$: $y$ to tekst, a $q_\theta$ nazywa model ucznia. DeepSeek-V4 nazywa swojego ucznia $\pi_\theta$ i używa kilku wyspecjalizowanych nauczycieli. Faktyczna procedura losowania w MiniLLM dodatkowo domieszkuje tokeny wylosowane od nauczyciela. Omówienie destylacji wyjaśnia cele i to rozróżnienie w losowaniu.

Kolejność mówi, co optymalizuje trening. Załóżmy, że model przypisuje prawdopodobieństwa 0,9 i 0,1 poprawnym wynikom dwóch jednakowo ważonych przykładów treningowych. Uśrednienie ich logarytmów prawdopodobieństwa oznacza, że najpierw bierzemy każdy logarytm, a potem uśredniamy: np.log(probs).mean(). Logarytm z ich średniej to np.log(probs.mean()). Jeśli $X$ to prawdopodobieństwo przypisane poprawnemu wynikowi losowo wybranego przykładu:

Zmiana znaku tych wyników daje straty 1,20 i 0,69. Drugi model, który przypisuje 0,5 każdemu poprawnemu wynikowi, dostaje 0,69 w obu obliczeniach. Zatem uśrednianie prawdopodobieństw przed wzięciem logarytmu traktuje oba modele jako równie dobre, podczas gdy zwykła średnia ujemnego logarytmu prawdopodobieństwa karze pierwszy model mocniej za niskie prawdopodobieństwo drugiego poprawnego wyniku. Przekładając stratę na kod, zachowaj kolejność logarytmu i średniej.

Nierówność Jensena podaje ogólną zależność dla dodatniego $X$: $\mathbb E[\log X]\leq\log\mathbb E[X]$. Pomaga też konstruować alternatywne cele treningowe. Gdy prawdopodobieństwo danych w modelu wymaga kosztownego uśredniania po zmiennych ukrytych, średnia z logarytmów może dać dolną granicę, którą łatwiej oszacować. Omówienie ELBO wyjaśnia ten problem treningowy; ELBO to skrót od evidence lower bound. Sekcja 2.4 książki Tianhua Chena The Little Book of Generative AI Foundations wyprowadza tę granicę za pomocą nierówności Jensena.

Gęstości, wariancja i słupki błędów

$p(x)$ ma dwa częste znaczenia. Dla wyników dyskretnych, takich jak tokeny lub klasy, daje prawdopodobieństwo wyniku $x$: liczbę od 0 do 1, przy czym prawdopodobieństwa po wszystkich wynikach sumują się do 1.

Aby zrozumieć drugie znaczenie, załóżmy, że $X$ jest wybierane jednostajnie między 0 a 0,5. Przedziały o równej długości mają równe prawdopodobieństwa. Przedział od 0,1 do 0,2 zajmuje jedną piątą całego zakresu, więc

W tym zakresie prawdopodobieństwo to szerokość przedziału pomnożona przez 2. Ten mnożnik to gęstość prawdopodobieństwa: $p(x)=2$ dla $0\leq x\leq0.5$ i zero poza tym. Gęstość opisuje prawdopodobieństwo na jednostkę zmiennej, a nie prawdopodobieństwo jednej dokładnej wartości.

Zerowe prawdopodobieństwo punktu nie znaczy, że nic nie zostanie wylosowane. Zawężaj przedział wokół 0,15: jego prawdopodobieństwo to dwukrotność szerokości, więc zbliża się do zera, gdy szerokość dąży do zera. Pojedynczy dokładny punkt ma więc prawdopodobieństwo zero. Losowanie nadal daje jakąś wartość w $[0,0.5]$, a cały ten przedział ma prawdopodobieństwo 1. Jeśli zapiszesz wynik zaokrąglony do dwóch miejsc po przecinku, zapisana wartość 0,15 reprezentuje przedział od 0,145 do 0,155, którego prawdopodobieństwo wynosi $2\times0.01=0.02$.

Dla gęstości niejednostajnej mnożnik zmienia się z $x$. Całka sumuje wkłady na całym przedziale:

Geometrycznie jest to pole pod krzywą gęstości między $a$ i $b$; pole nad całym zakresem wynosi 1. W przykładzie jednostajnym pole to po prostu wysokość 2 razy szerokość 0,5. Gęstość może więc przekraczać 1, a jej logarytm może być dodatni, jak $\log2\approx0.69$ tutaj. Prawdopodobieństwo nigdy nie przekracza 1.

Rozkład Gaussa używany jako szum w DDPM ma gęstość tego rodzaju. Nie każdy rozkład ciągły ma zwykłą gęstość: rozkład Cantora jest matematycznym kontrprzykładem, spoza omawianych tu modeli. Przechowywanie wartości rzeczywistych nie oznacza też rozkładu ciągłego: zmienna ograniczona do 0.0 i 1.0 nadal ma dwa wyniki dyskretne.

Artykuły często używają tej samej litery dla prawdopodobieństw i gęstości. Sprawdź, jak artykuł definiuje rozkład zmiennej i po której zmiennej sumuje się lub całkuje. Całka po zmiennej ukrytej $z$, takiej jak kod latentny w ELBO w części 4, nie mówi, czy zaobserwowane $x$ jest dyskretne, czy ciągłe. Niektóre artykuły piszą wielkie $P$ dla prawdopodobieństw, a małe $p$ dla gęstości, ale wiele używa $p$ dla obu.

Aby opisać, jak bardzo rozkład rozprasza się wokół średniej, artykuły używają wariancji: średniego kwadratu różnicy od średniej, $\operatorname{Var}(X)=\mathbb E[(X-\mu)^2]$, gdzie $\mu=\mathbb E[X]$. Odchylenie standardowe jest jej pierwiastkiem kwadratowym, więc ma te same jednostki co $X$.

Te wielkości pojawiają się też w nazwach rozkładów. Rozkład Gaussa, zwany też normalnym, zapisuje się $\mathcal N(\mu,\sigma^2)$: $\mu$ to jego średnia, a $\sigma^2$ wariancja. Dla wektora $\mathcal N(\mu,\Sigma)$ używa macierzy kowariancji $\Sigma$: element $(i,j)$ mierzy, jak współrzędne $i$ i $j$ zmieniają się razem, a przekątna zawiera ich wariancje. $\mathcal N(0,I)$ opisuje wektor niezależnych liczb o standardowym rozkładzie normalnym, każdej ze średnią 0 i wariancją 1; $I$ to macierz jednostkowa.

Tabele wyników benchmarków często podają średni wynik razem z miarą zmienności. Rozrzut pojedynczych przebiegów różni się od niepewności ich średniej: dla $N$ niezależnych przebiegów z odchyleniem standardowym $\sigma$ błąd standardowy średniej wynosi $\sigma/\sqrt N$.

Zanim porównasz dwa wpisy, takie jak $82.3\pm0.4$ i $81.5\pm0.4$, ustal z podpisu, czy 0,4 to odchylenie standardowe między przebiegami, błąd standardowy, czy połowa szerokości przedziału ufności. Aby porównać średnie, oblicz przedział dla ich różnicy. Procedura 95-procentowego przedziału ufności daje zakresy, które w 95% powtórzonych eksperymentów zawierają prawdziwą różnicę, przy jej założeniach.

W tym przykładzie załóż cztery niezależne przebiegi na model, w przybliżeniu normalne wyniki przebiegów i równe wariancje populacji. Jeśli przebiegi są sparowane, na przykład dwa modele oceniane na tych samych niezależnie wylosowanych zadaniach, analizuj zamiast tego różnice wewnątrz par. Przewodnik NIST po testach dwóch prób wyjaśnia te przypadki.

Dla niezależnych średnich wariancja ich różnicy jest sumą ich wariancji. Standardowa zmienna normalna mieści się między $-1.96$ a $1.96$ z prawdopodobieństwem około 0,95, co daje mnożnik dla przybliżenia normalnego 95-procentowego przedziału. Jeśli 0,4 to odchylenie standardowe w czterech przebiegach, to pierwsze obliczenie daje:

Mnożnik 1,96 traktuje oszacowany rozrzut jako znany. Przy zaledwie czterech przebiegach na model użyj rozkładu t Studenta, by uwzględnić niepewność rozrzutu. Przy powyższych założeniach liczba stopni swobody wynosi $4+4-2=6$ (osiem przebiegów minus dwie oszacowane średnie). scipy.stats.t.ppf(0.975, 6) daje około 2,447 zamiast 1,96; 0,975 zostawia 2,5% poza każdym końcem 95-procentowego przedziału. Jeśli założenie równych wariancji jest nieodpowiednie, użyj przedziału Welcha, w którym stopnie swobody liczy się inaczej.

Rozważmy teraz drugi sposób odczytania podpisu: 0,4 jest już błędem standardowym każdej średniej, oszacowanym z tych czterech przebiegów. Nic nie dzieli się przez $\sqrt4$, a błąd standardowy różnicy wynosi około 0,566. Mnożnik t nadal jest potrzebny. Oba odczyty dają:

Rysunek porównuje początkowe przybliżenie normalne z dwoma przedziałami t:

Gdy 0,4 jest odchyleniem standardowym, przedział t wyklucza zero: przy tych założeniach wyniki wspierają dodatnią różnicę. Gdy 0,4 jest oszacowanym błędem standardowym, przedział zawiera zero, więc wyniki nie rozstrzygają, który model ma wyższy średni wynik.

Entropia krzyżowa i dywergencja KL

W trakcie treningu model potrzebuje liczbowej straty (loss), która mierzy, jak dobrze jego przewidywane prawdopodobieństwa zgadzają się z celem treningowym. Algorytm treningowy zmienia parametry modelu, by tę stratę zmniejszyć. Entropia krzyżowa dostarcza taką stratę dla przykładów z etykietami lub dla prawdopodobieństw modelu-nauczyciela. Dywergencja Kullbacka–Leiblera (KL) mierzy rozbieżność między dwoma rozkładami. Artykuły używają jej, by wytrenować ucznia naśladującego nauczyciela albo by karać odchylenia od ustalonego modelu referencyjnego.

Tutaj wyniki są dyskretne, na przykład tokeny lub klasy. Rozkład docelowy zapisz jako $p$, a przewidywany przez model rozkład po tych samych wynikach jako $q$. Zacznij od jednego zaobserwowanego wyniku $i$: gdy model przypisał mu prawdopodobieństwo $q_i$, jego strata wynosi $-\log q_i$. Jest to 0 dla $q_i=1$, około 0,69 dla $q_i=0.5$, około 2,3 dla $q_i=0.1$ i nieskończoność dla $q_i=0$.

Entropia krzyżowa uśrednia tę stratę po wynikach losowanych z celu:

Przy etykiecie one-hot $p$, która wynosi 1 dla poprawnej klasy $y$ i 0 dla pozostałych, liczy się tylko poprawna klasa, a $H(p,q)=-\log q_y$: zwykła strata klasyfikacji. nn.CrossEntropyLoss z PyTorch oblicza ją z surowych wyników modelu, zwanych logitami, i wewnętrznie stosuje log-softmax; jej wejściem nie jest wektor prawdopodobieństw $q$. Gdy jako $p$ weźmiemy miękki rozkład modelu-nauczyciela, każda klasa liczy się proporcjonalnie do prawdopodobieństwa nauczyciela. Klasyczna destylacja w ten sposób trenuje mały model na prawdopodobieństwach dużego. Dla celu $p=(0.9,0.1)$ dwa modele mają takie entropie krzyżowe $H(p,q)$:

Drugi model odpowiada celowi i żaden model nie może być lepszy. To minimum, tu 0,325, to $H(p)=-\sum_ip_i\log p_i$, czyli entropia rozkładu $p$. Wynosi ona 0 tylko dla celu one-hot: gdy sam cel jest niepewny, pozostaje strata, której żaden model nie usunie.

Dywergencja KL odejmuje to minimum i zostawia tylko stratę wynikającą z tego, że $q$ różni się od $p$. Zapisuje się ją z podwójną kreską $\Vert$, która jedynie oddziela dwa argumenty; nie jest to ani kreska prawdopodobieństwa warunkowego $\mid$ z sekcji Prawdopodobieństwo warunkowe i prawdopodobieństwo tekstu, ani kreski długości $\Vert x\Vert$ z wektorów i macierzy. Artykuły używają jej zamiast przecinka, by zaznaczyć, że kolejność ma znaczenie: uśrednianie przebiega po wynikach losowanych z pierwszego argumentu.

Dla pierwszego modelu powyżej $0.693-0.325\approx0.37$. KL wynosi 0, gdy oba rozkłady się zgadzają, a poza tym jest dodatnia.

Kolejność zmienia to, które rozbieżności są karane. Składnik z $p_i>0$ i $q_i=0$ jest nieskończony, więc $D_{\mathrm{KL}}(p\Vert q)$ karze $q$ za przypisanie zerowego prawdopodobieństwa czemukolwiek, co $p$ może wytworzyć. Wyniki z $p_i=0$ nic nie dodają (z konwencji $0\log0=0$), więc nie dają bezpośredniej kary, nawet jeśli $q_i>0$. Zamiana argumentów daje $D_{\mathrm{KL}}(q\Vert p)$, która jest nieskończona wszędzie tam, gdzie $q_i>0$ i $p_i=0$. Wyniki z $q_i=0$ nic nie dodają, nawet jeśli $p_i>0$. Gdy $p$ jest celem, $D_{\mathrm{KL}}(p\Vert q)$ nazywa się KL w przód (forward), a $D_{\mathrm{KL}}(q\Vert p)$ KL wstecz (reverse).

Dla $p=(0.5,0.5)$ i $q=(1,0)$ KL w przód jest nieskończona, bo $q$ pomija wynik, który wytwarza $p$, podczas gdy KL wstecz wynosi tylko $1\times\log(1/0.5)+0=\log2$: wynik pominięty przez $q$ nic nie dodaje. Dla $p=(0.9,0.1)$ i $q=(0.5,0.5)$ KL w przód to 0,37 znalezione wyżej, tu obliczone składnik po składniku, a KL wstecz jest inna:

Ta asymetria jest powodem, dla którego KL nazywa się dywergencją, a nie odległością.

Ponieważ $H(p,q)=H(p)+D_{\mathrm{KL}}(p\Vert q)$, a entropia $H(p)$ ustalonego nauczyciela nie zależy od ucznia, entropia krzyżowa względem ustalonego nauczyciela daje uczniowi te same gradienty co $D_{\mathrm{KL}}(p\Vert q)$. Zmiana parametru ucznia zmienia obie straty o tyle samo, więc ich pochodne używane w treningu są równe; Gradienty i optymalizacja wyjaśniają to obliczenie. Dzięki temu kod klasyfikacji i klasycznej destylacji może używać entropii krzyżowej. Zamiana działa tylko wtedy, gdy nauczyciel jest pierwszy. Gdy pierwszy jest uczeń, $D_{\mathrm{KL}}(q\Vert p)=H(q,p)-H(q)$, a entropia samego ucznia $H(q)$ zmienia się w trakcie treningu, więc obie wielkości nie dają już tych samych gradientów.

Wektory i macierze

Równania architektury opisują obliczenia na tablicach liczb. Kształt tablicy mówi, jak ułożone są jej liczby, jakie operacje są dozwolone i co one dają. Wektor to uporządkowana lista liczb. Macierz układa liczby w wiersze i kolumny. W kodzie ML tensor to ogólne określenie takich tablic liczbowych, także tych z więcej niż dwiema osiami. Oś to wymiar, wzdłuż którego indeksuje się tablicę: macierz ma oś wierszy i oś kolumn.

Stan ukryty tokena to wektor liczb obliczony wewnątrz modelu, by reprezentować ten token. Przypuśćmy, że przetwarzamy razem batch $B$ sekwencji, każda z $T$ pozycjami tokenów, a każdy stan ukryty zawiera $d$ liczb. Tablica stanów ukrytych ma kształt [B, T, d], który artykuły zapisują też jako $B\times T\times d$. Jej trzy osie wybierają sekwencję, pozycję tokena i liczbę w wektorze tego tokena. Na przykład [2, 3, 4] zawiera dwie sekwencje, po trzy wektory tokenów w każdej i po cztery liczby w wektorze: łącznie 24 liczby. Tutaj $d$ to szerokość wektora. Kształt wymienia trzy rozmiary; ich pomnożenie daje liczbę elementów.

Artykuły często zapisują kształty jako przynależność do zbioru: $a\in\mathbb R^d$ oznacza, że $a$ jest wektorem $d$ liczb rzeczywistych, a $A\in\mathbb R^{m\times n}$ oznacza, że $A$ jest macierzą o $m$ wierszach i $n$ kolumnach. Pogrubione litery czasem oznaczają wektory lub tensory, ale o kształcie rozstrzyga definicja z artykułu.

W tabeli poniżej $a$ i $b$ to wektory kolumnowe: ich liczby są ułożone pionowo. Indeks górny $\top$ oznacza transpozycję: zamianę wierszy z kolumnami. Zatem $a^\top$ to wiersz zawierający te same liczby co kolumna $a$. Wielkie $A$ i $B$ nazywają tu macierze; $B$ nie oznacza już rozmiaru batcha.

Dla konkretnego porównania weźmy $a=\begin{pmatrix}1\\2\end{pmatrix}$ i $b=\begin{pmatrix}3\\4\end{pmatrix}$. Przesunięcie transpozycji zmienia zarówno obliczenie, jak i wynik:

Iloczyn skalarny daje jeden wynik, jak w porównaniu zapytania z kluczem w uwadze. Iloczyn zewnętrzny zachowuje osobną wartość dla każdej pary elementów; aktualizacja w Gated DeltaNet używa go do zbudowania z dwóch wektorów aktualizacji macierzy.

Iloczyn macierzy można pogrupować inaczej, $(AB)C=A(BC)$, ale nie można zmieniać kolejności; wyprowadzenie MLA używa przegrupowania, by uniknąć odbudowywania kluczy. NumPy zapisuje mnożenie macierzy jako @, a iloczyn po elementach jako *. Artykuły nie dziedziczą reguł broadcastingu z NumPy: dodanie wektora do macierzy wymaga podanej osi. Artykuły różnią się też tym, czy wektor jest wierszem, czy kolumną: uwaga układa tokeny jako wiersze $Q$, podczas gdy MLA, Gated DeltaNet i LoRA zapisują $Wh$ z wektorami kolumnowymi, a nn.Linear w PyTorch oblicza x @ W.T na wierszach.

Równanie architektury może też opisywać rozmiar wektora, ograniczać dozwolone macierze albo przestawiać iloczyn:

Gradienty i optymalizacja

Trening używa pochodnych, by zdecydować, jak zmienić parametry modelu. Niech $\mathcal L$ będzie jedną skalarną stratą, a $\theta$ wektorem wszystkich parametrów; $\theta_i$ to jeden element tego wektora.

Pochodna cząstkowa $\partial\mathcal L/\partial\theta_i$ to jedna liczba, obliczona dla bieżących wartości parametrów. Mierzy tempo zmiany straty, gdy zmienia się tylko $\theta_i$, a pozostałe parametry są stałe. Czytaj ją jako „pochodna cząstkowa straty względem parametru $\theta_i$”.

Gradient $\nabla_\theta\mathcal L$ zbiera te liczby dla wszystkich parametrów w jeden wektor. Jego $i$-ty element to $\partial\mathcal L/\partial\theta_i$. Symbol $\nabla$ nazywa się nabla; tu znaczy „weź gradient”. Przy jednym parametrze gradient ma jeden element równy zwykłej pochodnej.

Na przykład weźmy $\mathcal L(\theta_1,\theta_2)=\theta_1^2+3\theta_2^2$. Dla $\theta_1=2$ i $\theta_2=1$:

Pierwsza pochodna cząstkowa, 4, oznacza, że zwiększenie $\theta_1$ o 0,01 podnosi stratę o około 0,04, gdy $\theta_2$ pozostaje stałe. Gradient zawiera tę informację dla obu parametrów. Spadek gradientu (gradient descent) odejmuje pochodną każdego parametru pomnożoną przez dodatnią szybkość uczenia (learning rate) $\eta$, która kontroluje wielkość kroku:

Dla $\eta=0.1$ przykład zmienia się z $(2,1)$ na $(1.6,0.4)$, a strata spada z 7 do 3,04. Dla różniczkowalnej straty z niezerowym gradientem dostatecznie mały krok zmniejsza stratę. Zerowy gradient nie daje aktualizacji.

Indeks dolny przy $\nabla$ mówi, co się zmienia. $\nabla_\theta\log p_\theta(x)$ zmienia parametry; $\nabla_x\log p_\theta(x)$ zmienia wejście, a artykuły o dyfuzji nazywają to score, co nie ma nic wspólnego z wynikiem w benchmarku.

Jakobian zapisuje pochodne dla wielu wyjść. Warstwa sieci neuronowej może produkować wiele liczb, takich jak składowe stanu ukrytego tokena. Aby opisać, jak każde wyjście reaguje na każde wejście, zbierz pochodne cząstkowe w macierz zwaną jakobianem (Jacobian). Dla $y=f(x)$ z $n$ liczbami wejściowymi i $m$ liczbami wyjściowymi jej kształt to $m\times n$: wiersze odpowiadają wyjściom, kolumny wejściom, a element $J_{ij}=\partial y_i/\partial x_j$ mierzy, jak zmienia się wyjście $i$, gdy zmienia się wejście $j$.

Na przykład niech funkcja przyjmuje dwie liczby i zwraca $y_1=x_1+2x_2$ oraz $y_2=3x_1-x_2$. Jej jakobian to

Druga kolumna mówi, że zwiększenie $x_2$ o 0,1 przy stałym $x_1$ zwiększa $y_1$ o 0,2 i zmniejsza $y_2$ o 0,1. Ten przykład jest liniowy, więc jego jakobian jest stały. Dla funkcji nieliniowej elementy mogą zależeć od bieżącego wejścia i opisują małe zmiany lokalnie. Przy tylko jednym wyjściu skalarnym jakobian ma jeden wiersz: te same pochodne co gradient, transponowane w naszej konwencji wektorów kolumnowych. Ogólne definicje podaje Deep Learning, §4.3.

Propagacja wsteczna (backpropagation) używa tych pochodnych do obliczenia gradientu straty przez kolejne warstwy. Przykład zamiany zmiennych w Dodatku B tego artykułu korzysta z innej własności: wartość bezwzględna wyznacznika kwadratowego jakobianu daje lokalny współczynnik skalowania objętości, który jest potrzebny do skorygowania gęstości prawdopodobieństwa.

W treningu pochodne opisują zmiany lokalne; cel optymalizacji mówi, co aktualizacje mają minimalizować lub maksymalizować. Artykuły odróżniają najlepszą wartość celu od parametrów, które ją osiągają: $\min_\theta f(\theta)$ to najmniejsza wartość $f$, a $\operatorname*{arg\,min}_\theta f(\theta)$ daje wartości parametrów, które ją osiągają. Dla $f(\theta)=(\theta-3)^2$ minimum wynosi 0, a argmin to 3. Argmin określa pożądany wynik, ale pozostawia otwarty algorytm aktualizacji.

Na przykład MiniLLM zapisuje swój cel jako $\theta=\operatorname*{arg\,min}_\theta D_{\mathrm{KL}}(q_\theta\Vert p)$ (równanie 1), gdzie $q_\theta$ to model ucznia, a $p$ nauczyciel, od którego się uczy. Sekcja 2.2 wyprowadza następnie gradient i modyfikuje go, by trening był stabilniejszy; równanie (7) to gradient używany do aktualizacji. Przykład destylacji on-policy wyjaśnia te zmiany. Samo przeczytanie argmin by je pominęło.

Stop-gradient, $\operatorname{sg}(x)$, przekazuje $x$ do przodu bez zmian, ale blokuje przechodzące przez niego gradienty, jak .detach() w PyTorch. Dwa wyrażenia o tej samej wartości w przebiegu w przód mogą trenować się inaczej, jeśli jedno z nich jest odłączone. W przykładzie GRPO Hugging Face TRL traktuje logarytm prawdopodobieństwa starego modelu jako stały. W skrócie destylacji omawianym przez DeepSeek-V4 odłączony logarytm ilorazu nauczyciel–uczeń dostarcza stałej wagi dla aktualizacji.

Zbiory i ograniczenia

Ograniczenie (constraint) mówi, jakie wartości są dozwolone. Artykuły często wyrażają ograniczenia za pomocą zbiorów: kolekcji różnych elementów zapisywanych w klamrach, takich jak $\{1,2,3\}$. Kolejność nie ma znaczenia, więc $\{3,1,2\}$ nazywa ten sam zbiór. Powtórzone elementy liczą się tylko raz. Dla porównania nawiasy okrągłe w wektorze takim jak $(1,2,3)$ opisują uporządkowaną listę: $(3,1,2)$ to inny wektor.

Gdy artykuł zdefiniuje zbiór, może sprawdzać przynależność, łączyć zbiory, zliczać ich elementy albo stawiać na nich warunek. Weźmy $A=\{1,2,3\}$ i $B=\{3,4\}$:

Notacja kształtów z sekcji Wektory i macierze też nazywa zbiory: $\mathbb R^d$ to zbiór wszystkich wektorów $d$ liczb rzeczywistych, a $\mathbb R^{n\times d}$ zbiór wszystkich macierzy rzeczywistych o $n$ wierszach i $d$ kolumnach. Zatem $Q\in\mathbb R^{n\times d_k}$ określa, jaki kształt musi mieć $Q$.

Notacja budowania zbioru opisuje zbiór warunkiem: $\{x\in S\mid\text{condition}\}$ czyta się „elementy $S$, które spełniają warunek”, jak zbiór składany (set comprehension) w Pythonie {x for x in S if condition(x)}. Kreska oznacza „takie, że”, a nie prawdopodobieństwo warunkowe; niektóre artykuły używają zamiast niej dwukropka. Przykłady w tej serii to dozwolone macierze w mHC, wybrani eksperci w MoE i wybrane tokeny w uwadze rzadkiej.

DAPO, metoda treningu, która filtruje grupy wygenerowanych odpowiedzi, zachowuje pytanie tylko wtedy, gdy część odpowiedzi jest poprawna, a część błędna. Dla $G$ wylosowanych odpowiedzi $o_1,\ldots,o_G$ i odpowiedzi referencyjnej $a$ zbiór indeksów poprawnych odpowiedzi zapisujemy jako