Reading the Math in AI Papers · Część 3 z 3

Jak czytać funkcje celu: destylacja, DPO i GRPO

Viacheslav Dubrov

2026-11-12 · Zaktualizowano 2026-11-12 · 13 min · Inżynieria modeli

Tłumaczenie automatyczne

Ten artykuł został automatycznie przetłumaczony z angielskiego oryginału.

Destylacja, Direct Preference Optimization (DPO) i Group Relative Policy Optimization (GRPO) zmieniają prawdopodobieństwa modelu językowego, ale korzystają z różnych przykładów treningowych i informacji zwrotnych. Ten przewodnik jest dla inżynierów, którzy chcą zrozumieć te różnice przed przeczytaniem pełnych funkcji celu. Diagramy pokazują, skąd pochodzi informacja zwrotna i jak zmienia porównania prawdopodobieństw; równania przedstawiają odpowiadające im operacje.

W zwykłym nadzorowanym fine-tuningu model uczy się przewidywać kolejny token w zapisanych przykładach. Poniższe metody zmieniają informację zwrotną: nauczyciel dostarcza prawdopodobieństwa, para preferencji wskazuje lepszą odpowiedź albo nagroda ocenia odpowiedzi wylosowane podczas treningu. Polityka to po prostu model generujący odpowiedzi. Wszystkie poniższe logarytmy są naturalne.

Część 1 wyjaśnia, jak czytać równanie, i zawiera zestawienie notacji. Tutaj każda sekcja wyjaśnia potrzebne pojęcia i można ją czytać niezależnie.

Klasyczna destylacja: temperatura w obu funkcjach softmax

Etykieta treningowa wskazuje poprawny wynik: przy przewidywaniu kolejnego tokenu jest nim następny token w zapisanym przykładzie. Model nauczyciela dostarcza więcej informacji: prawdopodobieństwa wszystkich tokenów kandydujących, w tym wiarygodnych alternatyw. Destylacja uczy mniejszy model ucznia odtwarzać te prawdopodobieństwa. Trening zmniejsza liczbową stratę, zmieniając parametry ucznia; parametry nauczyciela pozostają stałe.

W pracy o destylacji Hintona i współautorów, §2, rozkłady obu modeli zostają wygładzone przed porównaniem. Dzielimy każdy logit — surowy wynik przed funkcją softmax — przez temperaturę $T$ :

q_i=\frac{\exp(z_i/T)}{\sum_j\exp(z_j/T)}.

Tutaj $z_i$ to wynik kandydata $i$ , a $q_i$ to jego prawdopodobieństwo. Załóżmy, że uproszczony model ma tylko dwa możliwe kolejne tokeny, „cat” i „dog”, i przypisuje im wyniki $(2,0)$ po przeczytaniu „The animal is a”. Przy $T=1$ prawdopodobieństwa wynoszą około $(0.88,0.12)$ ; przy $T=2$ stają się równe $(0.73,0.27)$ . Mniejszy wynik ma teraz większy udział w porównaniu. Nauczyciel i uczeń używają tej samej temperatury.

Słupki pokazują, jak te same dwa wyniki dają mniej skoncentrowany rozkład wraz ze wzrostem temperatury.

$Dla przykładowych kolejnych tokenów cat i dog logity 2 i 0 dają prawdopodobieństwa 0,88 i 0,12 przy temperaturze 1 oraz 0,73 i 0,27 przy temperaturze 2. Oba wykresy używają tej samej skali od zera do jedności. Prawdopodobieństwo dog rośnie.$ $Dla przykładowych kolejnych tokenów cat i dog logity 2 i 0 dają prawdopodobieństwa 0,88 i 0,12 przy temperaturze 1 oraz 0,73 i 0,27 przy temperaturze 2. Oba wykresy używają tej samej skali od zera do jedności. Prawdopodobieństwo dog rośnie.$

Strata treningowa łączy zwykłą stratę względem etykiety ze stratą za niedopasowanie do wygładzonego rozkładu nauczyciela. Oznaczmy prawdopodobieństwa nauczyciela przez $p^{(T)}$ , a ucznia przez $q^{(T)}$ przy temperaturze $T$ . Dla jednego wejścia z etykietą:

\begin{aligned} \mathcal L&=(1-\lambda)\bigl(-\log q_y^{(1)}\bigr)\\ &\quad+\lambda T^2 D_{\mathrm{KL}}\bigl(p^{(T)}\Vert q^{(T)}\bigr). \end{aligned}

Tutaj $\mathcal L$ to strata, $y$ to poprawny kolejny token, a $\lambda\in[0,1]$ ustala proporcje składników. Indeksy górne w nawiasach oznaczają temperatury, a nie potęgi. Pierwszy składnik czytamy jako „karz niskie prawdopodobieństwo poprawnego tokenu przy $T=1$ ”. Drugi jako „dopasuj wygładzone prawdopodobieństwa nauczyciela”. Trening uśrednia te straty po zapisanych wejściach i zmienia tylko ucznia.

$D_{\mathrm{KL}}(p\Vert q)$ to dywergencja KL od nauczyciela $p$ do ucznia $q$ . Mierzy różnicę między dwoma rozkładami prawdopodobieństwa: wynosi zero, gdy są jednakowe. Pierwszy rozkład dostarcza wag do porównania, więc wyniki prawdopodobne według nauczyciela otrzymują większą wagę. Hinton i współautorzy opisują składnik dopasowania oparty na entropii krzyżowej; ta postać KL odejmuje stałą zależną tylko od nauczyciela i daje te same gradienty ucznia.

Czynnik $T^2$ w przybliżeniu kompensuje mniejsze gradienty przy wyższych temperaturach. To ustawienie treningowe; wdrożony uczeń zwykle wraca do $T=1$ w tej funkcji softmax.

Prefiks to tekst dostępny przed kolejnym tokenem: prompt wraz z dotychczasowymi tokenami odpowiedzi. Na przykład „The animal is a” jest prefiksem przed „cat”. Na rysunku oba modele czytają ten sam prefiks i wyznaczają prawdopodobieństwa kolejnego tokenu. Po lewej prefiksy pochodzą z zapisanych przykładów. Po prawej pochodzą z odpowiedzi generowanych przez ucznia podczas treningu. Obie ścieżki używają straty porównawczej do aktualizacji wyłącznie ucznia.

$Klasyczna destylacja przekazuje ustalone wejścia do zamrożonego nauczyciela i trenowanego ucznia, a następnie porównuje ich prawdopodobieństwa. Destylacja on-policy najpierw losuje tekst z modelu ucznia; nauczyciel i uczeń porównują potem prawdopodobieństwa kolejnego tokenu dla prefiksów tego tekstu. Aktualizowany jest tylko uczeń.$ $Klasyczna destylacja przekazuje ustalone wejścia do zamrożonego nauczyciela i trenowanego ucznia, a następnie porównuje ich prawdopodobieństwa. Destylacja on-policy najpierw losuje tekst z modelu ucznia; nauczyciel i uczeń porównują potem prawdopodobieństwa kolejnego tokenu dla prefiksów tego tekstu. Aktualizowany jest tylko uczeń.$

Istnieje też destylacja bez dopasowywania prawdopodobieństw. Modele destylowane z DeepSeek-R1, §2.4, poddano fine-tuningowi na 800 000 przykładów przygotowanych wcześniej z użyciem DeepSeek-R1. Używały nadzorowanej funkcji straty na zapisanym tekście; nauczyciel nie musiał działać podczas tego treningu.

Szczegółowe omówienie destylacji wyjaśnia mieszaną funkcję straty i skalowanie temperaturą.

Destylacja on-policy: uczeń na pierwszym miejscu w KL

Uczeń generujący własną odpowiedź może dojść do prefiksów — promptu wraz z dotychczasową odpowiedzią — które nigdy nie wystąpiły w zbiorze treningowym. Destylacja on-policy uzyskuje informację zwrotną dla tekstu rzeczywiście wytwarzanego przez ucznia. Dla danego promptu uczeń losuje odpowiedź. Zamrożony nauczyciel ocenia następnie te same prefiksy, więc trening porównuje modele tam, gdzie uczeń potrzebuje wskazówek.

On-policy opisuje to źródło tekstu treningowego. Samo w sobie nie narzuca konkretnej funkcji straty. W poniższych przykładach używamy odwrotnej KL, z uczniem na pierwszym miejscu:

D_{\mathrm{KL}}(q_\theta\Vert p) =\mathbb E_{y\sim q_\theta}\left[\log\frac{q_\theta(y\mid x)}{p(y\mid x)}\right].

Dla ustalonego promptu $x$ , $q_\theta$ to uczeń z trenowanymi parametrami $\theta$ , $p$ to nauczyciel, a $y$ to odpowiedź wylosowana z modelu ucznia. Wyrażenie porównuje prawdopodobieństwo, które uczeń przypisał swojej odpowiedzi, z prawdopodobieństwem według nauczyciela. Po uśrednieniu po odpowiedziach ucznia karze przypisywanie wysokiego prawdopodobieństwa tekstom, które nauczyciel uważa za mało prawdopodobne.

Różni się to od wymagania, aby uczeń uwzględnił każdy wynik, jaki mógłby wygenerować nauczyciel. Gdy mały uczeń nie potrafi dopasować pełnego rozkładu nauczyciela, odwrotna KL może sprzyjać skupieniu na części jego prawdopodobnych wyników. MiniLLM, §2.1, równanie (1), używa tej funkcji celu. Rzeczywista procedura treningowa włącza też próbki nauczyciela do generowania i koryguje gradient, by ograniczyć wariancję i obciążenie związane z długością; diagram pokazuje podstawowy układ on-policy, a nie wszystkie modyfikacje MiniLLM.

W uproszczonym przykładzie poniżej nauczyciel i uczeń przypisują różne prawdopodobieństwa tokenom „cat” i „dog” po tym samym prefiksie. KL mnoży logarytm ilorazu dla każdego tokenu przez jego wagę, a potem dodaje oba składniki. Zmiana pierwszego argumentu przenosi większą wagę z „cat” na „dog”. Słupki pokazują wagi, a nie pełny wkład w stratę.

$Po tym samym prefiksie prawdopodobieństwa nauczyciela dla cat i dog wynoszą 0,8 i 0,2, a ucznia 0,4 i 0,6. Prosta KL waży logarytmy ilorazów nauczyciel–uczeń przez 0,8 i 0,2. Odwrotna KL waży logarytmy ilorazów uczeń–nauczyciel przez 0,4 i 0,6.$ $Po tym samym prefiksie prawdopodobieństwa nauczyciela dla cat i dog wynoszą 0,8 i 0,2, a ucznia 0,4 i 0,6. Prosta KL waży logarytmy ilorazów nauczyciel–uczeń przez 0,8 i 0,2. Odwrotna KL waży logarytmy ilorazów uczeń–nauczyciel przez 0,4 i 0,6.$

Od KL sekwencji do KL tokenów

Prawdopodobieństwo odpowiedzi wynika z prawdopodobieństw jej kolejnych tokenów. Dla każdego prefiksu odpowiedzi ucznia oba modele przewidują kolejny token. Można więc porównywać ich różnice pozycja po pozycji, a potem sumować je dla całej odpowiedzi. DeepSeek-V4, §5.1.2, równanie (29), używa destylacji z odwrotną KL od kilku wyspecjalizowanych nauczycieli do jednego ucznia. Ci nauczyciele to osobne modele, a nie podsieci ekspertów wewnątrz warstwy mixture-of-experts.

Na pozycji $t$ niech $q_t(v)=q_\theta(v\mid x,y_{<t})$ oznacza prawdopodobieństwo tokenu kandydującego $v$ według ucznia. Prefiks zawiera prompt $x$ i wcześniejsze tokeny odpowiedzi $y_{<t}$ ; $p_t(v)$ to prawdopodobieństwo nauczyciela dla tego samego prefiksu. Wtedy:

\begin{aligned} d_t&=\sum_{v\in V}q_t(v)\log\frac{q_t(v)}{p_t(v)},\\ D_{\mathrm{KL}}(q_\theta\Vert p) &=\mathbb E_{y\sim q_\theta}\left[\sum_t d_t\right]. \end{aligned}

$V$ to słownik, a $d_t$ to KL kolejnego tokenu dla jednego prefiksu. Wewnętrzną sumę czytamy jako „porównaj każdy token kandydujący z wagą równą prawdopodobieństwu ucznia”. Sumujemy te porównania po pozycjach, a następnie uśredniamy po odpowiedziach generowanych przez ucznia. Zewnętrzna wartość oczekiwana nadal opiera się na losowanym tekście, nawet gdy każde $d_t$ sumuje cały słownik.

Jeden wylosowany token czy cały słownik

Nauczyciel może ocenić tylko token wybrany przez ucznia albo zwrócić prawdopodobieństwa dla całego słownika. Pierwsza opcja przekazuje mniej informacji; druga porównuje wszystkie możliwe kolejne tokeny dla danego prefiksu. DeepSeek-V4 opisuje niestabilny trening przy estymatorze opartym na jednym tokenie i stosuje porównanie całego słownika. Dzięki temu porównanie tokenów jest dokładne dla danego prefiksu; same prefiksy nadal pochodzą z losowanych odpowiedzi.

Oba modele czytają „The animal is a” i zwracają prawdopodobieństwa pokazane poniżej. Wyróżnione wiersze wchodzą do straty używanej do aktualizacji ucznia. Wariant z pełnym słownikiem uwzględnia „dog” i „fox”, choć uczeń wybrał „cat”; wariant jednotokenowy szacuje to porównanie wyłącznie na podstawie wybranego tokenu.

$Dla prefiksu „The animal is a” uczeń losuje cat. Estymator jednotokenowy porównuje prawdopodobieństwa tylko dla cat. KL pełnego słownika uwzględnia cat, dog i fox w tym przykładowym słowniku, ważąc każdy logarytm ilorazu prawdopodobieństwem ucznia. Prefiks nadal jest losowany.$ $Dla prefiksu „The animal is a” uczeń losuje cat. Estymator jednotokenowy porównuje prawdopodobieństwa tylko dla cat. KL pełnego słownika uwzględnia cat, dog i fox w tym przykładowym słowniku, ważąc każdy logarytm ilorazu prawdopodobieństwem ucznia. Prefiks nadal jest losowany.$

Korzystając z trzech wierszy, otrzymujemy $d_t=0.5\log(0.5/0.6)+0.2\log(0.2/0.3)+0.3\log(0.3/0.1)\approx0.157$ . Sam logarytm ilorazu dla wylosowanego „cat” wynosi około $-0.182$ . Jedna próbka może dać wynik ujemny, chociaż pełna KL jest nieujemna.

Szczegółowe omówienie on-policy przedstawia wyprowadzenie od sekwencji do tokenów, korekty próbkowania i estymatory gradientu.

DPO: logistyczna funkcja straty dla dwóch logarytmów ilorazów

DPO zaczyna od zapisanej pary preferencji: jednego promptu, preferowanej odpowiedzi i odrzuconej odpowiedzi. Para może pochodzić z ocen ludzi dotyczących wcześniejszych wyników modeli. Podczas treningu model czyta każdą zapisaną odpowiedź token po tokenie i zapisuje jego prawdopodobieństwo przy danym prompcie i wcześniejszych tokenach. Suma tych logarytmów prawdopodobieństw daje logarytm prawdopodobieństwa odpowiedzi. Ocenia to prawdopodobieństwo tekstu według modelu; zapisana etykieta preferencji wskazuje, która odpowiedź jest lepsza.

W typowej procedurze RLHF pary preferencji najpierw służą do treningu osobnego modelu nagrody, a następnie uczenie ze wzmocnieniem trenuje model językowy względem tej nagrody. DPO, §4, równanie (7), trenuje natomiast model językowy bezpośrednio na parach. Zamrożony model referencyjny ocenia te same odpowiedzi do porównania. Trening zmienia tylko bieżący model; żaden z modeli nie musi w tym kroku generować nowych odpowiedzi.

Dla każdej odpowiedzi odejmujemy referencyjny logarytm prawdopodobieństwa od bieżącego. Nazwijmy tę zmianę przyrostem. DPO porównuje przyrost preferowanej odpowiedzi z przyrostem odrzuconej:

\begin{aligned} g(y)&=\log\frac{\pi_\theta(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)},\\ \Delta&=g(y_w)-g(y_l),\\ \mathcal L_{\mathrm{DPO}} &=\mathbb E_{(x,y_w,y_l)\sim\mathcal D} \bigl[-\log\sigma(\beta\Delta)\bigr]. \end{aligned}

Tutaj $x$ to prompt, $y_w$ i $y_l$ to preferowana i odrzucona odpowiedź, a $\pi_\theta$ i $\pi_{\mathrm{ref}}$ to model bieżący i referencyjny. Sigmoida $\sigma$ odwzorowuje liczbę na $(0,1)$ , a $\beta$ to dodatnia skala. Ostatni wiersz czytamy jako „uśrednij stratę pary w nawiasach po zapisanych parach ze zbioru $\mathcal D$ ”. Zwiększenie $\Delta$ obniża tę stratę; trening minimalizuje $\mathcal L_{\mathrm{DPO}}$ , zmieniając parametry $\theta$ bieżącego modelu.

Na przykład jeśli preferowana odpowiedź zyskuje 2 w logarytmie prawdopodobieństwa, a odrzucona traci 1, to $\Delta=2-(-1)=3$ . Preferencja zmieniła się w zamierzonym kierunku względem modelu referencyjnego. Strata nie ma osobnego składnika KL i nie narzuca maksymalnej odległości od modelu referencyjnego.

Sama różnica może ukryć problem: preferowana odpowiedź może stawać się mniej prawdopodobna, podczas gdy prawdopodobieństwo odrzuconej spada jeszcze szybciej. Strata nadal się poprawia. Smaug bada ten problem, więc oprócz straty preferencji należy sprawdzać prawdopodobieństwa poszczególnych odpowiedzi.

Oba poniższe przypadki dają takie samo $\Delta=3$ , a więc tę samą stratę pary przy ustalonym $\beta$ . Tylko po lewej preferowana odpowiedź staje się bardziej prawdopodobna niż w modelu referencyjnym.

$Dwa przypadki mają wspólną oś zmiany logarytmu prawdopodobieństwa. Preferowana plus 2 i odrzucona minus 1 dają różnicę przyrostów 3. Preferowana minus 1 i odrzucona minus 4 również dają 3, chociaż prawdopodobieństwa obu odpowiedzi spadły względem modelu referencyjnego.$ $Dwa przypadki mają wspólną oś zmiany logarytmu prawdopodobieństwa. Preferowana plus 2 i odrzucona minus 1 dają różnicę przyrostów 3. Preferowana minus 1 i odrzucona minus 4 również dają 3, chociaż prawdopodobieństwa obu odpowiedzi spadły względem modelu referencyjnego.$

Na następnym rysunku informacja zwrotna DPO jest przypisana do zapisanej pary. GRPO generuje podczas treningu cztery odpowiedzi na „2 + 2?”. Weryfikator odpowiedzi przyznaje 1 za „4” i 0 w pozostałych przypadkach. Porównanie każdej nagrody ze średnią grupy daje przewagę: dodatnia informacja zwrotna sprzyja tokenom wylosowanej odpowiedzi, a ujemna działa przeciwko nim. Następna sekcja pokazuje te obliczenia i ograniczenia ich wpływu.

$DPO ocenia dwie zapisane odpowiedzi za pomocą bieżącego i zamrożonego modelu referencyjnego, a następnie aktualizuje bieżący model. GRPO losuje 3, 4, 4 i 5 dla pytania 2 plus 2. Weryfikator przypisuje nagrody 0, 1, 1 i 0. Przewagi względem grupy minus 1, plus 1, plus 1 i minus 1 kierują aktualizacjami bieżącego modelu.$ $DPO ocenia dwie zapisane odpowiedzi za pomocą bieżącego i zamrożonego modelu referencyjnego, a następnie aktualizuje bieżący model. GRPO losuje 3, 4, 4 i 5 dla pytania 2 plus 2. Weryfikator przypisuje nagrody 0, 1, 1 i 0. Przewagi względem grupy minus 1, plus 1, plus 1 i minus 1 kierują aktualizacjami bieżącego modelu.$

Szczegółowe omówienie DPO wyprowadza stratę z funkcji celu z regularyzacją nagrody i analizuje jej gradient.

GRPO: funkcja celu PPO z grupowym poziomem odniesienia

Group Relative Policy Optimization losuje kilka odpowiedzi na to samo pytanie, ocenia je i porównuje każdą ocenę ze średnią grupy. Poprawna odpowiedź wśród głównie niepoprawnych otrzymuje dodatnią informację zwrotną; niepoprawna wśród poprawnych otrzymuje ujemną. W matematyce lub kodzie oceny mogą pochodzić z weryfikatora odpowiedzi albo testów. Inne zadania mogą używać modelu nagrody.

DeepSeekMath, §4.1.1, wprowadził GRPO jako wariant Proximal Policy Optimization (PPO). DeepSeek-R1, §2.2.1, wykorzystał go później. Główna zmiana dotyczy sposobu obliczania przewagi, czyli względnej nagrody kierującej aktualizacją:

A_i=\frac{r_i-\operatorname{mean}(r_1,\ldots,r_G)}{\operatorname{std}(r_1,\ldots,r_G)}.

$r_i$ to nagroda odpowiedzi $i$ , a $G$ to liczba odpowiedzi na jedno pytanie. Odjęcie średniej wskazuje, które odpowiedzi uzyskały wynik powyżej lub poniżej średniej grupy. Dzielenie przez odchylenie standardowe skaluje te różnice. W pokazanej grupie $(0,1,1,0)$ średnia wynosi $0.5$ , a populacyjne odchylenie standardowe $0.5$ , co daje przewagi $(-1,1,1,-1)$ .

Co zmienia się względem PPO

PPO zwykle trenuje osobny model wartości do szacowania przyszłej nagrody na podstawie częściowej odpowiedzi. GRPO używa zamiast tego ocen grupy jako poziomu odniesienia, więc nie trenuje tego modelu wartości. Nadal potrzebuje informacji o nagrodzie, a jego oryginalna funkcja celu nadal używa modelu referencyjnego do kary KL. Usunięcie modelu wartości nie usuwa tych pozostałych ról.

Poniższe porównanie wskazuje zastępowany model wartości. Dolny wiersz pokazuje dwa inne wejścia do treningu. Stary model lub model próbkujący to wersja, która wygenerowała tę partię odpowiedzi; zapisane prawdopodobieństwa tokenów pozostają stałe podczas treningu bieżącego modelu na tej partii. Osobny model referencyjny, również niezmienny podczas tych aktualizacji, dostarcza prawdopodobieństwa do porównania KL. Oba porównania oceniają ten sam token po tym samym prefiksie.

$PPO korzysta z nagród i trenowanego modelu wartości do szacowania przewag. GRPO normalizuje zamiast tego nagrodę każdej odpowiedzi względem nagród dla tego samego pytania. Iloraz prawdopodobieństw modelu bieżącego i próbkującego oraz KL modelu bieżącego i referencyjnego pełnią osobne role w treningu.$ $PPO korzysta z nagród i trenowanego modelu wartości do szacowania przewag. GRPO normalizuje zamiast tego nagrodę każdej odpowiedzi względem nagród dla tego samego pytania. Iloraz prawdopodobieństw modelu bieżącego i próbkującego oraz KL modelu bieżącego i referencyjnego pełnią osobne role w treningu.$

GRPO zachowuje funkcję celu PPO z przyciętym ilorazem prawdopodobieństw. Jeśli wylosowany token miał prawdopodobieństwo $0.20$ , a bieżący model przypisuje mu teraz $0.24$ dla tego samego prefiksu, iloraz wynosi $0.24/0.20=1.2$ . Funkcja celu waży ten iloraz przewagą odpowiedzi. Trening zmienia bieżący model, aby zwiększać tę funkcję celu, a osobna kara KL ogranicza odchylenie od modelu referencyjnego.

Dla jednej wylosowanej odpowiedzi oznaczmy przez $s_t$ prompt wraz z tokenami odpowiedzi przed pozycją $t$ , a przez $y_t$ token na tej pozycji. Część równania (3) z DeepSeekMath pokazana na wykresie to:

\begin{aligned} \rho_t&=\frac{\pi_\theta(y_t\mid s_t)}{\pi_{\mathrm{old}}(y_t\mid s_t)},\\ C_t&=\min\!\bigl(\rho_t A,\\ &\qquad\operatorname{clip}(\rho_t,1-\varepsilon,1+\varepsilon)A\bigr). \end{aligned}

$\pi_\theta$ to bieżący model, $\pi_{\mathrm{old}}$ to kopia próbkująca, a $A$ to przewaga tej odpowiedzi względem grupy. Szerokość $\varepsilon$ ustala przedział przycinania. $\operatorname{clip}$ czytamy jako „zastąp iloraz spoza przedziału najbliższym końcem przedziału”, a następnie $\min$ jako „wybierz mniejszy z dwóch składników ważonych przewagą”. $C_t$ to wkład, który maksymalizujemy. GRPO odejmuje karę KL i uśrednia po tokenach w odpowiedziach, odpowiedziach w grupach i wylosowanych pytaniach.

Przy $A=1$ , $\varepsilon=0.2$ i $\rho_t=1.5$ oba składniki wynoszą $1.5$ i $1.2$ , więc $C_t=1.2$ . Przy $A=-1$ i $\rho_t=0.5$ wynoszą $-0.5$ i $-0.8$ , więc $C_t=-0.8$ . To dwa płaskie fragmenty wykresu.

Wykres pokazuje wkład jednego tokenu przy ustalonej przewadze. Dodatnia przewaga sprzyja wyższemu ilorazowi; ujemna sprzyja niższemu. Przycinanie sprawia, że linia staje się płaska tam, gdzie korzystna zmiana przestaje poprawiać ten składnik. Nie narzuca sztywnego ograniczenia rzeczywistych prawdopodobieństw modelu.

$Przy szerokości przycinania 0,2 i przewadze plus 1 przycięta funkcja celu rośnie z ilorazem do 1,2, a potem pozostaje stała. Przy przewadze minus 1 pozostaje stała poniżej 0,8 i maleje, gdy iloraz rośnie powyżej 0,8. Rzeczywisty iloraz prawdopodobieństw może przekroczyć każdy z tych progów.$ $Przy szerokości przycinania 0,2 i przewadze plus 1 przycięta funkcja celu rośnie z ilorazem do 1,2, a potem pozostaje stała. Przy przewadze minus 1 pozostaje stała poniżej 0,8 i maleje, gdy iloraz rośnie powyżej 0,8. Rzeczywisty iloraz prawdopodobieństw może przekroczyć każdy z tych progów.$

Kopia próbkująca i model referencyjny mogą zaczynać od tych samych wag, ale służą różnym porównaniom. Kopia próbkująca jest odświeżana przy zbieraniu nowej partii; zapisane przez nią prawdopodobieństwa pozostają mianownikiem podczas aktualizacji na tej partii.

Jeśli każda odpowiedź otrzymuje tę samą nagrodę, nie ma względnej preferencji do nauczenia. Wzór na przewagę dzieli wtedy zero przez zero. Implementacje potrzebują reguły dla tego przypadku, na przykład zwracania zerowych przewag; DAPO, §3.2, zamiast tego wyklucza takie grupy i losuje nowe w ich miejsce.

Szczegółowe omówienie GRPO przedstawia pełną funkcję celu, przypadki przycinania, gradienty, estymator KL oparty na próbkach i wpływ uśredniania po odpowiedziach lub tokenach.

Opcjonalne szczegółowe analizy równań

Podlinkowane szczegółowe omówienia zawierają wyprowadzenia i sprawdzenia na małych liczbach. Powstały przy użyciu umiejętności agentów programistycznych z paper-math-skills i są zebrane w paper-math-readings.

Źródła i wersje

Hinton i współautorzy. Distilling the Knowledge in a Neural Network, §2, równanie (1).
Gu i współautorzy. MiniLLM, §2.1–2.2.
DeepSeek-AI. DeepSeek-V4, §5.1.2, równanie (29).
Rafailov i współautorzy. Direct Preference Optimization, §4, równanie (7).
Shao i współautorzy. DeepSeekMath, §4.1.1, równania (1)–(4).
DeepSeek-AI. DeepSeek-R1, §2.2.1 i §2.4.