Reading the Math in AI Papers · Deel 3 van 3

Trainingsdoelen lezen: distillatie, DPO en GRPO

Viacheslav Dubrov

2026-11-12 · Bijgewerkt 2026-11-12 · 15 min · Modelengineering

Automatische vertaling

Dit artikel is automatisch vertaald vanuit de oorspronkelijke Engelse versie.

Distillatie, Direct Preference Optimization (DPO) en Group Relative Policy Optimization (GRPO) veranderen alle drie de kansen van een taalmodel, maar gebruiken verschillende trainingsvoorbeelden en feedback. Deze gids is voor ingenieurs die die verschillen willen begrijpen voordat ze de volledige doelfuncties lezen. De diagrammen tonen waar de feedback vandaan komt en hoe die kansvergelijkingen verandert; de vergelijkingen geven de bijbehorende bewerkingen.

Bij gewone supervised fine-tuning leert het model de volgende token in opgeslagen voorbeelden te voorspellen. De onderstaande methoden veranderen de feedback: een teacher levert kansen, een voorkeurspaar geeft aan welk antwoord beter is, of een beloning beoordeelt antwoorden die tijdens de training worden gesampled. Een policy is gewoon het model dat antwoorden genereert. Alle logaritmen hieronder zijn natuurlijke logaritmen.

Deel 1 legt uit hoe je een vergelijking leest en bevat een notatieoverzicht. Hier legt elke sectie de benodigde termen uit en kun je die zelfstandig lezen.

Klassieke distillatie: een temperatuur voor beide softmaxfuncties

Een trainingslabel geeft de juiste uitkomst aan: bij next-token prediction is dat de volgende token in een opgeslagen voorbeeld. Een teachermodel levert meer informatie: de kansen voor elke kandidaat-token, inclusief aannemelijke alternatieven. Distillatie traint een kleinere student om die kansen te benaderen. De training verlaagt een numerieke loss door de parameters van de student te veranderen; die van de teacher blijven vast.

Het distillatieartikel van Hinton et al., §2, maakt de kansverdelingen van beide models minder geconcentreerd voordat het ze vergelijkt. Deel elke logit — de ruwe score vóór softmax — door een temperatuur $T$ :

q_i=\frac{\exp(z_i/T)}{\sum_j\exp(z_j/T)}.

Hier is $z_i$ de score van kandidaat $i$ en $q_i$ de kans ervan. Stel dat een eenvoudig voorbeeldmodel maar twee mogelijke volgende tokens heeft, ‘cat’ en ‘dog’, en die de scores $(2,0)$ geeft na het lezen van ‘The animal is a’. Bij $T=1$ zijn de kansen ongeveer $(0.88,0.12)$ ; bij $T=2$ worden ze $(0.73,0.27)$ . De kleinere score draagt nu meer bij aan de vergelijking. Teacher en student gebruiken dezelfde temperatuur.

De balken laten zien hoe dezelfde twee scores een minder geconcentreerde verdeling opleveren als de temperatuur stijgt.

$Voor de voorbeeldtokens cat en dog geven logits 2 en 0 kansen van 0.88 en 0.12 bij temperatuur 1, en 0.73 en 0.27 bij temperatuur 2. Beide grafieken gebruiken dezelfde schaal van nul tot één. De kans op dog neemt toe.$ $Voor de voorbeeldtokens cat en dog geven logits 2 en 0 kansen van 0.88 en 0.12 bij temperatuur 1, en 0.73 en 0.27 bij temperatuur 2. Beide grafieken gebruiken dezelfde schaal van nul tot één. De kans op dog neemt toe.$

De trainingsloss combineert de gewone label-loss met een loss om de afgevlakte teacherverdeling te benaderen. Schrijf $p^{(T)}$ voor de kansen van de teacher en $q^{(T)}$ voor die van de student bij temperatuur $T$ . Voor één gelabelde invoer:

\begin{aligned} \mathcal L&=(1-\lambda)\bigl(-\log q_y^{(1)}\bigr)\\ &\quad+\lambda T^2 D_{\mathrm{KL}}\bigl(p^{(T)}\Vert q^{(T)}\bigr). \end{aligned}

Hier is $\mathcal L$ de loss, $y$ de juiste volgende token en bepaalt $\lambda\in[0,1]$ de mengverhouding. Superscripts tussen haakjes geven temperaturen aan, geen machten. Lees de eerste term als ‘bestraf een lage kans op de juiste token bij $T=1$ ’. Lees de tweede als ‘benader de afgevlakte kansen van de teacher’. De training neemt het gemiddelde van deze losses over de opgeslagen invoer en verandert alleen de student.

$D_{\mathrm{KL}}(p\Vert q)$ is de KL-divergentie van teacher $p$ naar student $q$ . Die meet hoe twee kansverdelingen verschillen: nul als ze overeenkomen. De eerste verdeling levert de gewichten in de vergelijking, dus uitkomsten die volgens de teacher waarschijnlijk zijn, krijgen meer gewicht. Hinton et al. beschrijven een matchingterm met cross-entropy; deze KL-vorm trekt een constante af die alleen van de teacher afhangt en geeft dezelfde gradients voor de student.

De factor $T^2$ compenseert bij benadering voor kleinere gradients bij hogere temperaturen. Dit is een trainingsinstelling; de gedeployde student gaat voor deze softmax gewoonlijk terug naar $T=1$ .

Een prefix is de tekst die al beschikbaar is vóór de volgende token: de prompt plus de antwoordtokens tot dan toe. Zo is ‘The animal is a’ de prefix vóór ‘cat’. In de figuur lezen beide models dezelfde prefix en produceren ze kansen voor de volgende token. Links komen de prefixes uit opgeslagen voorbeelden. Rechts komen ze uit antwoorden die de student tijdens de training genereert. Beide routes gebruiken de vergelijkingsloss om alleen de student bij te werken.

$Klassieke distillatie stuurt vaste invoer naar een bevroren teacher en een trainbare student en vergelijkt daarna hun kansen. On-policy distillatie samplet eerst tekst met de student; teacher en student vergelijken vervolgens de kansen voor de volgende token bij prefixes van die tekst. Alleen de student wordt bijgewerkt.$ $Klassieke distillatie stuurt vaste invoer naar een bevroren teacher en een trainbare student en vergelijkt daarna hun kansen. On-policy distillatie samplet eerst tekst met de student; teacher en student vergelijken vervolgens de kansen voor de volgende token bij prefixes van die tekst. Alleen de student wordt bijgewerkt.$

Er bestaat ook distillatie zonder kansmatching. De gedistilleerde models van DeepSeek-R1, §2.4, kregen fine-tuning op 800.000 voorbeelden die vooraf met DeepSeek-R1 waren samengesteld. Ze gebruikten een supervised loss op opgeslagen tekst; tijdens die training hoefde geen teacher te draaien.

De uitgebreide uitleg over distillatie behandelt de gemengde loss en temperatuurschaling.

On-policy distillatie: de student staat vooraan in de KL

Een student die zelf antwoorden genereert, kan prefixes bereiken — prompt plus antwoord tot dan toe — die nooit in de trainingsdataset voorkwamen. On-policy distillatie verzamelt feedback op tekst die de student daadwerkelijk produceert. Bij een prompt samplet de student een antwoord. Een bevroren teacher beoordeelt vervolgens dezelfde prefixes, zodat de training beide models vergelijkt waar de student begeleiding nodig heeft.

On-policy beschrijft die herkomst van de trainingstekst. Het schrijft op zichzelf geen bepaalde loss voor. De voorbeelden hier gebruiken reverse KL, met de student vooraan:

D_{\mathrm{KL}}(q_\theta\Vert p) =\mathbb E_{y\sim q_\theta}\left[\log\frac{q_\theta(y\mid x)}{p(y\mid x)}\right].

Voor een vaste prompt $x$ is $q_\theta$ de student met trainbare parameters $\theta$ , $p$ de teacher en $y$ een antwoord dat de student heeft gesampled. De uitdrukking vergelijkt de kans die de student aan zijn antwoord gaf met de kans van de teacher. Gemiddeld over studentantwoorden bestraft ze de student voor een hoge kans op tekst die de teacher onwaarschijnlijk vindt.

Dat verschilt van de eis dat de student elke mogelijke uitkomst van de teacher moet kunnen reproduceren. Als een kleine student de volledige verdeling van de teacher niet kan benaderen, kan reverse KL concentratie op enkele waarschijnlijke teacheruitkomsten bevorderen. MiniLLM, §2.1, vergelijking (1), gebruikt deze doelfunctie. De daadwerkelijke trainingsprocedure mengt ook teachersamples door de generatie en past de gradient aan om variantie en lengtebias te verminderen; het diagram toont de basisopzet van on-policy training, niet alle wijzigingen van MiniLLM.

In het eenvoudige voorbeeld hieronder geven teacher en student verschillende kansen aan ‘cat’ en ‘dog’ na dezelfde prefix. KL vermenigvuldigt de log-ratio van elke token met het bijbehorende gewicht en telt de twee termen op. Door het eerste argument te veranderen, verschuift het grootste gewicht van ‘cat’ naar ‘dog’. De balken tonen de gewichten, niet de volledige bijdragen aan de loss.

$Na dezelfde prefix zijn de teacherkansen voor cat en dog 0.8 en 0.2; de studentkansen zijn 0.4 en 0.6. Forward KL weegt de log-ratio's teacher/student met 0.8 en 0.2. Reverse KL weegt de log-ratio's student/teacher met 0.4 en 0.6.$ $Na dezelfde prefix zijn de teacherkansen voor cat en dog 0.8 en 0.2; de studentkansen zijn 0.4 en 0.6. Forward KL weegt de log-ratio's teacher/student met 0.8 en 0.2. Reverse KL weegt de log-ratio's student/teacher met 0.4 en 0.6.$

Van sequence-KL naar token-KL

De kans op een antwoord wordt opgebouwd uit de kansen op de opeenvolgende tokens. Bij elke prefix van een studentantwoord voorspellen beide models de volgende token. Je kunt hun verschillen dus per positie vergelijken en daarna over het antwoord optellen. DeepSeek-V4, §5.1.2, vergelijking (29), gebruikt reverse-KL-distillatie van meerdere gespecialiseerde teachermodels naar één student. Deze teachers zijn afzonderlijke models, niet de expert-subnetwerken binnen een mixture-of-experts-laag.

Op positie $t$ is $q_t(v)=q_\theta(v\mid x,y_{<t})$ de kans die de student aan kandidaat-token $v$ geeft. De prefix bevat prompt $x$ en de voorgaande antwoordtokens $y_{<t}$ ; $p_t(v)$ is de teacherkans bij diezelfde prefix. Dan geldt:

\begin{aligned} d_t&=\sum_{v\in V}q_t(v)\log\frac{q_t(v)}{p_t(v)},\\ D_{\mathrm{KL}}(q_\theta\Vert p) &=\mathbb E_{y\sim q_\theta}\left[\sum_t d_t\right]. \end{aligned}

$V$ is het vocabulaire en $d_t$ de next-token-KL bij één prefix. Lees de binnenste som als ‘vergelijk elke kandidaat-token, gewogen met de studentkans’. Tel deze vergelijkingen op over de posities en neem daarna het gemiddelde over de antwoorden die de student genereert. De buitenste verwachtingswaarde samplet nog steeds tekst, ook als elke $d_t$ het hele vocabulaire sommeert.

Eén gesamplede token of het volledige vocabulaire

De teacher kan alleen de token beoordelen die de student koos, of kansen voor het hele vocabulaire teruggeven. De eerste optie draagt minder informatie over; de tweede vergelijkt alle mogelijke volgende tokens bij die prefix. DeepSeek-V4 meldt instabiele training met zijn schatting op basis van één token en gebruikt de vergelijking over het volledige vocabulaire. Dat maakt de tokenvergelijking exact bij een gegeven prefix; de prefixes komen nog steeds uit gesamplede antwoorden.

Beide models lezen ‘The animal is a’ en geven de onderstaande kansen terug. De gemarkeerde rijen gaan de loss in waarmee de student wordt bijgewerkt. De versie met het volledige vocabulaire bevat ‘dog’ en ‘fox’, hoewel de student ‘cat’ koos; de versie met één token schat die vergelijking op basis van alleen de gekozen token.

$Bij de prefix ‘The animal is a’ samplet de student cat. Een schatting met één token vergelijkt alleen de kansen voor cat. KL over het volledige vocabulaire bevat cat, dog en fox in dit voorbeeldvocabulaire en weegt elke log-ratio met de studentkans. De prefix blijft gesampled.$ $Bij de prefix ‘The animal is a’ samplet de student cat. Een schatting met één token vergelijkt alleen de kansen voor cat. KL over het volledige vocabulaire bevat cat, dog en fox in dit voorbeeldvocabulaire en weegt elke log-ratio met de studentkans. De prefix blijft gesampled.$

Met de drie rijen geldt $d_t=0.5\log(0.5/0.6)+0.2\log(0.2/0.3)+0.3\log(0.3/0.1)\approx0.157$ . De log-ratio voor alleen de gesamplede ‘cat’ is ongeveer $-0.182$ . Eén sample kan negatief zijn, hoewel de volledige KL niet-negatief is.

De uitgebreide uitleg over on-policy distillatie behandelt de afleiding van sequence-KL naar token-KL, samplingcorrecties en gradientschattingen.

DPO: een logistische loss op twee log-ratio’s

DPO begint met een opgeslagen voorkeurspaar: één prompt, een voorkeursantwoord en een afgewezen antwoord. Het paar kan afkomstig zijn van menselijke beoordelingen van eerdere modeluitvoer. Tijdens de training leest het model elk opgeslagen antwoord token voor token en legt de kans vast, gegeven de prompt en de voorgaande tokens. Het optellen van die log-kansen geeft de log-kans van het antwoord. Dat beoordeelt hoe waarschijnlijk de tekst volgens het model is; het opgeslagen voorkeurslabel geeft aan welk antwoord beter is.

Bij een gebruikelijke RLHF-procedure trainen voorkeursparen eerst een afzonderlijk beloningsmodel, waarna reinforcement learning het taalmodel op die beloning traint. DPO, §4, vergelijking (7), traint het taalmodel rechtstreeks met de paren. Een bevroren referentiemodel beoordeelt dezelfde antwoorden ter vergelijking. De training verandert alleen het huidige model; geen van beide models hoeft voor deze stap nieuwe antwoorden te genereren.

Trek voor elk antwoord de referentie-log-kans af van de huidige log-kans. Noem deze verandering de winst. DPO vergelijkt de winst van het voorkeursantwoord met die van het afgewezen antwoord:

\begin{aligned} g(y)&=\log\frac{\pi_\theta(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)},\\ \Delta&=g(y_w)-g(y_l),\\ \mathcal L_{\mathrm{DPO}} &=\mathbb E_{(x,y_w,y_l)\sim\mathcal D} \bigl[-\log\sigma(\beta\Delta)\bigr]. \end{aligned}

Hier is $x$ de prompt, zijn $y_w$ en $y_l$ het voorkeursantwoord en het afgewezen antwoord, en zijn $\pi_\theta$ en $\pi_{\mathrm{ref}}$ het huidige model en het referentiemodel. De sigmoid $\sigma$ zet een getal om naar $(0,1)$ en $\beta$ is een positieve schaalfactor. Lees de laatste regel als ‘neem het gemiddelde van de paar-loss tussen haakjes over de opgeslagen paren in dataset $\mathcal D$ ’. Een hogere $\Delta$ verlaagt die loss; de training minimaliseert $\mathcal L_{\mathrm{DPO}}$ door de parameters $\theta$ van het huidige model te veranderen.

Als het voorkeursantwoord bijvoorbeeld 2 aan log-kans wint en het afgewezen antwoord 1 verliest, dan is $\Delta=2-(-1)=3$ . De voorkeur is in de bedoelde richting veranderd ten opzichte van de referentie. De loss bevat geen afzonderlijke KL-term en dwingt geen maximale afstand tot de referentie af.

Alleen het verschil bekijken kan een probleem verbergen: het voorkeursantwoord kan minder waarschijnlijk worden terwijl het afgewezen antwoord nog sneller minder waarschijnlijk wordt. De loss verbetert dan nog steeds. Smaug onderzoekt dit probleem; bekijk dus naast de voorkeursloss ook de kansen van de afzonderlijke antwoorden.

De twee gevallen hieronder geven dezelfde $\Delta=3$ en dus dezelfde paar-loss bij een vaste $\beta$ . Alleen links wordt het voorkeursantwoord waarschijnlijker dan onder de referentie.

$Twee gevallen delen een as voor de verandering in log-kans. Voorkeur plus 2 en afgewezen min 1 geven een winstverschil van 3. Voorkeur min 1 en afgewezen min 4 geven ook 3, hoewel beide antwoordkansen ten opzichte van de referentie zijn gedaald.$ $Twee gevallen delen een as voor de verandering in log-kans. Voorkeur plus 2 en afgewezen min 1 geven een winstverschil van 3. Voorkeur min 1 en afgewezen min 4 geven ook 3, hoewel beide antwoordkansen ten opzichte van de referentie zijn gedaald.$

In de volgende figuur hoort de feedback van DPO bij een opgeslagen paar. GRPO genereert tijdens de training vier antwoorden op ‘2 + 2?’. Een antwoordcontrole geeft 1 voor ‘4’ en anders 0. Elke beloning vergelijken met het groepsgemiddelde levert een advantage op: positieve feedback stimuleert de tokens van het gesamplede antwoord en negatieve feedback ontmoedigt ze. De volgende sectie laat die berekening zien en de grenzen aan het effect ervan.

$DPO gebruikt het huidige model en een bevroren referentiemodel om twee opgeslagen antwoorden te beoordelen en werkt daarna het huidige model bij. GRPO samplet 3, 4, 4 en 5 voor de vraag 2 plus 2. Een controle geeft beloningen 0, 1, 1 en 0. Groepsrelatieve advantages van min 1, plus 1, plus 1 en min 1 sturen de updates van het huidige model.$ $DPO gebruikt het huidige model en een bevroren referentiemodel om twee opgeslagen antwoorden te beoordelen en werkt daarna het huidige model bij. GRPO samplet 3, 4, 4 en 5 voor de vraag 2 plus 2. Een controle geeft beloningen 0, 1, 1 en 0. Groepsrelatieve advantages van min 1, plus 1, plus 1 en min 1 sturen de updates van het huidige model.$

De uitgebreide uitleg over DPO leidt de loss af uit de met beloning geregulariseerde doelfunctie en werkt de gradient uit.

GRPO: de doelfunctie van PPO met een groepsbaseline

Group Relative Policy Optimization samplet meerdere antwoorden op dezelfde vraag, beoordeelt ze en vergelijkt elke score met het groepsgemiddelde. Een juist antwoord tussen overwegend onjuiste antwoorden krijgt positieve feedback; een onjuist antwoord tussen juiste antwoorden krijgt negatieve feedback. Voor wiskunde of code kan de beoordeling een antwoordcontrole of tests gebruiken. Andere taken kunnen een beloningsmodel gebruiken.

DeepSeekMath, §4.1.1, introduceerde GRPO als variant van Proximal Policy Optimization (PPO). DeepSeek-R1, §2.2.1, gebruikte het later. De belangrijkste verandering is de berekening van de advantage, de relatieve beloning die de update stuurt:

A_i=\frac{r_i-\operatorname{mean}(r_1,\ldots,r_G)}{\operatorname{std}(r_1,\ldots,r_G)}.

$r_i$ is de beloning van antwoord $i$ en $G$ het aantal antwoorden op één vraag. De gemiddelde score aftrekken laat zien welke antwoorden boven of onder het groepsgemiddelde scoren. Delen door de standaardafwijking schaalt die verschillen. In de afgebeelde groep $(0,1,1,0)$ is het gemiddelde $0.5$ en de populatiestandaardafwijking $0.5$ , wat advantages $(-1,1,1,-1)$ geeft.

Wat verandert ten opzichte van PPO

PPO traint doorgaans een afzonderlijk waardemodel om toekomstige beloning te schatten op basis van een gedeeltelijk antwoord. GRPO gebruikt de groepsscores als baseline en traint dat waardemodel dus niet. Het heeft nog steeds beloningsfeedback nodig en de oorspronkelijke doelfunctie gebruikt nog steeds een referentiemodel voor een KL-penalty. Het verwijderen van het waardemodel verwijdert die andere rollen niet.

De vergelijking hieronder laat zien waar het vervangen waardemodel zat. De onderste rij toont twee andere invoeren voor de training. Het oude model, of samplingmodel, is de versie die deze batch antwoorden genereerde; de vastgelegde tokenkansen blijven vast terwijl het huidige model op die batch traint. Een afzonderlijk referentiemodel, dat tijdens deze updates ook vast blijft, levert kansen voor de KL-vergelijking. Beide vergelijkingen beoordelen dezelfde token na dezelfde prefix.

$PPO gebruikt beloningsfeedback en een getraind waardemodel om advantages te schatten. GRPO normaliseert in plaats daarvan elke antwoordbeloning ten opzichte van beloningen voor dezelfde vraag. De kansratio huidig/sampling en de KL huidig/referentie hebben afzonderlijke rollen in de training.$ $PPO gebruikt beloningsfeedback en een getraind waardemodel om advantages te schatten. GRPO normaliseert in plaats daarvan elke antwoordbeloning ten opzichte van beloningen voor dezelfde vraag. De kansratio huidig/sampling en de KL huidig/referentie hebben afzonderlijke rollen in de training.$

GRPO behoudt de geclipte kansratio-doelfunctie van PPO. Als een gesamplede token kans $0.20$ had en het huidige model die nu kans $0.24$ geeft bij dezelfde prefix, is de ratio $0.24/0.20=1.2$ . De doelfunctie weegt die ratio met de advantage van het antwoord. De training verandert het huidige model om deze doelfunctie te verhogen, terwijl een afzonderlijke KL-penalty afwijkingen van de referentie ontmoedigt.

Schrijf voor één gesampled antwoord $s_t$ voor de prompt plus de antwoordtokens vóór positie $t$ , en $y_t$ voor de token op die positie. Het deel van vergelijking (3) van DeepSeekMath dat de grafiek toont, is:

\begin{aligned} \rho_t&=\frac{\pi_\theta(y_t\mid s_t)}{\pi_{\mathrm{old}}(y_t\mid s_t)},\\ C_t&=\min\!\bigl(\rho_t A,\\ &\qquad\operatorname{clip}(\rho_t,1-\varepsilon,1+\varepsilon)A\bigr). \end{aligned}

$\pi_\theta$ is het huidige model, $\pi_{\mathrm{old}}$ de samplingkopie en $A$ de groepsadvantage van dit antwoord. De breedte $\varepsilon$ bepaalt het clippinginterval. Lees $\operatorname{clip}$ als ‘vervang een ratio buiten het interval door het dichtstbijzijnde eindpunt’ en daarna $\min$ als ‘neem de kleinste van de twee met de advantage gewogen termen’. $C_t$ is een bijdrage om te maximaliseren. GRPO trekt de KL-penalty ervan af en neemt het gemiddelde over tokens binnen antwoorden, antwoorden binnen groepen en gesamplede vragen.

Met $A=1$ , $\varepsilon=0.2$ en $\rho_t=1.5$ zijn de twee termen $1.5$ en $1.2$ , dus $C_t=1.2$ . Met $A=-1$ en $\rho_t=0.5$ zijn ze $-0.5$ en $-0.8$ , dus $C_t=-0.8$ . Dit zijn de twee horizontale delen van de grafiek.

De grafiek toont de bijdrage van één token bij een vaste advantage. Een positieve advantage stimuleert een hogere ratio; een negatieve advantage stimuleert een lagere. Clipping maakt de lijn horizontaal waar een gunstige verandering deze term niet verder verbetert. Het legt geen harde grens op aan de daadwerkelijke kansen van het model.

$Bij clippingbreedte 0.2 en advantage plus 1 stijgt de geclipte doelfunctie met de ratio tot 1.2 en blijft daarna constant. Bij advantage min 1 blijft die onder 0.8 constant en daalt als de ratio boven 0.8 stijgt. De werkelijke kansratio kan beide grenzen overschrijden.$ $Bij clippingbreedte 0.2 en advantage plus 1 stijgt de geclipte doelfunctie met de ratio tot 1.2 en blijft daarna constant. Bij advantage min 1 blijft die onder 0.8 constant en daalt als de ratio boven 0.8 stijgt. De werkelijke kansratio kan beide grenzen overschrijden.$

De samplingkopie en de referentie kunnen beginnen met dezelfde weights, maar dienen voor verschillende vergelijkingen. De samplingkopie wordt vernieuwd bij het verzamelen van een nieuwe batch; de vastgelegde kansen blijven de noemer voor updates op die batch.

Als elk antwoord dezelfde beloning krijgt, valt er geen relatieve voorkeur te leren. De advantage-formule deelt dan nul door nul. Implementaties hebben hiervoor een regel nodig, zoals nul-advantages produceren; DAPO, §3.2, sluit zulke groepen juist uit en samplet vervangende groepen.

De uitgebreide uitleg over GRPO behandelt de volledige doelfunctie, clippinggevallen, gradients, de gesamplede KL-schatter en het effect van middelen per antwoord of per token.

Optionele uitwerkingen van de vergelijkingen

De gelinkte uitgebreide uitleg bevat afleidingen en controles met kleine getallen. De teksten zijn gemaakt met de coding-agent-skills uit paper-math-skills en verzameld in paper-math-readings.

Bronnen en versies

Hinton et al. Distilling the Knowledge in a Neural Network, §2, vergelijking (1).
Gu et al. MiniLLM, §2.1–2.2.
DeepSeek-AI. DeepSeek-V4, §5.1.2, vergelijking (29).
Rafailov et al. Direct Preference Optimization, §4, vergelijking (7).
Shao et al. DeepSeekMath, §4.1.1, vergelijkingen (1)–(4).
DeepSeek-AI. DeepSeek-R1, §2.2.1 en §2.4.