DAPO, GSPO, CISPO — развитие GRPO

Зачем это нужно

После выхода R1 десятки команд попробовали повторить R1-Zero. Самый показательный результат — у ByteDance Seed: «наивный» GRPO на Qwen2.5-32B-Base дал на AIME 2024 всего 30 баллов, а DeepSeek на той же базе сообщали о 47. Рецепт, который «просто работает» на 671B-модели с тщательно подобранной инфраструктурой, на других моделях начал ломаться: падала энтропия, раздувалась длина, обучение внезапно разваливалось.

За 2025 год накопился набор исправлений. Почти все они — китайские: DAPO (ByteDance и Цинхуа), GSPO (Qwen), CISPO (MiniMax), подход Kimi k1.5 (Moonshot). Сегодня это не экзотика, а переключатели в TRL и verl (библиотеки RL-дообучения от Hugging Face и ByteDance, они уже встречались в модуле 6.3 и уроке 6.4.1): loss_type="dapo", importance_sampling_level="sequence", loss_type="cispo". Чтобы осознанно их выбирать, нужно понимать, какую болезнь лечит каждый.

Болезнь «наивного» GRPO	Симптом в логах	Лекарство
коллапс энтропииколлапс энтропииEN entropy collapseЭнтропия политики быстро падает при RL: ответы в группе становятся почти одинаковыми, исследование прекращается, рост награды упирается в потолок.	энтропия падает, ответы в группе одинаковые, награда выходит на плато	Clip-Higher (DAPO), CISPO, контроль энтропии
Вырожденные («пустые») группы	растёт доля групп с наградой 0 или 1, градиент шумный	динамический сэмплинг (DAPO)
смещение по длинесмещение по длине (в GRPO)EN response-level length biasИз-за множителя 1/|o_i| короткие верные ответы поощряются сильнее, а длинные неверные наказываются слабее. Исправления — token-level loss (DAPO) и Dr. GRPO.	длина растёт, особенно у неверных ответов	token-level loss (DAPO), Dr. GRPO
Шум усечённых ответов	хорошие, но обрезанные по лимиту ответы получают штраф	мягкий штраф за длину (DAPO), штраф Kimi
Шумные токенные веса importance sampling (IS, урок 6.3.2), коллапс MoE	внезапный необратимый развал обучения	GSPO

Энтропия и её коллапс

Энтропияэнтропия (информационная)EN (Shannon) entropyH(p) = −Σ p log p — среднее «удивление», мера неопределённости распределения. Максимальна у равномерного распределения. политики на токене — $H = -\sum_a \pi(a) \log \pi(a)$: насколько модель «сомневается», какой токен выбрать (урок 1.3.3). Если энтропия близка к нулю, модель на каждом шаге почти детерминирована — и все $G$ ответов группы становятся одинаковыми. А одинаковые ответы — это одинаковые награды и нулевые преимущества. RL перестаёт исследовать и упирается в потолок.

Почему энтропия падает сама? RL подкрепляет то, что получило высокую награду. Но сэмплируются чаще всего вероятные токены, значит, и подкрепляются чаще всего они. Подъём и без того частого токена делает распределение острее. Работа Cui и соавторов («The Entropy Mechanism of RL for Reasoning LMs», май 2025) формализовала это: изменение энтропии за шаг определяется ковариацией между логарифмом вероятности действия и его преимуществом. Напомним: ковариация двух величин положительна, если они обычно вместе выше или вместе ниже своих средних, и отрицательна, если одна растёт, когда другая падает (урок 2.3.2). Положительная ковариация здесь значит: высокое преимущество чаще достаётся и без того вероятным токенам. Если поощряются частые действия — энтропия падает, если редкие — растёт. Там же показана эмпирическая зависимость $R = -a\, e^{H} + b$ ($a$ и $b$ — положительные константы, подобранные под конкретную модель): когда энтропия исчерпана ($H \to 0$, значит $e^{H} \to 1$), награда упирается в потолок $b - a$.

Проверим на числах (код в разделе «Практика»): распределение $[0.7, 0.2, 0.05, 0.05]$ с энтропией 0.871. Один шаг градиента политики, который поощряет частый токен, опускает энтропию до 0.655. Тот же шаг, но поощряющий редкий токен, поднимает её до 0.903.

Отсюда все приёмы борьбы: не мешать редким токенам расти (Clip-Higher, CISPO), не давать частым разгоняться (Clip-Cov и KL-Cov из той же работы — они ограничивают обновления токенов с наибольшей ковариацией), добавлять бонус за энтропию (в TRL — entropy_coef). В отчёте Qwen3 отдельно сказано, что на этапе reasoning RL энтропию держали растущей или стабильной — и это было критично для стабильности.

DAPO: четыре приёма

DAPO (Decoupled Clip and Dynamic sAmpling Policy Optimization) — работа ByteDance Seed и института AIR Университета Цинхуа, март 2025. Открыто всё: алгоритм, код на verl и датасет DAPO-Math-17K, где ответы всех задач приведены к целым числам, чтобы их было легко проверять. Награда простая: +1 за верный ответ, −1 за неверный. KL-штраф убран совсем: модель для длинных рассуждений и должна далеко уйти от исходной.

1. Clip-Higher

Клиппинг PPO (урок 6.0.3) ограничивает $\rho = \pi_\theta / \pi_{\text{old}}$ отрезком $[0.8, 1.2]$. Посмотрим, что это значит для вероятностей:

$\pi_{\text{old}}$	Максимум $\pi_\theta$ при $\varepsilon = 0.2$	При $\varepsilon_{\text{high}} = 0.28$
0.9	1.08 — ограничения фактически нет	1.15
0.1	0.12	0.128
0.01	0.012	0.0128

Частый токен может «подрасти» до единицы за один шаг, а редкий — только на 20% от своей крохотной вероятности. DAPO заметили, что почти все клиппированные токены имели вероятность меньше 0.2. Лекарство — асимметричный клиппингасимметричный клиппинг (Clip-Higher)EN Clip-Higher (decoupled clipping range)Верхняя граница клиппинга больше нижней (в DAPO — 1 + 0.28 и 1 − 0.2), чтобы редкие «исследовательские» токены могли расти.: развязать границы, $1 - \varepsilon_{\text{low}}$ и $1 + \varepsilon_{\text{high}}$, и поднять верхнюю до 0.28. Нижнюю оставляют 0.2: если её расширить, редкие токены можно «задавить» до нуля, и пространство сэмплирования схлопнется.

2. Динамический сэмплинг

Вспомните вырожденные группы из урока 6.4.1. По мере обучения всё больше задач модель решает на 100%, их группы дают нулевой градиент, и эффективный размер батча тает. динамический сэмплингдинамический сэмплингEN dynamic samplingВыбросить группы с точностью 0 или 1 и досэмплировать новые, пока батч не заполнится «живыми» группами.: генерировать с запасом, выбрасывать группы с точностью 0 или 1 и досэмплировать, пока батч не заполнится «живыми» группами. Генерации становится больше, но, по наблюдениям авторов, до той же точности обучение доходит быстрее.

3. Token-level loss

В GRPO сначала усредняют по токенам ответа, потом по ответам. Каждый ответ весит одинаково, поэтому каждый токен длинного ответа весит меньше. Для длинных рассуждений это плохо дважды: хорошие длинные решения учат модель слабее, а мусор в длинных ответах (повторы, бессвязный текст) почти не наказывается. loss на уровне токеновloss на уровне токеновEN token-level policy gradient lossСумма по всем токенам батча, делённая на их общее число: каждый токен весит одинаково, независимо от длины ответа. DAPO:

$$\mathcal{J}_{\text{DAPO}} = \mathbb{E}\left[ \frac{1}{\sum_{i=1}^{G} |o_i|} \sum_{i=1}^{G} \sum_{t=1}^{|o_i|} \min\big(\rho_{i,t} A_i,\ \mathrm{clip}(\rho_{i,t}, 1 - \varepsilon_{\text{low}}, 1 + \varepsilon_{\text{high}})\, A_i\big) \right]$$

Что изменилось: одна общая сумма по всем токенам группы, делённая на их общее число. Паттерн, который повышает или понижает награду, поощряется или подавляется одинаково, в каком бы длинном ответе он ни встретился.

4. Мягкий штраф за сверхдлинные ответы

У генерации есть лимит длины. Ответ, обрезанный на полуслове, не содержит итогового ответа и получает −1 — хотя рассуждение могло быть верным. Это шум в награде. Сначала авторы попробовали самое простое — не учиться на обрезанных ответах вовсе, обнулив их loss маской (overlong filtering). Уже это заметно стабилизировало обучение (см. таблицу ниже). Следующий шаг — «буфер» $L_{\text{cache}}$ перед жёстким лимитом $L_{\max}$, пример формирование наградыформирование награды (reward shaping)EN reward shapingДобавки к основной награде, которые направляют обучение: штраф за длину, за формат, за смешение языков.:

$$R_{\text{length}}(y) = \begin{cases} 0, & |y| \le L_{\max} - L_{\text{cache}} \\[2pt] \dfrac{(L_{\max} - L_{\text{cache}}) - |y|}{L_{\text{cache}}}, & L_{\max} - L_{\text{cache}} < |y| \le L_{\max} \\[6pt] -1, & |y| > L_{\max} \end{cases}$$

В статье $L_{\max} = 20\,480$, $L_{\text{cache}} = 4096$: до 16 384 токенов штрафа нет, дальше он линейно растёт. Ответ длиной 18 432 токена получает $(16\,384 - 18\,432) / 4096 = -0.5$ к награде за точность.

Сколько дал каждый приём

Таблица 1 из статьи DAPO, AIME 2024 (avg@32 — каждую задачу решают 32 раза и усредняют долю верных ответов, так оценка меньше зависит от удачи одного сэмпла), Qwen2.5-32B-Base:

Конфигурация	AIME 2024
DeepSeek-R1-Zero-Qwen-32B (ориентир)	47
Наивный GRPO	30
+ фильтрация обрезанных ответов	36
+ Clip-Higher	38
+ мягкий штраф за длину	41
+ token-level loss	42
+ динамический сэмплинг = DAPO	50

Итог — 50 баллов при вдвое меньшем числе шагов, чем у ориентира. Авторы отмечают, что token-level loss даёт немного баллов, зато делает рост длины «здоровым» и обучение — стабильнее.

Dr. GRPO: убрать два деления

Работа Sea AI Lab «Understanding R1-Zero-Like Training» (март 2025) нашла в формуле GRPO два смещения и предложила вариант Dr. GRPO («GRPO Done Right»):

1. Смещение по длине — из-за $1/\vert o_i \vert$. При $A > 0$ короткие ответы получают больший градиент на токен, при $A < 0$ длинные неверные ответы наказываются слабее. Результат — модель «учится» ошибаться многословно, и длина растёт даже когда награда уже не растёт.
2. Смещение по трудности — из-за деления на std группы. Почти решённые и почти безнадёжные вопросы (маленький std) получают больший вес (вы видели это в уроке 6.4.1).

Исправление — делить сумму по токенам на константу $G \cdot L_{\max}$, а не на длину ответа, и не делить преимущество на std: $A_i = r_i - \mathrm{mean}(r)$. По данным авторов, точность сохраняется, а длина неверных ответов заметно падает. В TRL это loss_type="dr_grpo" и scale_rewards="none" (или False).

GSPO: отношение вероятностей для всего ответа

GSPO (Group Sequence Policy Optimization) — работа команды Qwen, июль 2025. Её аргумент глубже настроек: токенные веса importance sampling в GRPO некорректны в принципе.

Importance sampling исправляет расхождение распределений, усредняя по многим сэмплам. А в GRPO вес $\rho_{i,t}$ считается для каждой позиции по одному сэмплу из распределения следующего токена. Такой вес ничего не корректирует — он просто добавляет шум, который накапливается с длиной ответа и усиливается клиппингом. Авторы наблюдали необратимый коллапс: откат к чекпоинту и подбор гиперпараметров не помогали. Принцип GSPO: единица оптимизации должна совпадать с единицей награды. Награда выдаётся за весь ответ — значит, и отношение вероятностей нужно для всего ответа:

$$s_i(\theta) = \left(\frac{\pi_\theta(y_i \mid x)}{\pi_{\theta_{\text{old}}}(y_i \mid x)}\right)^{\frac{1}{|y_i|}} = \exp\left(\frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \log \frac{\pi_\theta(y_{i,t} \mid x, y_{i,<t})}{\pi_{\theta_{\text{old}}}(y_{i,t} \mid x, y_{i,<t})}\right)$$ $$\mathcal{J}_{\text{GSPO}} = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G} \min\big(s_i A_i,\ \mathrm{clip}(s_i, 1 - \varepsilon, 1 + \varepsilon)\, A_i\big)\right]$$

Как читать: $s_i$ — среднее геометрическое токенных отношений, то есть насколько в среднем на токен изменилась вероятность всего ответа. Среднее геометрическое $n$ чисел — корень $n$-й степени из их произведения: для 2 и 8 это $\sqrt{2 \cdot 8} = 4$. Вероятность ответа — произведение вероятностей токенов, поэтому отношение для всего ответа — произведение токенных $\rho_{i,t}$, а корень степени $\vert y_i \vert$ превращает его в «типичное» отношение на токен. Вторая запись формулы — то же самое через логарифмы: среднее логарифмов, а затем экспонента. Корень степени $\vert y_i \vert$ нужен, чтобы ответы разной длины жили в одной шкале. Клиппинг тоже на уровне ответа: «слишком off-policy» ответы выбрасываются целиком. Поэтому и границы другие: в экспериментах статьи — $3 \cdot 10^{-4}$ и $4 \cdot 10^{-4}$, а у GRPO для сравнения 0.2 и 0.27. Парадокс: GSPO клиппирует около 15% токенов против 0.13% у GRPO — на два порядка больше — и всё равно учится эффективнее. Оставшиеся градиенты просто качественнее.

MoE. Для моделей-смесей экспертов (модуль 5.3) аргумент становится решающим. В 48-слойной Qwen3-30B-A3B-Base после каждого шага градиента примерно 10% экспертов, активных для того же ответа, меняются. Токенные отношения $\rho_{i,t}$ при этом прыгают уже не из-за обучения, а из-за смены маршрута. Для GRPO приходилось использовать Routing Replay — запоминать маршруты старой политики и принудительно повторять их при подсчёте $\rho$. Это стоит памяти и связи между GPU и ограничивает модель. GSPO в Routing Replay не нуждается: вероятность целого ответа гораздо устойчивее к смене отдельных экспертов. Авторы пишут, что GSPO внёс вклад в улучшения последних моделей Qwen3.

CISPO: не выбрасывать «развилочные» токены

MiniMax-M1 (июнь 2025) — reasoning-модель на гибридном линейном внимании (урок 5.5.3). Обучая её, команда заметила: токены рефлексии — «However», «Recheck», «Wait», «Aha» — у базовой модели редки и маловероятны. После первого обновления их $\rho$ резко растёт, клиппинг их вырезает, и в следующих off-policy-шагах (у MiniMax было 16 шагов на батч) они градиента не получают. Off-policy — противоположность on-policy из уроков 6.0.2 и 6.3.1: шаги делают на ответах, которые сгенерировала уже немного устаревшая версия политики. Но именно эти «развилки» рассуждения и нужны. Clip-Higher DAPO в их постановке помогал слабо.

CISPO (Clipped IS-weight Policy Optimization) возвращается к REINFORCE с поправкой importance sampling и клиппирует сам вес, а не обновление:

$$\begin{gathered} \mathcal{J}_{\text{CISPO}} = \mathbb{E}\left[\frac{1}{\sum_i |o_i|}\sum_{i=1}^{G}\sum_{t=1}^{|o_i|} \mathrm{sg}\big(\hat\rho_{i,t}\big)\, A_i \log \pi_\theta(o_{i,t} \mid q, o_{i,<t})\right], \\ \hat\rho_{i,t} = \mathrm{clip}\big(\rho_{i,t},\ 1 - \varepsilon_{\text{low}},\ 1 + \varepsilon_{\text{high}}\big) \end{gathered}$$

$\mathrm{sg}$ — stop-gradient: вес — просто число, градиент через него не течёт (в PyTorch это .detach(), см. код ниже). Разница с PPO: там клиппированный токен даёт нулевой градиент, здесь — градиент с ограниченным весом. Нижнюю границу MiniMax фактически не использовали, настраивали только верхнюю. Плюс token-level loss и динамический сэмплинг из DAPO, KL-штрафа нет. В контрольном эксперименте на Qwen2.5-32B-Base CISPO догнал DAPO за вдвое меньшее число шагов. Весь RL модели M1 занял три недели на 512 H800 — 534 700 долл. аренды.

Тихий убийца RL: точность вычислений

В том же отчёте MiniMax описана проблема, о которой мало пишут. Вероятности одних и тех же токенов в движке генерации и в обучающем коде заметно расходились: ядра разные, точность разная. Из-за этого награда не росла. Виновником оказалась выходная голова (LM head) с большими активациями. Её перевели в FP32 — и корреляция вероятностей вернулась к норме. Это тот же вывод, что в уроке 5.4.1 (DeepSeek-V3 тоже оставила выходной слой в повышенной точности) и в ловушках softmax из урока 1.3.2: экономьте точность где угодно, только не там, где считаются вероятности.

Kimi k1.5: зеркальный спуск и штраф за длину

Kimi k1.5 вышла 20 января 2025 года — в один день с R1 — и пришла к похожему выводу другим путём. Moonshot решает задачу «максимум награды минус KL к текущей политике итерации» — ту самую, у которой в уроке 6.3.1 мы нашли точное решение $\pi^* \propto \pi_{\theta_i} e^{r/\tau}$. На практике градиент сводится к градиенту политики с baseline = средняя награда $k$ ответов на задачу плюс квадратичный штраф за отход от $\pi_{\theta_i}$. То есть та же групповая идея, что в GRPO, полученная из другой теории (online mirror descent — «зеркальный спуск»; её детали нам не понадобятся, важен итоговый градиент). Модели-критика тоже нет, и аргумент интересный: критик наказал бы шаг рассуждения, ведущий в тупик, а для длинных рассуждений полезно пробовать ошибочные пути, если модель потом из них выбирается.

Второй вклад — борьба с «передумывание»«передумывание» (overthinking)EN overthinkingМодель тратит тысячи токенов там, где хватило бы сотни. Лечат штрафом за длину, long2short, бюджетом мышления.. Штраф за длину внутри группы $k$ ответов:

$$\begin{gathered} \lambda_i = 0.5 - \frac{\mathrm{len}_i - \min \mathrm{len}}{\max \mathrm{len} - \min \mathrm{len}}, \\ \text{len\_reward}_i = \begin{cases} \lambda_i, & \text{ответ верный} \\ \min(0, \lambda_i), & \text{ответ неверный} \end{cases} \end{gathered}$$

Пример: в группе ответы длиной 1000, 3000 и 5000 токенов, $\lambda = [0.5,\ 0,\ -0.5]$. Самый короткий верный получает +0.5, самый длинный неверный — −0.5, а короткий неверный — 0 (за краткость неверного ответа не хвалят). Штраф включают не с начала, а после «разогрева»: иначе он замедляет обучение.

Ещё два приёма k1.5 — partial rollouts (длинные ответы генерируются по частям через несколько итераций, контекст RL довели до 128K токенов) и long2short: перенос навыков длинного рассуждения в короткие ответы через усреднение весов моделей, отбор самого короткого верного ответа из 8, DPO «короткое верное против длинного» и отдельную RL-фазу со штрафом за длину. Результаты k1.5 в режиме длинного рассуждения: AIME 77.5, MATH-500 96.2.

Сводная карта

Метод	Кто и когда	Что меняет	Что лечит
Kimi k1.5	Moonshot, январь 2025	зеркальный спуск, штраф за длину, long2short	overthinking, длинный контекст в RL
Dr. GRPO	Sea AI Lab, март 2025	без $1/\vert o_i \vert$ и без std	смещения по длине и трудности
DAPODAPOEN Decoupled Clip and Dynamic sAmpling Policy Optimization (DAPO)ByteDance Seed и Tsinghua AIR, 2025: Clip-Higher, динамический сэмплинг, token-level loss, мягкий штраф за сверхдлинные ответы.	ByteDance Seed + Tsinghua AIR, март 2025	Clip-Higher, динамический сэмплинг, token-level loss, штраф за длину, без KL	коллапс энтропии, вырожденные группы, шум обрезки
CISPOCISPOEN Clipped IS-weight Policy Optimization (CISPO)MiniMax-M1, 2025: клиппуется вес importance sampling (без градиента через него), а не само обновление — градиент получают все токены.	MiniMax, июнь 2025	клиппинг веса IS со stop-gradient	потеря градиента редкими токенами
GSPOGSPOEN Group Sequence Policy Optimization (GSPO)Qwen, 2025: отношение вероятностей и клиппинг на уровне всего ответа, s_i = (π_θ(y)/π_old(y))^(1/|y|). Стабилизирует RL для MoE.	Qwen, июль 2025	отношение и клиппинг на уровне ответа	шум токенных весов, нестабильность MoE

Направление 2026 года — дальше в ту же сторону: мягкие «шлюзы» вместо жёсткого клиппинга (например, SAPO от Qwen, ноябрь 2025, есть в TRL как loss_type="sapo"), асинхронный RL и аккуратная работа с расхождением генерации и обучения. Универсального победителя нет: выбор зависит от модели (плотная или MoE), длины ответов и того, сколько шагов делают на одном батче.

Практика

Сравним методы на одной игрушечной группе прямо по градиентам. Три эксперимента: как loss распределяет вес по токенам ответов разной длины; что происходит с редким токеном, вероятность которого после шага удвоилась; как поощрение частого и редкого токена меняет энтропию.

import torch

# ── 1. Как разные loss распределяют градиент по токенам (π_θ = π_old, ρ = 1) ──
r = torch.tensor([1.0, 1.0, 0.0, 0.0])               # группа: два верных, два неверных ответа
lengths = torch.tensor([4, 12, 4, 12])               # короткие и длинные ответы
L_MAX, T = 16, 12                                    # лимит длины (для Dr. GRPO) и ширина батча = самый длинный ответ
mask = (torch.arange(T)[None, :] < lengths[:, None]).float()   # mask[i, t] = 1, если позиция t есть в ответе i, иначе паддинг


def token_weights(kind):
    logp = torch.zeros(4, T, requires_grad=True)     # значения не важны: смотрим только градиент
    if kind == "Dr. GRPO":
        adv = r - r.mean()                           # без деления на std
    else:
        adv = (r - r.mean()) / r.std(unbiased=False)
    # exp(logp − logp.detach()) по значению равно 1 (ρ = 1, политика не менялась), но его производная по logp тоже 1,
    # поэтому logp.grad покажет, с каким весом каждый токен входит в градиент
    obj = torch.exp(logp - logp.detach()) * adv[:, None] * mask   # ρ·A на каждом токене
    if kind == "GRPO":
        J = (obj.sum(1) / mask.sum(1)).mean()        # 1/|o_i| внутри ответа, затем среднее по группе
    elif kind == "DAPO":
        J = obj.sum() / mask.sum()                   # все токены группы равноправны
    else:
        J = obj.sum() / (len(r) * L_MAX)             # Dr. GRPO: делим на константу G·L_max
    J.backward()
    return logp.grad[:, 0]                           # вес первого токена каждого ответа


print("вес токена (dJ/d log π):  верн.4  верн.12  неверн.4  неверн.12")
for kind in ["GRPO", "DAPO", "Dr. GRPO"]:
    print(f"{kind:9s}", "  ".join(f"{w:+.4f}" for w in token_weights(kind).tolist()))

# ── 2. Редкий «развилочный» токен: π_old = 0.01, после шага π = 0.02 (ρ = 2), A = +1 ──
def grad_rare_token(kind, n_tokens=10):
    logp_old = torch.log(torch.full((n_tokens,), 0.5))      # обычные токены ответа: π_old = 0.5
    logp_old[0] = torch.log(torch.tensor(0.01))              # первый — редкий «развилочный»: π_old = 0.01
    logp = logp_old.clone()
    logp[0] = torch.log(torch.tensor(0.02))                  # после шага он стал вдвое вероятнее, остальные — нет
    logp.requires_grad_(True)
    A = 1.0
    ratio = torch.exp(logp - logp_old)
    if kind == "GRPO, ε=0.2":
        J = torch.min(ratio * A, ratio.clamp(0.8, 1.2) * A).mean()
    elif kind == "DAPO, ε_high=0.28":
        J = torch.min(ratio * A, ratio.clamp(0.8, 1.28) * A).mean()
    elif kind == "CISPO, вес ≤ 5":
        w = ratio.clamp(max=5.0).detach()               # вес IS обрезан и без градиента
        J = (w * A * logp).mean()
    else:  # GSPO: одно отношение на весь ответ
        s = torch.exp((logp - logp_old).mean())          # s = (π/π_old)^(1/|y|)
        J = torch.min(s * A, s.clamp(1 - 3e-4, 1 + 4e-4) * A)
    J.backward()
    return logp.grad[0].item(), logp.grad[1].item()


print()
for kind in ["GRPO, ε=0.2", "DAPO, ε_high=0.28", "CISPO, вес ≤ 5", "GSPO"]:
    g_rare, g_other = grad_rare_token(kind)
    print(f"{kind:18s} градиент редкого токена {g_rare:+.3f}, обычного {g_other:+.3f}")

# ── 3. Почему энтропия падает: подкрепляем частый токен или редкий ──
def entropy(p):
    return -(p * p.log()).sum().item()


for name, adv in [("поощряем частый", [1.0, -1.0, -1.0, -1.0]), ("поощряем редкий", [-1.0, -1.0, 1.0, -1.0])]:
    z = torch.log(torch.tensor([0.7, 0.2, 0.05, 0.05])).requires_grad_(True)   # логиты: softmax(log p) = p
    J = (torch.softmax(z, 0) * torch.tensor(adv)).sum()   # ожидаемое преимущество
    J.backward()
    with torch.no_grad():
        p_new = torch.softmax(z + 1.0 * z.grad, 0)          # один шаг градиентного ПОДЪЁМА с lr = 1 (J максимизируем)
    print(f"{name}: H = {entropy(torch.softmax(z, 0).detach()):.3f} → {entropy(p_new):.3f}")

Вывод:

вес токена (dJ/d log π):  верн.4  верн.12  неверн.4  неверн.12
GRPO      +0.0625  +0.0208  -0.0625  -0.0208
DAPO      +0.0312  +0.0312  -0.0312  -0.0312
Dr. GRPO  +0.0078  +0.0078  -0.0078  -0.0078

GRPO, ε=0.2        градиент редкого токена +0.000, обычного +0.100
DAPO, ε_high=0.28  градиент редкого токена +0.000, обычного +0.100
CISPO, вес ≤ 5     градиент редкого токена +0.200, обычного +0.100
GSPO               градиент редкого токена +0.000, обычного +0.000
поощряем частый: H = 0.871 → 0.655
поощряем редкий: H = 0.871 → 0.903

Как читать (здесь $J$ — цель, которую максимизируют, поэтому плюс означает «поднять вероятность»):

• Эксперимент 1. В GRPO токен короткого ответа весит в 3 раза больше токена длинного — и для верных, и для неверных. Проверим вручную: награды $[1, 1, 0, 0]$, среднее 0.5, std 0.5, значит $A = \pm 1$. В GRPO вес токена — $A / (G \cdot \vert o_i \vert)$: $1 / (4 \cdot 4) = 0.0625$ и $1 / (4 \cdot 12) \approx 0.0208$. В DAPO — $A$, делённое на общее число токенов $4 + 12 + 4 + 12 = 32$: $1/32 \approx 0.0312$. В Dr. GRPO $A = \pm 0.5$ (без деления на std) и делитель $G \cdot L_{\max} = 64$: $0.5 / 64 \approx 0.0078$. DAPO и Dr. GRPO дают всем токенам одинаковый вес. У Dr. GRPO веса меньше по модулю (делим на константу $G \cdot L_{\max}$ и не нормируем на std) — это компенсируют learning rate.
• Эксперимент 2. Редкий токен, вероятность которого удвоилась ($\rho = 2$), в GRPO и даже в DAPO вылетает за границу клиппинга и не получает градиента — хотя у него положительное преимущество. CISPO даёт ему градиент с весом 2 (верхнюю границу веса 5 мы взяли из рекомендации TRL для loss_type="cispo"). GSPO решает иначе: среднее геометрическое $s = 2^{1/10} \approx 1.07$ выходит за узкую границу, и ответ клиппируется целиком — слишком off-policy ответы GSPO просто не использует.
• Эксперимент 3. Поощрение частого токена снижает энтропию (0.871 → 0.655), редкого — повышает. Механизм коллапса энтропии на четырёх числах.

Попробуйте сами: поставьте в эксперименте 2 n_tokens=1000 — у GSPO $s = 2^{1/1000} \approx 1.0007$, всё ещё больше $1 + 4 \cdot 10^{-4}$. А при n_tokens=2000 ответ уже пройдёт через клиппинг. Длинный ответ, в котором изменился один токен, для GSPO почти on-policy.

🖥 На вашей машине (4×GPU)

Опыты выше показывают градиент одного шага. Как формулы меняют динамику за сотни шагов, видно только на настоящей модели — и четыре карты позволяют сравнить четыре варианта за время одного прогона. Возьмите train_grpo_countdown.py из практикума 6.4.5 и сделайте вариант параметром командной строки:

import sys

VARIANTS = {  # имена параметров — из GRPOConfig в TRL; сверяйте с документацией своей версии
    "grpo": dict(loss_type="grpo", epsilon_high=0.2),
    "dr_grpo": dict(loss_type="dr_grpo", epsilon_high=0.2),
    "dapo": dict(loss_type="dapo", epsilon_high=0.28),
    "gspo": dict(loss_type="grpo", importance_sampling_level="sequence", epsilon=3e-4, epsilon_high=4e-4),
}
name = sys.argv[1]
# В GRPOConfig(...) удалите строки loss_type и epsilon_high и допишите:
#   output_dir=f"countdown-{name}", num_iterations=2, **VARIANTS[name]

num_iterations=2 — два шага оптимизатора на одну генерацию. Без этого $\rho = 1$ и клиппинг не работает (урок 6.4.1), так что Clip-Higher и GSPO ничем бы не отличались от GRPO. Запуск:

i=0
for v in grpo dr_grpo dapo gspo; do
  CUDA_VISIBLE_DEVICES=$i python train_grpo_countdown.py $v > log-$v.txt 2>&1 &
  i=$((i + 1))
done; wait

• Память и время (оценка). Qwen2.5-0.5B-Instruct — около 8 ГБ на карту плюс генерация; каждый прогон идёт как одиночный из практикума 6.4.5 (там оценка — от получаса до двух часов на 300 шагов), вторая итерация добавляет только время обучения, но не генерации.
• На что смотреть. completions/mean_length: у GRPO множитель $1/\vert o_i \vert$ слабее штрафует длинные неверные ответы — растёт ли у него длина быстрее? entropy: падает ли она у DAPO с Clip-Higher медленнее, чем у GRPO? Метрики clip_ratio/…: у GSPO доля клиппинга должна быть заметно выше — он отбрасывает ответы целиком. И конечно reward на тех же задачах.
• Честность. Один прогон на вариант — это один seed: небольшая разница может оказаться шумом. Повторите с другим seed в GRPOConfig следующей ночью и доверяйте только различиям, которые воспроизвелись. Для полного Dr. GRPO выключите ещё и деление на std (параметр scale_rewards, допустимые значения — в документации вашей версии TRL).

Подробнее о машине — на странице «Ваша лаборатория».

Китайский угол: лаборатории соревнуются формулами

Вся таблица этого урока — история 2025 года, написанная китайскими командами: Moonshot (Kimi k1.5, январь), ByteDance Seed вместе с AIR Университета Цинхуа (DAPO, март), MiniMax (CISPO, июнь), Alibaba Qwen (GSPO, июль; SAPO, ноябрь). Спор «критик или группа» при этом не закрыт: в апреле 2025 года ByteDance Seed выпустила VAPO — PPO с value-моделью и GAE (урок 6.0.3), у которой исправлены её главные болезни (смещение критика, разная длина ответов, редкая награда). На той же Qwen2.5-32B VAPO получила 60.4 балла AIME 2024 — более чем на 10 баллов выше DAPO — и, по словам авторов, ни разу не «упала» в нескольких независимых запусках. Каждая лаборатория публикует алгоритм вместе с инфраструктурой: DAPO — рецептом в verl, Clip-Cov и KL-Cov встроены в verl как режимы loss, CISPO и GSPO доступны в TRL, GSPO — и в verl.

Что почитать по-китайски. README MiniMind, раздел 7.3: автор пишет, что среди «рябящих в глазах XXPO» CISPO запомнился ему больше всех — он не изобретает новую систему, а чинит одну давнюю неловкость PPO/GRPO: после клиппинга ratio градиентный поток просто обрывается. В MiniMind CISPO — не отдельный скрипт, а loss_type=cispo в train_grpo.py.

Термины. Коллапс энтропии по-китайски — «обрушение энтропии», importance sampling — «выборка по значимости», клиппинг — «обрезка», overthinking — «чрезмерное обдумывание». Динамический сэмплинг и штраф за длину называются дословно.

Проверь себя

Проверь себя6 вопросов·

1 Токен имел вероятность $\pi_{\text{old}} = 0.02$. До какой максимальной вероятности его можно поднять за шаг с Clip-Higher $\varepsilon_{\text{high}} = 0.28$? Ответ — с точностью до 0.0001.

2 Что делает динамический сэмплинг DAPO?

Меняет температуру генерации по ходу обученияВыбрасывает группы, где все ответы верны или все неверны, и досэмплирует новые, пока батч не заполнитсяВыбирает размер группы $G$ случайно на каждом шагеСэмплирует промпты пропорционально их длине

3 Какие утверждения о GSPO верны?Можно выбрать несколько ответов

Отношение вероятностей считается для всего ответа как среднее геометрическое токенных отношенийГраницы клиппинга на порядки уже, чем у GRPO (порядка $10^{-4}$)GSPO стабилизирует RL для MoE без Routing ReplayGSPO возвращает в RL обучаемого критика

4 В чём главное отличие CISPO от клиппинга PPO/GRPO?

CISPO клиппирует преимущество, а не отношение вероятностейCISPO клиппирует вес importance sampling и не пускает через него градиент, поэтому даже токены с большим $\rho$ продолжают учитьсяCISPO полностью убирает importance samplingCISPO использует отдельную value-модель для редких токенов

5 DAPO: $L_{\max} = 20\,480$, $L_{\text{cache}} = 4096$. Какую добавку к награде получит ответ длиной 17 408 токенов?

6 Что помогает против коллапса энтропии?Можно выбрать несколько ответов

Clip-Higher — дать редким токенам расти быстрееБонус за энтропию в lossОграничивать обновления токенов с наибольшей ковариацией лог-вероятности и преимущества (Clip-Cov, KL-Cov)Понизить температуру сэмплирования до 0.1

Проверить ответы

Итоги

• «Наивный» GRPO болеет пятью болезнями: коллапс энтропии, вырожденные группы, смещение по длине, шум обрезанных ответов, шумные токенные веса importance sampling (особенно у MoE).
• DAPO = Clip-Higher + динамический сэмплинг + token-level loss + мягкий штраф за длину, без KL: с 30 до 50 баллов AIME на Qwen2.5-32B. Dr. GRPO убирает деление на длину и на std.
• GSPO считает отношение вероятностей и клиппинг на уровне всего ответа — так устойчивее, особенно для MoE.
• CISPO клиппирует вес, а не обновление: редкие «развилочные» токены не теряют градиент.
• Kimi k1.5 пришла к групповому baseline через зеркальный спуск и добавила штраф за длину и long2short.

Дальше: как передать рассуждения маленькой модели без собственного RL — дистилляция R1, strong-to-weak у Qwen3, on-policy дистилляция — и как управлять тем, сколько модель «думает».