Блог Qwen: GSPO — оптимизация политики на уровне последовательностей (конспект)

На чём основан конспект

Исходник поста — content/blog/gspo/index.md в репозитории QwenLM/QwenLM.github.io (сайт блога из нашей сети не открывается). Лицензии на текст нет — это пересказ своими словами; формулы перенесены как есть, графики описаны словами. Математика GSPO подробно разобрана в нашем уроке 6.4.3 — этот конспект дополняет его взглядом авторов.

Коротко

• При долгом RL-обучении больших моделей GRPO нестабилен и может привести к необратимому коллапсу модели — больше вычислений перестают давать рост качества.
• GSPOGSPOEN Group Sequence Policy Optimization (GSPO)Qwen, 2025: отношение вероятностей и клиппинг на уровне всего ответа, s_i = (π_θ(y)/π_old(y))^(1/|y|). Стабилизирует RL для MoE. (Group Sequence Policy Optimization) считает отношение вероятностей для всего ответа, а не для каждого токена, и клиппирует, награждает и оптимизирует тоже на уровне ответа.
• По заявлению авторов, GSPO эффективнее GRPO при тех же затратах и продолжает расти с ростом вычислений, обновлением задач и удлинением генерации.
• Для MoE-моделей GSPO убирает нужду в Routing Replay — костыле, без которого GRPO на MoE не сходился.
• Отношение для целого ответа терпимее к расхождениям точности между движками обучения и генерации — это упрощает инфраструктуру RL.
• GSPO использовался в RL-обучении обновлённых моделей Qwen3 (Instruct, Coder, Thinking).

Как читать вместе с курсом

Сначала урок 6.4.1 (GRPO) и 6.3.2 (отношение вероятностей и клиппинг в PPO). Пост — 10 минут чтения: формула, три графика, вывод. После него переходите к разделу GSPO в уроке 6.4.3, где есть код, сравнивающий, как GRPO, DAPO, CISPO и GSPO распределяют градиент.

1. Проблема: RL нужно масштабировать, а GRPO разваливается

Авторы начинают с тезиса: RL стал ключевым способом масштабировать языковые модели и усиливать их рассуждения, а первое условие масштабирования — устойчивая динамика обучения. Их наблюдение: у существующих алгоритмов вроде GRPOGRPO (групповая относительная оптимизация политики)EN Group Relative Policy Optimization (GRPO)PPO без критика: на промпт генерируется группа из G ответов, преимущество — (r − среднее) / std по группе. DeepSeekMath, 2024. при долгом обучении появляются серьёзные нестабильности, вплоть до необратимого развала модели. Значит, дальше вкладывать вычисления бессмысленно.

Почему так происходит, в посте сказано коротко (подробно — в статье): токенный уровень оптимизации GRPO даёт шумный сигнал. Каждый токен получает своё отношение вероятностей «новая политика / старая» — и свою поправку. На длинных ответах шум копится.

2. Решение: одно отношение на весь ответ

Обозначения как в посте: $x$ — запрос, $\pi_{\theta_\text{old}}$ — старая политика, сгенерировавшая группу ответов $\{y_i\}_{i=1}^G$, $\widehat{A}_i$ — групповое преимуществопреимущество (advantage)EN advantageA = r − b или A(s, a) = Q(s, a) − V(s): насколько действие лучше среднего в этой ситуации. ответа $i$ (как в GRPO), $\pi_\theta$ — текущая политика. Цель GSPO:

$$\mathcal{J}_\text{GSPO}(\theta) = \mathbb{E}_{x \sim \mathcal{D},\ \{y_i\} \sim \pi_{\theta_\text{old}}(\cdot \mid x)} \left[\frac{1}{G}\sum_{i=1}^{G} \min\Big(s_i(\theta)\,\widehat{A}_i,\ \mathrm{clip}\big(s_i(\theta), 1-\varepsilon, 1+\varepsilon\big)\,\widehat{A}_i\Big)\right],$$

где

$$s_i(\theta) = \left(\frac{\pi_\theta(y_i \mid x)}{\pi_{\theta_\text{old}}(y_i \mid x)}\right)^{\frac{1}{|y_i|}} = \exp\left(\frac{1}{|y_i|}\sum_{t=1}^{|y_i|} \log \frac{\pi_\theta(y_{i,t} \mid x, y_{i,<t})}{\pi_{\theta_\text{old}}(y_{i,t} \mid x, y_{i,<t})}\right).$$

Как это прочитать. Внешняя формула — тот же «клиппированный» PPO, что вы видели в GRPO: умножить преимущество на отношение вероятностей, но не давать отношению уйти за $[1-\varepsilon, 1+\varepsilon]$. Разница — в том, что клиппируется. В GRPO отношение своё у каждого токена. В GSPO $s_i$ — одно число на весь ответ: среднее геометрическое токенных отношений. Корень степени $|y_i|$ (длина ответа) авторы называют нормировкой по длине: она уменьшает дисперсию и приводит $s_i$ к одному масштабу для коротких и длинных ответов.

Пример с числами. Ответ из 4 токенов, токенные отношения $1{,}2;\ 0{,}9;\ 1{,}0;\ 1{,}1$. Произведение $= 1{,}188$, корень четвёртой степени: $s = 1{,}188^{1/4} \approx 1{,}044$. Один ответ — одно число, и клиппинг решает судьбу всего ответа сразу. Для сравнения: у ответа из 10 токенов, где 9 отношений равны 1, а одно равно 3, $s = 3^{1/10} \approx 1{,}116$ — одиночный «выброс» сильно сглажен, тогда как GRPO обработал бы этот токен отдельно.

3. Эффективность и масштабируемость

Эксперимент поста: модель, дообученная «холодным стартом» из Qwen3-30B-A3B-Base, RL с GSPO против GRPO; кривые награды на обучении и качество на AIME’24, LiveCodeBench и CodeForces. Важная оговорка авторов: GRPO в этом сравнении нужен Routing Replay, чтобы MoE вообще нормально сходился, а GSPO — нет.

Что видно на графиках (по описанию авторов):

• при одинаковых затратах GSPO достигает лучшего качества;
• качество продолжает расти, если увеличивать вычисления, регулярно обновлять набор задач и удлинять генерацию, — «именно та масштабируемость, которую ждёшь от алгоритма».

Парадокс клиппинга. Доля клиппированных токенов у GSPO на два порядка выше, чем у GRPO, — и при этом обучение эффективнее. Авторы делают вывод: токенный сигнал GRPO шумный и неэффективный, а сигнал на уровне ответа надёжнее. (В уроке 6.4.3 разобрано, почему у GSPO границы клиппинга порядка $10^{-4}$, а не 0,2: среднее геометрическое близко к 1, и широкие границы ничего бы не отсекали.)

4. Выгода для MoE и инфраструктуры

Routing Replay. В смесь экспертовсмесь экспертов (MoE)EN mixture of experts (MoE)-модели каждый токен идёт через несколько экспертов, выбранных маршрутизатором. После шага обучения маршрутизатор может выбрать других экспертов для того же токена — и токенное отношение вероятностей «новая / старая» скачет не из-за обучения, а из-за смены экспертов. Авторы пишут, что с GRPO эта изменчивость активаций экспертов не давала MoE-обучению сходиться. Прежнее решение — Routing Replay: запомнить, какие эксперты были активны в старой политике, и «проигрывать» те же маршруты в новой при подсчёте отношений. Цена — лишняя память и обмен данными, плюс ограничение реальной ёмкости MoE.

Почему GSPO без него обходится. GSPO смотрит только на вероятность всего ответа $\pi_\theta(y_i \mid x)$ и не чувствителен к вероятности отдельного токена. Смена экспертов на нескольких токенах почти не сдвигает среднее геометрическое по сотням токенов. Итог: проще, стабильнее, и модель использует свою ёмкость полностью.

Точность движков. Интуитивно вероятность целого ответа терпимее к мелким численным расхождениям, чем вероятности отдельных токенов. Поэтому с GSPO можно брать вероятности прямо из движка генерации (vLLM, SGLang) и не пересчитывать их движком обучения. Авторы отмечают, что это особенно полезно при частичных генерациях (partial rollout), в многоходовом RL и в системах, где обучение и генерация разнесены по разным машинам.

5. Вывод авторов

GSPO заметно устойчивее, эффективнее и сильнее GRPO, особенно в крупномасштабном RL MoE-моделей, и лёг в основу улучшений последних моделей Qwen3. Команда называет его «алгоритмическим краеугольным камнем» для дальнейшего масштабирования RL.

Критический взгляд

Это пост авторов метода: графики — их эксперименты на их MoE-модели. На маленькой плотной модели главный довод про Routing Replay не работает (экспертов нет), так что разница с GRPO может оказаться небольшой. Проверьте сами: в TRL GSPO включается параметром importance_sampling_level="sequence" (см. урок 6.4.3 и практикум 6.4.5).

Что сделать руками

1. Посчитайте $s_i$ для ответа из 100 токенов, где у 99 токенов отношение 1, а у одного — 10. Попадёт ли он в границы $[1 - 3\cdot10^{-4},\ 1 + 4\cdot10^{-4}]$? (Ответ: $10^{1/100} \approx 1{,}023$ — нет, ответ клиппируется целиком.)
2. В практикуме урока 6.4.3 запустите варианты grpo и gspo и сравните метрику доли клиппинга.
3. Прочитайте §5 статьи arXiv:2507.18071 (если доступна) о Routing Replay и объясните своими словами, почему смена экспертов портит токенное отношение вероятностей.

Словарик

English	Русский
importance ratio	отношение вероятностей (вес важности)
sequence-level clipping	клиппинг на уровне ответа
length normalization	нормировка по длине
model collapse	коллапс (развал) модели
Routing Replay	повтор маршрутов (Routing Replay)
partial rollout	частичная генерация
training-inference disaggregation	разнесение обучения и генерации