Lil’Log: алгоритмы градиента политики

Почему это конспект, а не перевод

У блога Lil’Log нет открытой лицензии, поэтому здесь пересказ своими словами, со своими пояснениями и примером кода; формулы — общепринятые обозначения RL. Исходный текст сайта лежит в открытом репозитории lilianweng/lilianweng.github.io, сам пост — по ссылке. Есть два любительских перевода на китайский — ссылки в начале оригинала.

Коротко

• Градиент политики (градиент политикиградиент политикиEN policy gradient∇J = E[r · ∇ log π(y|x)] — основа REINFORCE, PPO и GRPO.) оптимизирует саму политику $\pi_\theta(a\mid s)$ градиентным подъёмом по ожидаемой награде, не выбирая действие через $\arg\max Q$. Поэтому он естественно работает с непрерывными и огромными пространствами действий — например, со словарём LLM.
• Теорема о градиенте политики избавляет от необходимости дифференцировать распределение состояний среды: $\nabla_\theta J(\theta) = \mathbb{E}_\pi\left[Q^\pi(s,a)\,\nabla_\theta \ln \pi_\theta(a\mid s)\right]$. Оценка по выборке несмещённая, но очень шумная.
• Почти вся дальнейшая история — борьба с дисперсией без внесения смещения: baseline и преимущество (преимуществопреимущество (advantage)EN advantageA = r − b или A(s, a) = Q(s, a) − V(s): насколько действие лучше среднего в этой ситуации.), критик (актор-критикактор-критик (actor-critic)EN actor-criticДве сети — актор (политика) и критик (оценка V); критик даёт актору оценку преимущества.), GAE.
• Вторая линия — устойчивость шага: TRPO ограничивает KL между старой и новой политикой, PPO делает то же проще — обрезкой отношения вероятностей.
• Третья линия — эффективность по данным: off-policy обучение с importance sampling, буфер опыта, детерминированные политики (DDPG, TD3), максимизация энтропии (SAC), масштабирование (A3C, IMPALA с V-trace).
• В конце Венг собирает общие принципы: уменьшать дисперсию, не переоценивать ценность, ограничивать сдвиг политики, подумать дважды, делить ли сеть между актором и критиком.

Как читать вместе с курсом

Пост — справочник, а не учебник: читайте его после урока 6.0.3 «Actor-critic, GAE и PPO полностью», когда REINFORCE, baseline и PPO вы уже реализовали руками. Тогда обзор покажет, где эти алгоритмы стоят среди остальных.

Для новичка обязательно: обозначения, теорема о градиенте политики (сам вывод — по желанию), REINFORCE, actor-critic, off-policy градиент, TRPO и PPO. Это прямой фундамент 6.3.1 «Основы RL для LLM» и 6.3.2 «RLHF — reward model и PPO», а через них — GRPO (6.4). Можно пропустить при первом чтении: DPG, DDPG, D4PG, MADDPG, ACER, ACKTR, SVPG — это алгоритмы для роботов и непрерывного управления, в обучении LLM они почти не встречаются.

Обозначения у Венг такие же, как в курсе: $G_t$ — дисконтированная отдача, $V^\pi$, $Q^\pi$, $A = Q - V$, $\gamma$ — коэффициент дисконтирования. Детерминированную политику она обозначает $\mu(s)$, чтобы не путать со стохастической $\pi(a\mid s)$.

1. Что такое градиент политики

Венг начинает со справочной таблицы обозначений и сразу формулирует цель: найти параметры $\theta$, при которых ожидаемая награда максимальна,

$$J(\theta) = \sum_{s} d^\pi(s)\, V^\pi(s) = \sum_{s} d^\pi(s) \sum_{a} \pi_\theta(a\mid s)\, Q^\pi(s,a),$$

где $d^\pi(s)$ — стационарное распределение состояний: как часто агент, долго действуя по политике, оказывается в состоянии $s$. Читаем формулу так: «средняя ценность состояний, взвешенная тем, насколько часто мы в них бываем».

Почему не обойтись методами на основе ценности (Q-learning из урока 6.0.2)? Там улучшение политики — это $\arg\max_a Q(s,a)$, то есть перебор всех действий. Для непрерывных действий (угол поворота руля) или для 150 тысяч токенов словаря это либо невозможно, либо дорого. Градиент политики просто сдвигает $\theta$ туда, где награда растёт.

Теорема о градиенте политики

Трудность: $J$ зависит от $\theta$ двумя путями — через выбор действий (это мы знаем) и через распределение состояний $d^\pi$ (а это зависит от неизвестной среды). Теорема говорит, что второй путь можно не дифференцировать:

$$\nabla_\theta J(\theta) \propto \sum_s d^\pi(s) \sum_a Q^\pi(s,a)\, \nabla_\theta \pi_\theta(a\mid s) = \mathbb{E}_\pi\big[Q^\pi(s,a)\,\nabla_\theta \ln \pi_\theta(a\mid s)\big].$$

Последний переход — тот же «трюк с логарифмом», что в уроке 6.3.1: $\nabla \pi = \pi \cdot \nabla \ln \pi$, и сумма с весами $\pi$ становится математическим ожиданием, которое можно оценивать по выборке.

Венг приводит полное доказательство по книге Саттона и Барто (разд. 13.1). Его идея на словах: распишите $\nabla V^\pi(s)$ через $Q^\pi$ и уравнение Беллмана; получится рекурсия, где $\nabla V^\pi$ следующего состояния снова выражается через то же правило. Развернув рекурсию до бесконечности, вы получаете сумму по всем состояниям, взвешенную вероятностями до них дойти за $k$ шагов, — а нормированная, эта сумма и есть $d^\pi(s)$. Коэффициент пропорциональности в эпизодической задаче — средняя длина эпизода.

Главный вывод раздела: «ванильный» градиент политики не смещён, но имеет большую дисперсию, и следующие алгоритмы в основном уменьшают дисперсию, не добавляя смещения. В конце раздела Венг даёт общую форму из статьи о GAE (Schulman и др., 2016): вместо $Q^\pi$ в формулу можно подставлять полную отдачу, отдачу после шага, её же минус baseline, $Q$, преимущество $A$ или TD-ошибку — все варианты дают тот же градиент в среднем.

2. Базовые алгоритмы

REINFORCE

Монте-Карло-версия: сыграть эпизод, посчитать отдачу $G_t$ для каждого шага и сдвинуть параметры: $\theta \leftarrow \theta + \alpha\, \gamma^t G_t\, \nabla_\theta \ln \pi_\theta(A_t\mid S_t)$. Работает, потому что $\mathbb{E}[G_t\mid S_t, A_t] = Q^\pi(S_t, A_t)$.

Популярная доработка — вычесть из $G_t$ baseline, например $V(s)$: получится преимущество $A = Q - V$. Ожидание градиента не меняется, а дисперсия падает. Насколько сильно — видно в нашем примере ниже.

Actor-critic

Раз уж ценность помогает уменьшать дисперсию, её стоит учить вместе с политикой. Критик обновляет параметры $w$ функции ценности ($Q_w$ или $V_w$) по TD-ошибке $\delta_t = r_t + \gamma Q_w(s', a') - Q_w(s,a)$. Актор обновляет $\theta$ в направлении, которое подсказывает критик: $\theta \leftarrow \theta + \alpha_\theta Q_w(s,a)\,\nabla_\theta \ln \pi_\theta(a\mid s)$. У них два разных learning rate.

flowchart LR
ENV["Среда"] -->|"состояние s, награда r"| A["Актор π_θ"]
A -->|"действие a"| ENV
ENV -->|"s, a, r, s′"| C["Критик V_w или Q_w"]
C -->|"TD-ошибка δ или преимущество A"| A

Схема actor-critic: критик оценивает, актор меняет политику в сторону, которую тот подсказывает.

Off-policy градиент политики

REINFORCE и простой actor-critic — on-policy (on-policyon-policy (обучение на данных текущей политики)EN on-policyПротивоположность — off-policy, обучение на данных другой политики.): данные собирает та же политика, которую учим. Off-policy (off-policyoff-policy (обучение на данных другой политики)EN off-policyПолитика, которую учим, отличается от той, что собирала данные. Пример — Q-learning; в PPO и GRPO — поправка π/π_old.) позволяет переиспользовать старые траектории (буфер опыта) и исследовать другой, «поведенческой» политикой $\beta(a\mid s)$. Цена — поправочный множитель (выборка по значимостивыборка по значимости (importance sampling)EN importance samplingПеревзвешивание сэмплов старой политики отношением π_new / π_old — основа PPO.):

$$\nabla_\theta J(\theta) \approx \mathbb{E}_\beta\Big[\frac{\pi_\theta(a\mid s)}{\beta(a\mid s)}\, Q^\pi(s,a)\, \nabla_\theta \ln \pi_\theta(a\mid s)\Big].$$

Строго говоря, при дифференцировании появляется ещё слагаемое с $\nabla_\theta Q^\pi$, которое считать очень трудно; Венг ссылается на работу Degris, White и Sutton (2012), где показано, что его можно отбросить и всё равно гарантировать улучшение политики. Это отношение вероятностей $\pi_\theta / \pi_{\text{old}}$ вы потом увидите в PPO и GRPO.

3. Масштабирование: A3C и A2C

A3C (Mnih и др., 2016) — много параллельных потоков-акторов, каждый со своей копией параметров; они копят градиенты по нескольким шагам и асинхронно отправляют их в общие параметры. Критик учит $V_w$ по среднеквадратичной ошибке $(G_t - V_w(s))^2$, и $V_w$ служит baseline. A2C — синхронный вариант: координатор ждёт всех акторов, и следующая итерация начинается с одной и той же политики. По данным OpenAI, A2C лучше загружает GPU и работает не хуже A3C.

4. Детерминированные политики: DPG, DDPG, D4PG, MADDPG, TD3

Здесь политика выдаёт одно действие $a = \mu_\theta(s)$, а градиент идёт по цепному правилу через критика: $\nabla_\theta J = \mathbb{E}\big[\nabla_a Q^\mu(s,a)\, \nabla_\theta \mu_\theta(s)\big|_{a=\mu_\theta(s)}\big]$. Плюс — не нужен importance sampling (нет интеграла по действиям); минус — нет встроенного исследования, поэтому к действию добавляют шум.

• DDPG (Lillicrap и др., 2015) соединяет DPG с приёмами DQN: буфер опыта и медленно обновляемые целевые сети ($\theta' \leftarrow \tau\theta + (1-\tau)\theta'$, $\tau \ll 1$), плюс batch norm для признаков разной физической природы.
• D4PG — распределительный критик (учит распределение отдачи, а не среднее), $N$-шаговые цели, много акторов, приоритетный буфер.
• MADDPG — для нескольких агентов: централизованный критик видит действия всех, а акторы действуют по своим локальным наблюдениям; ансамбли политик снижают дисперсию.
• TD3 (Fujimoto и др., 2018) борется с переоценкой ценности: берёт минимум из двух критиков, обновляет политику реже критика и добавляет обрезанный шум к действию в цели («сглаживание целевой политики»).

5. Устойчивый шаг: TRPO, PPO, PPG

TRPO (Schulman и др., 2015) максимизирует «суррогатную» цель с importance sampling относительно старой политики, $\mathbb{E}\big[\tfrac{\pi_\theta}{\pi_{\theta_\text{old}}}\hat A\big]$, при жёстком ограничении «доверительной области» $\mathbb{E}_s\big[D_\text{KL}(\pi_{\theta_\text{old}} \Vert \pi_\theta)\big] \le \delta$. Обещание — монотонное улучшение; цена — сложная оптимизация второго порядка.

PPO (Schulman и др., 2017) получает похожий эффект первым порядком. Обозначим $r(\theta) = \pi_\theta(a\mid s) / \pi_{\theta_\text{old}}(a\mid s)$ и ограничим его интервалом $[1-\epsilon, 1+\epsilon]$:

$$J^\text{CLIP}(\theta) = \mathbb{E}\Big[\min\big(r(\theta)\hat A,\ \mathrm{clip}(r(\theta), 1-\epsilon, 1+\epsilon)\,\hat A\big)\Big].$$

Минимум из двух слагаемых убирает стимул уводить политику далеко ради большей награды. Если актор и критик делят сеть, к цели добавляют ошибку ценности $-c_1(V_\theta(s) - V_\text{target})^2$ и бонус энтропии $+c_2 H$. Пример с числами: при $\epsilon = 0{,}2$ и положительном преимуществе $\hat A = 2$ рост $r$ с 1 до 1,5 даст в цели не $1{,}5 \cdot 2 = 3$, а $1{,}2 \cdot 2 = 2{,}4$: дальше 1,2 тянуть вероятность действия бесполезно.

Венг добавляет более позднее наблюдение Hsu и др. (2020): у стандартного PPO есть три режима отказа (нестабильность при нулевой награде вне ограниченной области в непрерывных действиях; застревание на неоптимальном действии при редких больших наградах в дискретных; чувствительность к инициализации). Помогают дискретизация действий или бета-распределение вместо гауссова и KL-регуляризация вместо обрезки.

PPG (Cobbe и др., 2020) разводит обучение политики и ценности по фазам: в фазе политики — обычный PPO, во вспомогательной — учится ценность, а KL к старой политике («клонирование поведения») не даёт политике уехать. Ценность переносит гораздо больше повторных проходов по данным (6 эпох против 1), и эффективность по данным заметно растёт.

6. Off-policy actor-critic и энтропия: ACER, ACKTR, SAC, SVPG, IMPALA

• ACER — off-policy версия A3C: оценка Retrace, обрезанные веса importance sampling с поправкой смещения и эффективное ограничение доверительной области.
• ACKTR — шаг натурального градиента через приближение K-FAC (кронекеровская факторизация матрицы Фишера); Венг включает его для полноты и в детали не идёт.
• SAC (Haarnoja и др., 2018) — максимизация энтропии: к награде добавляется $\alpha\,\mathcal{H}(\pi(\cdot\mid s))$. Политика должна быть как можно случайнее, оставаясь успешной: она лучше исследует и сохраняет несколько почти одинаково хороших стратегий. Отдельный раздел — автоматическая подстройка «температуры» $\alpha$ под целевую энтропию.
• SVPG — популяция политик, обновляемых методом Stein variational gradient descent: одно слагаемое тянет частицы к областям высокой награды, другое расталкивает их друг от друга ради разнообразия.
• IMPALA (Espeholt и др., 2018) разделяет «действующих» и «учащихся»: много акторов генерируют опыт слегка устаревшей политикой, один learner учится на всём. Расхождение исправляет V-trace — $n$-шаговая цель с обрезанными весами importance sampling $\rho_i = \min(\bar\rho, \pi/\mu)$ и $c_j = \min(\bar c, \pi/\mu)$.

Связь с LLM: та же проблема «данные собраны чуть устаревшей политикой» есть в асинхронном RL для языковых моделей, и решается она тем же — обрезанными отношениями вероятностей (урок 6.4.3).

7. Общие принципы (итог поста)

Венг сводит обзор к списку приёмов, повторяющихся почти во всех алгоритмах. Пересказ:

Принцип	Где встречается	Где у нас в курсе
уменьшать дисперсию, не смещая оценку	baseline, преимущество, GAE	6.0.3, 6.3.1
off-policy ради исследования и эффективности по данным	ACER, DDPG, SAC, IMPALA	6.0.2 (Q-learning, буфер)
буфер опыта и медленные целевые сети	DQN, DDPG, TD3	6.0.2
регуляризация энтропией	A3C, PPO, SAC	6.0.3; коллапс энтропии — 6.4.3
ограничивать расхождение старой и новой политики	TRPO, PPO, PPG	6.3.2, 6.4.1
не переоценивать ценность	TD3 (минимум из двух критиков)	—
подумать, делить ли сеть актора и критика	PPG	6.3.2: отдельный критик — одна из «четырёх моделей»

Что сделать руками

Проверьте главный тезис поста — baseline уменьшает дисперсию и не ломает обучение — на трёхрукой задаче о бандите. Код на NumPy, работает за секунду:

import numpy as np

def reinforce(use_baseline, seed, steps=2000, lr=0.01):
    rng = np.random.default_rng(seed)
    true_means = np.array([10.0, 10.5, 9.5])   # средние награды трёх «рычагов»; лучший — второй
    theta = np.zeros(3)                        # логиты политики: π(a) = softmax(θ)
    baseline, early_grads = 0.0, []
    for t in range(steps):
        pi = np.exp(theta - theta.max()); pi /= pi.sum()
        a = rng.choice(3, p=pi)                # действуем по текущей политике
        r = true_means[a] + rng.normal(0, 1)   # шумная награда
        grad_logp = -pi.copy(); grad_logp[a] += 1   # ∇θ log π(a) = one_hot(a) − π
        weight = r - baseline if use_baseline else r
        g = weight * grad_logp                 # оценка градиента REINFORCE по одному шагу
        if t < 200:
            early_grads.append(g)
        theta += lr * g                        # градиентный ПОДЪЁМ: награду максимизируем
        baseline += 0.05 * (r - baseline)      # бегущее среднее награды
    var = np.array(early_grads).var(axis=0).sum()
    return pi, var

for use_baseline in [False, True]:
    for seed in range(3):
        pi, var = reinforce(use_baseline, seed)
        print(f"baseline={use_baseline!s:5} seed={seed}: π={pi.round(2)}, дисперсия={var:.1f}")

Ожидаемый вывод:

baseline=False seed=0: π=[0.04 0.95 0.01], дисперсия=61.7
baseline=False seed=1: π=[0.97 0.01 0.01], дисперсия=50.6
baseline=False seed=2: π=[0.81 0.15 0.04], дисперсия=64.1
baseline=True  seed=0: π=[0.04 0.93 0.03], дисперсия=4.3
baseline=True  seed=1: π=[0.06 0.91 0.03], дисперсия=4.1
baseline=True  seed=2: π=[0.05 0.93 0.02], дисперсия=4.0

Без baseline все награды около 10, и любой выбранный рычаг «поощряется» — какой из них победит, решает случай (в двух запусках из трёх политика сошлась к худшему рычагу). С baseline дисперсия градиента падает примерно в 15 раз, и все три запуска находят лучший рычаг. Дальше:

1. Замените постоянный baseline на $V(s)$ — и вы получите actor-critic (для бандита состояние одно, так что это то же бегущее среднее).
2. Добавьте к обновлению обрезку $r(\theta)$ из PPO и несколько эпох на одном батче — так устроен цикл обучения в уроке 6.0.3.
3. Пройдите практику уроков 6.0.3 и 6.3.1, держа пост открытым как справочник по формулам.

Словарик

EN	RU
policy gradient (theorem)	градиент политики (теорема о нём)
stationary distribution	стационарное распределение
return, discount factor	отдача, коэффициент дисконтирования
baseline, advantage	baseline (базовая линия), преимущество
actor, critic	актор, критик
on-policy / off-policy	on-policy / off-policy (по своей / по чужой политике)
behavior policy, target policy	поведенческая политика, целевая политика
importance weight	вес важности (importance sampling)
trust region	доверительная область
clipped surrogate objective	обрезанная суррогатная цель (PPO)
deterministic policy	детерминированная политика
experience replay, target network	буфер опыта, целевая сеть
maximum entropy RL, temperature	RL с максимизацией энтропии, температура
overestimation bias	смещение переоценки
natural gradient	натуральный градиент