Spinning Up, часть 1: ключевые понятия RL

Где в курсе то же самое проще

Почти всё содержание этой части с числовыми примерами разобрано в уроке 6.0.1 «MDP, отдача и функции ценности»: агент и среда, отдача и дисконт, $V$, $Q$, преимущество, уравнение Беллмана на «коридоре» из трёх клеток. Политика как распределение над токенами — в уроке 6.3.1 «Основы RL для языковых моделей». Прочитайте урок, затем эту страницу — она даёт те же понятия в обозначениях, которые используют статьи.

Как читать перевод

Обозначения оригинала сохранены. Матожидание здесь записано как $\underset{x \sim P}{\mathrm{E}}[\,\cdot\,]$: под буквой $\mathrm{E}$ указано, по какому распределению усредняем. В курсе то же самое пишется $\mathbb{E}_{x \sim P}[\,\cdot\,]$. Абзацы «Словами» после формул добавлены переводчиком.

Добро пожаловать в наше введение в обучение с подкреплением! Здесь мы хотим познакомить вас

• с языком и обозначениями, на которых говорят об этой области;
• с общим объяснением того, что делают алгоритмы RL (вопроса, как они это делают, мы в основном избегаем);
• с небольшой частью базовой математики, на которой стоят алгоритмы.

Если коротко, RL изучает агентов и то, как они учатся методом проб и ошибок. RL формализует идею о том, что награда или наказание за поведение делает это поведение в будущем более или менее вероятным.

Что умеет RL?

В последние годы методы RL добились самых разных успехов. Например, с их помощью компьютеры научились управлять роботами в симуляции (в оригинале здесь видео: сбитый с ног симулированный человечек поднимается)… и в реальном мире (в оригинале — видео на YouTube).

RL знаменит и тем, что с его помощью созданы прорывные ИИ для сложных стратегических игр, прежде всего го и Dota. Компьютеры научились играть в игры Atari по сырым пикселям, а симулированные роботы — следовать инструкциям человека.

Ключевые понятия и терминология

flowchart LR
A["Агент"] -->|"действие a"| E["Среда"]
E -->|"состояние / наблюдение s"| A
E -->|"награда r"| A

Цикл взаимодействия агента и среды (в оригинале — рисунок rl_diagram_transparent_bg.png)

Главные действующие лица RL — агентагентEN agentВ китайском встречается и «дайли» («посредник»), но в AI-контексте стандарт — «чжинэнти» (буквально «интеллектуальное тело»). и средасреда (в RL и для агентов)EN environmentТо, с чем взаимодействует агент — инструменты, песочница, симулятор пользователя — вместе с правилами выдачи награды.. Среда — это мир, в котором агент живёт и с которым взаимодействует. На каждом шаге взаимодействия агент видит (возможно, неполное) наблюдение состояния мира и решает, какое действие предпринять. Среда меняется, когда агент на неё действует, но может меняться и сама по себе.

Кроме того, агент получает от среды сигнал наградынаграда, вознаграждениеEN rewardЧисло, которым среда оценивает действие или весь ответ. У LLM обычно одна награда в конце ответа. — число, которое говорит, насколько хорошо или плохо текущее состояние мира. Цель агента — максимизировать накопленную награду, которая называется отдачейотдача (return)EN returnG_t = r_t + γ r_{t+1} + γ² r_{t+2} + … — дисконтированная сумма наград от шага t до конца эпизода. (return). Методы обучения с подкреплением — это способы, которыми агент может выучить поведение, ведущее к этой цели.

Чтобы говорить о том, что делает RL, конкретнее, нужно ввести дополнительную терминологию. Нам предстоит поговорить о

• состояниях и наблюдениях,
• пространствах действий,
• политиках,
• траекториях,
• разных определениях отдачи,
• задаче оптимизации в RL,
• и функциях ценности.

Состояния и наблюдения

Состояние $s$ — это полное описание состояния мира. Нет такой информации о мире, которая была бы скрыта от состояния. Наблюдение $o$ — частичное описание состояния, в котором часть информации может отсутствовать.

В глубоком RL состояния и наблюдения почти всегда представлены вещественным вектором, матрицей или тензором более высокого порядка. Например, зрительное наблюдение можно представить RGB-матрицей значений пикселей, а состояние робота — углами в суставах и скоростями.

Когда агент видит полное состояние среды, говорят, что среда полностью наблюдаема (fully observed). Когда агент видит только частичное наблюдение — среда частично наблюдаема (partially observed).

Полезно знать

В обозначениях RL иногда ставят символ состояния $s$ там, где формально правильнее было бы написать символ наблюдения $o$. В частности, так бывает, когда говорят о том, как агент выбирает действие: в формулах часто пишут, что действие зависит от состояния, хотя на практике оно зависит от наблюдения — ведь у агента нет доступа к состоянию.

В нашем руководстве мы следуем стандартным соглашениям об обозначениях, но из контекста должно быть ясно, что имеется в виду. Если же что-то непонятно, пожалуйста, создайте issue! Наша цель — научить, а не запутать.

Пространства действий

Разные среды допускают разные виды действий. Множество всех допустимых действий в данной среде часто называют пространством действий (action space). В некоторых средах, например в Atari и го, дискретные пространства действий: агенту доступно лишь конечное число ходов. В других средах, например когда агент управляет роботом в физическом мире, пространства действий непрерывные. В непрерывных пространствах действия — вещественные векторы.

Это различие имеет довольно глубокие последствия для методов глубокого RL. Некоторые семейства алгоритмов можно напрямую применить только в одном из случаев, а для другого их пришлось бы существенно переделать.

Политики

Политикаполитика (стратегия агента)EN policy — это правило, по которому агент решает, какие действия предпринять. Она может быть детерминированной, и тогда её обычно обозначают $\mu$:

$$a_t = \mu(s_t),$$

а может быть стохастической, и тогда её обычно обозначают $\pi$:

$$a_t \sim \pi(\cdot | s_t).$$

Словами: детерминированная политика по состоянию $s_t$ сразу выдаёт действие $a_t$. Стохастическая выдаёт распределение вероятностей над действиями, и действие из него сэмплируется (знак $\sim$ читается «выбрано из»; точка $\cdot$ — место для действия).

Поскольку политика — по сути «мозг» агента, слово «политика» нередко подставляют вместо слова «агент» и говорят, например: «Политика пытается максимизировать награду».

В глубоком RL мы имеем дело с параметризованными политиками: их выходы — вычислимые функции, зависящие от набора параметров (например, весов и смещений нейросети), которые можно подстраивать каким-нибудь алгоритмом оптимизации, чтобы менять поведение.

Параметры такой политики часто обозначают $\theta$ или $\phi$ и пишут нижним индексом при символе политики, чтобы подчеркнуть связь:

$$\begin{aligned} a_t &= \mu_{\theta}(s_t) \\ a_t &\sim \pi_{\theta}(\cdot | s_t). \end{aligned}$$

Детерминированные политики

Пример: детерминированные политики. Вот фрагмент кода, который строит простую детерминированную политику для непрерывного пространства действий на PyTorch с помощью пакета torch.nn:

pi_net = nn.Sequential(
              nn.Linear(obs_dim, 64),   # вход: вектор наблюдения размера obs_dim
              nn.Tanh(),                # нелинейность tanh
              nn.Linear(64, 64),        # второй скрытый слой на 64 нейрона
              nn.Tanh(),
              nn.Linear(64, act_dim)    # выход: вектор действия размера act_dim
            )

Этот код строит многослойный перцептрон (MLP) с двумя скрытыми слоями по 64 нейрона и функциями активации $\tanh$. Если obs — массив Numpy с батчем наблюдений, то pi_net можно использовать, чтобы получить батч действий:

obs_tensor = torch.as_tensor(obs, dtype=torch.float32)  # массив Numpy → тензор PyTorch
actions = pi_net(obs_tensor)                            # по одному действию на каждое наблюдение

Полезно знать

Не волнуйтесь, если всё это про нейросети вам незнакомо: руководство посвящено RL, а не нейросетевой стороне дела. Этот пример можно пропустить и вернуться к нему позже. Но мы решили, что тем, кто уже знает нейросети, он может пригодиться.

Стохастические политики

Два самых распространённых вида стохастических политик в глубоком RL — категориальные политики (categorical policies) и диагональные гауссовы политики (diagonal Gaussian policies).

Категориальные политики применяют в дискретных пространствах действий, а диагональные гауссовы — в непрерывных.

Для использования и обучения стохастических политик центральное значение имеют два вычисления:

• сэмплирование действий из политики,
• и вычисление логарифма правдоподобия (log-likelihood) конкретных действий, $\log \pi_{\theta}(a|s)$.

Ниже мы опишем, как делать это для категориальных и для диагональных гауссовых политик.

Категориальные политики

Категориальная политика похожа на классификатор над дискретными действиями. Нейросеть для неё строится так же, как для классификатора: на входе — наблюдение, затем несколько слоёв (свёрточных или полносвязных, в зависимости от вида входа), а в конце — один линейный слой, который выдаёт логитылогитEN logitСтрого — логарифм шансов log(p / (1 − p)). В нейросетях логитами называют любые выходы до softmax или сигмоиды. для каждого действия, и softmax, превращающий логиты в вероятности.

Сэмплирование. Когда вероятности каждого действия известны, во фреймворках вроде PyTorch и Tensorflow есть встроенные инструменты для сэмплирования. См., например, документацию по категориальным распределениям в PyTorch, torch.multinomial, tf.distributions.Categorical или tf.multinomial.

Логарифм правдоподобия. Обозначим последний слой вероятностей через $P_{\theta}(s)$. Это вектор, в котором столько элементов, сколько действий, поэтому действия можно считать индексами этого вектора. Тогда логарифм правдоподобия действия $a$ получается взятием элемента вектора:

$$\log \pi_{\theta}(a|s) = \log \left[P_{\theta}(s)\right]_a.$$

Словами: берём из вектора вероятностей элемент с номером $a$ и логарифмируем его. Пример: логиты $[2.0,\ 1.0,\ 0.1]$ после softmax дают вероятности $[0.659,\ 0.242,\ 0.099]$; для действия $a = 1$ (нумерация с нуля) $\log \pi_\theta(a|s) = \log 0.242 \approx -1.417$.

Диагональные гауссовы политики

Многомерное гауссово распределение (или, если угодно, многомерное нормальное распределение) задаётся вектором средних $\mu$ и ковариационной матрицей $\Sigma$. Диагональное гауссово распределение — частный случай, когда у ковариационной матрицы ненулевые элементы стоят только на диагонали. Поэтому её можно представить вектором.

У диагональной гауссовой политики всегда есть нейросеть, которая отображает наблюдения в средние действия $\mu_{\theta}(s)$. Ковариационную матрицу обычно представляют одним из двух способов.

Первый способ. Есть один вектор логарифмов стандартных отклонений $\log \sigma$, который не зависит от состояния: $\log \sigma$ — отдельные, самостоятельные параметры. (Полезно знать: наши реализации VPG, TRPO и PPO устроены именно так.)

Второй способ. Есть нейросеть, которая отображает состояния в логарифмы стандартных отклонений, $\log \sigma_{\theta}(s)$. При желании она может делить часть слоёв с сетью для средних.

Заметьте, что в обоих случаях мы выдаём логарифмы стандартных отклонений, а не сами отклонения. Дело в том, что логарифмы могут принимать любые значения из $(-\infty, \infty)$, а стандартные отклонения должны быть неотрицательными. Параметры легче обучать, если не нужно следить за такими ограничениями. Стандартные отклонения сразу получаются из логарифмов возведением экспоненты в степень, так что при таком представлении мы ничего не теряем.

Сэмплирование. Если даны среднее действие $\mu_{\theta}(s)$ и стандартное отклонение $\sigma_{\theta}(s)$, а также вектор шума $z$ из сферического гауссова распределения ($z \sim \mathcal{N}(0, I)$), сэмпл действия можно вычислить как

$$a = \mu_{\theta}(s) + \sigma_{\theta}(s) \odot z,$$

где $\odot$ обозначает поэлементное произведение двух векторов. В стандартных фреймворках есть встроенные способы генерировать векторы шума, например torch.normal или tf.random_normal. Можно и построить объекты распределений, например через torch.distributions.Normal или tf.distributions.Normal, и сэмплировать с их помощью. (Преимущество второго подхода в том, что такие объекты умеют ещё и вычислять логарифмы правдоподобия.)

Логарифм правдоподобия. Логарифм правдоподобия $k$-мерного действия $a$ для диагонального гауссова распределения со средним $\mu = \mu_{\theta}(s)$ и стандартным отклонением $\sigma = \sigma_{\theta}(s)$ равен

$$\log \pi_{\theta}(a|s) = -\frac{1}{2}\left(\sum_{i=1}^k \left(\frac{(a_i - \mu_i)^2}{\sigma_i^2} + 2 \log \sigma_i \right) + k \log 2\pi \right).$$

Словами: по каждой координате действия считаем, насколько далеко она от среднего в единицах $\sigma_i$ (квадрат), добавляем штраф $2\log\sigma_i$ за ширину распределения, всё складываем, прибавляем константу $k \log 2\pi$ и умножаем на $-\tfrac12$. Это сумма логарифмов одномерных нормальных плотностей — координаты независимы.

Примечание переводчика: проверим формулу числами

Пусть $k = 2$, $\mu = [0,\ 1]$, $\sigma = [1,\ 0.5]$, $a = [0.5,\ 0.5]$. Тогда $-\tfrac12\big((0.25 + 0) + (1 + 2\log 0.5) + 2\log 2\pi\big) \approx -1.770$. Тот же ответ даёт PyTorch:

import math
import torch

mu = torch.tensor([0.0, 1.0])     # средние действия μ
sigma = torch.tensor([1.0, 0.5])  # стандартные отклонения σ
a = torch.tensor([0.5, 0.5])      # действие, правдоподобие которого считаем
k = 2                             # размерность действия

# Формула из текста
by_formula = -0.5 * (((a - mu) ** 2 / sigma ** 2 + 2 * torch.log(sigma)).sum() + k * math.log(2 * math.pi))
# Готовое распределение: log_prob считает по координатам, поэтому суммируем
by_torch = torch.distributions.Normal(mu, sigma).log_prob(a).sum()
print(round(by_formula.item(), 4), round(by_torch.item(), 4))

-1.7697 -1.7697

Эту формулу вы реализуете сами в упражнении 1.1.

Траектории

ТраекториятраекторияEN trajectoryПолная запись эпизода агента — все мысли, вызовы инструментов и наблюдения. Единица данных для оценки и agentic RL. $\tau$ — последовательность состояний и действий в мире:

$$\tau = (s_0, a_0, s_1, a_1, ...).$$

Самое первое состояние мира $s_0$ выбирается случайно из распределения начальных состояний (start-state distribution), которое иногда обозначают $\rho_0$:

$$s_0 \sim \rho_0(\cdot).$$

Переходы между состояниями (то, что происходит с миром между состоянием в момент $t$, $s_t$, и состоянием в момент $t+1$, $s_{t+1}$) подчиняются законам природы среды и зависят только от последнего действия $a_t$. Переходы могут быть детерминированными,

$$s_{t+1} = f(s_t, a_t)$$

или стохастическими,

$$s_{t+1} \sim P(\cdot|s_t, a_t).$$

Действия выбирает агент в соответствии со своей политикой.

Полезно знать

Траектории также часто называют эпизодами (episodes) или роллаутами (rollouts).

Награда и отдача

Функция награды $R$ в обучении с подкреплением критически важна. Она зависит от текущего состояния мира, только что совершённого действия и следующего состояния мира:

$$r_t = R(s_t, a_t, s_{t+1})$$

хотя часто её упрощают до зависимости только от текущего состояния, $r_t = R(s_t)$, или от пары «состояние—действие», $r_t = R(s_t,a_t)$.

Цель агента — максимизировать некую накопленную награду по траектории, но это может означать разные вещи. Все эти случаи мы будем обозначать $R(\tau)$, и либо из контекста будет ясно, какой случай имеется в виду, либо это будет неважно (потому что для всех случаев подходят одни и те же уравнения).

Один вид отдачи — конечногоризонтная недисконтированная отдача (finite-horizon undiscounted return): просто сумма наград, полученных в фиксированном окне шагов:

$$R(\tau) = \sum_{t=0}^T r_t.$$

Другой вид — бесконечногоризонтная дисконтированная отдача (infinite-horizon discounted return): сумма всех наград, когда-либо полученных агентом, но с дисконтом в зависимости от того, насколько далеко в будущем они получены. В это определение входит коэффициент дисконтированиякоэффициент дисконтированияEN discount factorγ от 0 до 1: во сколько раз награда через шаг «дешевле» награды сейчас. Горизонт планирования ≈ 1/(1−γ). $\gamma \in (0,1)$:

$$R(\tau) = \sum_{t=0}^{\infty} \gamma^t r_t.$$

Словами: награда через $t$ шагов умножается на $\gamma^t$. При $\gamma = 0.9$ награда через 10 шагов весит $0.9^{10} \approx 0.35$ от награды «сейчас».

Но зачем вообще нужен коэффициент дисконтирования? Разве мы не хотим получить все награды? Хотим, но дисконт и интуитивно привлекателен, и математически удобен. Интуитивно: деньги сейчас лучше, чем деньги потом. Математически: бесконечная сумма наград может не сходиться к конечному значению, и с ней трудно работать в уравнениях. А с коэффициентом дисконтирования и при разумных условиях бесконечная сумма сходится.

Полезно знать

В формализме RL граница между этими двумя определениями отдачи очень чёткая, но на практике в глубоком RL её заметно размывают. Например, алгоритмы часто настраивают на оптимизацию недисконтированной отдачи, но при оценке функций ценности используют коэффициенты дисконтирования.

Задача RL

Какую бы меру отдачи мы ни выбрали (бесконечногоризонтную дисконтированную или конечногоризонтную недисконтированную) и какую бы политику ни выбрали, цель в RL — выбрать политику, которая максимизирует ожидаемую отдачу (expected return), когда агент действует по ней.

Чтобы говорить об ожидаемой отдаче, сначала нужно поговорить о распределениях вероятностей над траекториями.

Предположим, что и переходы среды, и политика стохастические. Тогда вероятность траектории из $T$ шагов равна:

$$P(\tau|\pi) = \rho_0 (s_0) \prod_{t=0}^{T-1} P(s_{t+1} | s_t, a_t) \pi(a_t | s_t).$$

Словами: вероятность всей траектории — произведение вероятности стартового состояния, вероятностей каждого выбранного политикой действия и вероятностей каждого перехода среды.

Ожидаемая отдача (для любой из мер), которую обозначают $J(\pi)$, тогда равна:

$$J(\pi) = \int_{\tau} P(\tau|\pi) R(\tau) = \underset{\tau\sim \pi}{\mathrm{E}}\left[R(\tau)\right].$$

Словами: $J(\pi)$ — средняя отдача по всем возможным траекториям, каждая взвешена своей вероятностью. Интеграл здесь — то же, что сумма для дискретного случая.

Тогда центральную задачу оптимизации в RL можно записать как

$$\pi^* = \arg \max_{\pi} J(\pi),$$

где $\pi^*$ — оптимальная политика.

Функции ценности

Часто полезно знать ценность (value) состояния или пары «состояние—действие». Под ценностью мы понимаем ожидаемую отдачу, если начать в этом состоянии или с этой пары и затем всегда действовать по определённой политике. Функции ценности так или иначе используются почти в каждом алгоритме RL.

Здесь стоит отметить четыре главные функции.

1. Функция ценности on-policy (on-policy value function) $V^{\pi}(s)$ — ожидаемая отдача, если начать в состоянии $s$ и всегда действовать по политике $\pi$:

   $$V^{\pi}(s) = \underset{\tau \sim \pi}{\mathrm{E}}\left[R(\tau)\left| s_0 = s\right.\right]$$

2. Функция ценности действия on-policy (on-policy action-value function) $Q^{\pi}(s,a)$ — ожидаемая отдача, если начать в состоянии $s$, совершить произвольное действие $a$ (которое могло и не прийти из политики), а затем всегда действовать по политике $\pi$:

   $$Q^{\pi}(s,a) = \underset{\tau \sim \pi}{\mathrm{E}}\left[R(\tau)\left| s_0 = s, a_0 = a\right.\right]$$

3. Оптимальная функция ценности (optimal value function) $V^*(s)$ — ожидаемая отдача, если начать в состоянии $s$ и всегда действовать по оптимальной политике в среде:

   $$V^*(s) = \max_{\pi} \underset{\tau \sim \pi}{\mathrm{E}}\left[R(\tau)\left| s_0 = s\right.\right]$$

4. Оптимальная функция ценности действия (optimal action-value function) $Q^*(s,a)$ — ожидаемая отдача, если начать в состоянии $s$, совершить произвольное действие $a$, а затем всегда действовать по оптимальной политике в среде:

   $$Q^*(s,a) = \max_{\pi} \underset{\tau \sim \pi}{\mathrm{E}}\left[R(\tau)\left| s_0 = s, a_0 = a\right.\right]$$

Словами: вертикальная черта читается «при условии». $V$ отвечает на вопрос «сколько в среднем наберём из этого состояния», $Q$ — «сколько наберём, если сейчас сделаем именно $a$». Звёздочка означает «при наилучшем поведении».

Полезно знать

Когда мы говорим о функциях ценности и не упоминаем зависимость от времени, мы имеем в виду только ожидаемую бесконечногоризонтную дисконтированную отдачу. Функциям ценности для конечногоризонтной недисконтированной отдачи пришлось бы принимать время как аргумент. Догадаетесь, почему? Подсказка: что происходит, когда время вышло?

Полезно знать

Между функцией ценности и функцией ценности действия есть две ключевые связи, которые встречаются довольно часто:

$$V^{\pi}(s) = \underset{a\sim \pi}{\mathrm{E}}\left[Q^{\pi}(s,a)\right],$$

и

$$V^*(s) = \max_a Q^* (s,a).$$

Эти соотношения довольно прямо следуют из только что данных определений: сможете их доказать?

Оптимальная Q-функция и оптимальное действие

Между оптимальной функцией ценности действия $Q^*(s,a)$ и действием, которое выбирает оптимальная политика, есть важная связь. По определению $Q^*(s,a)$ — ожидаемая отдача, если начать в состоянии $s$, совершить (произвольное) действие $a$, а затем всегда действовать по оптимальной политике.

Оптимальная политика в $s$ выберет то действие, которое максимизирует ожидаемую отдачу при старте из $s$. Поэтому, если у нас есть $Q^*$, оптимальное действие $a^*(s)$ можно получить напрямую:

$$a^*(s) = \arg \max_a Q^* (s,a).$$

Замечание: действий, максимизирующих $Q^*(s,a)$, может быть несколько; тогда все они оптимальны, и оптимальная политика может случайно выбирать любое из них. Но всегда существует оптимальная политика, которая выбирает действие детерминированно.

Уравнения Беллмана

Все четыре функции ценности подчиняются особым уравнениям самосогласованности, которые называются уравнениями Беллманауравнение БеллманаEN Bellman equationЦенность состояния = средняя немедленная награда + γ · средняя ценность следующего состояния.. Основная идея уравнений Беллмана такова:

Ценность точки, где вы стоите, — это награда, которую вы ожидаете получить за то, что вы здесь, плюс ценность того места, куда вы попадёте дальше.

Уравнения Беллмана для функций ценности on-policy:

$$\begin{aligned} V^{\pi}(s) &= \underset{\substack{a \sim \pi \\ s'\sim P}}{\mathrm{E}}\left[r(s,a) + \gamma V^{\pi}(s')\right], \\ Q^{\pi}(s,a) &= \underset{s'\sim P}{\mathrm{E}}\left[r(s,a) + \gamma \underset{a'\sim \pi}{\mathrm{E}}\left[Q^{\pi}(s',a')\right]\right], \end{aligned}$$

где $s' \sim P$ — краткая запись $s' \sim P(\cdot |s,a)$: следующее состояние $s'$ выбирается по правилам переходов среды; $a \sim \pi$ — краткая запись $a \sim \pi(\cdot|s)$, а $a' \sim \pi$ — краткая запись $a' \sim \pi(\cdot|s')$.

Уравнения Беллмана для оптимальных функций ценности:

$$\begin{aligned} V^*(s) &= \max_a \underset{s'\sim P}{\mathrm{E}}\left[r(s,a) + \gamma V^*(s')\right], \\ Q^*(s,a) &= \underset{s'\sim P}{\mathrm{E}}\left[r(s,a) + \gamma \max_{a'} Q^*(s',a')\right]. \end{aligned}$$

Ключевое различие между уравнениями Беллмана для функций ценности on-policy и для оптимальных функций ценности — отсутствие или присутствие $\max$ по действиям. Его появление отражает тот факт, что всякий раз, когда агент выбирает действие, для оптимального поведения ему нужно выбрать то, которое ведёт к наибольшей ценности.

Словами: в первой паре уравнений действие берётся «как обычно ходит политика» (усреднение по $\pi$), во второй — «лучшее из возможных» ($\max$). Пример: награда за шаг $r = 1$, $\gamma = 0.9$, и из следующего состояния ценность $V(s') = 10$. Тогда ценность текущего состояния $1 + 0.9 \cdot 10 = 10$ — уравнение выполнено.

Полезно знать

В литературе по RL часто встречается термин «беллмановский бэкап» (Bellman backup). Беллмановский бэкап для состояния или пары «состояние—действие» — это правая часть уравнения Беллмана: награда плюс следующая ценность.

Функции преимущества

Иногда в RL не нужно описывать, насколько хорошо действие в абсолютном смысле, а нужно лишь знать, насколько оно лучше других в среднем. Иначе говоря, мы хотим знать относительное преимуществопреимущество (advantage)EN advantageA = r − b или A(s, a) = Q(s, a) − V(s): насколько действие лучше среднего в этой ситуации. (advantage) этого действия. Это понятие уточняет функция преимущества.

Функция преимущества $A^{\pi}(s,a)$ для политики $\pi$ описывает, насколько лучше совершить конкретное действие $a$ в состоянии $s$, чем выбрать действие случайно по $\pi(\cdot|s)$, при условии что дальше вы всегда действуете по $\pi$. Математически функция преимущества определяется так:

$$A^{\pi}(s,a) = Q^{\pi}(s,a) - V^{\pi}(s).$$

Словами: если $Q^\pi(s, a) = 12$, а $V^\pi(s) = 10$, то $A^\pi(s, a) = +2$: действие $a$ на 2 лучше «обычного» поведения политики в этом состоянии. Отрицательное преимущество — действие хуже среднего.

Полезно знать

Мы ещё обсудим это позже, но функция преимущества критически важна для методов градиента политики.

(Необязательно) Формализм

До сих пор мы обсуждали среду агента неформально, но если вы начнёте копаться в литературе, то, скорее всего, наткнётесь на стандартный математический формализм для этой постановки — марковские процессы принятия решений (Markov Decision Processes, MDPмарковский процесс принятия решений (MDP)EN Markov decision process (MDP)Пятёрка (S, A, P, R, γ): состояния, действия, вероятности переходов, награда и коэффициент дисконтирования.). MDP — это пятёрка $\langle S, A, R, P, \rho_0 \rangle$, где

• $S$ — множество всех допустимых состояний,
• $A$ — множество всех допустимых действий,
• $R : S \times A \times S \to \mathbb{R}$ — функция награды, $r_t = R(s_t, a_t, s_{t+1})$,
• $P : S \times A \to \mathcal{P}(S)$ — функция вероятностей переходов; $P(s'|s,a)$ — вероятность перейти в состояние $s'$, если начать в состоянии $s$ и совершить действие $a$,
• $\rho_0$ — распределение начальных состояний.

Название «марковский процесс принятия решений» связано с тем, что система обладает марковским свойством: переходы зависят только от последнего состояния и действия и не зависят от предыдущей истории.

---

Словарик

English	Русский (как в курсе)
agent, environment	агент, среда
state, observation	состояние, наблюдение
fully / partially observed	полностью / частично наблюдаемая (среда)
action space (discrete, continuous)	пространство действий (дискретное, непрерывное)
policy (deterministic, stochastic)	политика (детерминированная, стохастическая)
log-likelihood	логарифм правдоподобия
trajectory, episode, rollout	траектория, эпизод, роллаут
reward, return	награда, отдача
discount factor	коэффициент дисконтирования
expected return	ожидаемая отдача
value function, action-value function	функция ценности (состояния), функция ценности действия (Q-функция)
Bellman equation, Bellman backup	уравнение Беллмана, беллмановский бэкап
advantage function	функция преимущества
Markov Decision Process (MDP)	марковский процесс принятия решений

Дальше: Часть 2 — виды алгоритмов RL.