Deep RL Course, юнит 6: actor-critic и A2C

Это перевод шестого юнита курса Hugging Face Deep RL Course: теория, практическое занятие (ноутбук notebooks/unit6/unit6.ipynb), тест и заключение. Предыдущий юнит о политике — градиент политики, карта курса — в путеводителе.

Как читать вместе с курсом ChinaAI

Юнит 6 соответствует разделам «Baseline и преимущество» и «Actor-critic: актор и критик» урока 6.0.3. Юнит короткий и наглядный, урок — строже: в нём показано, почему вычитание baseline не смещает градиент, и выведен GAE, которого в курсе Hugging Face нет. Для языковых моделей критик — это value-модель в PPO-версии RLHF (урок 6.3.2), а «преимущество» — то, что GRPO считает без критика, по группе ответов.

О переводе

Перевод сделан по исходникам курса на GitHub (лицензия Apache-2.0). Формулы, которые в оригинале нарисованы на картинках, записаны формулами; рисунки описаны словами или заменены схемами; тест оформлен квизом и раскрывающимися ответами. Примечания переводчика вынесены в отдельные блоки.

Введение

В юните 4 мы изучили первый алгоритм на основе политики — REINFORCE.

В методах на основе политики мы стремимся оптимизировать политику напрямую, без функции ценности. Точнее, REINFORCE входит в подкласс методов на основе политики, который называют методами градиента политики. Этот подкласс оптимизирует политику напрямую, оценивая веса оптимальной политики градиентным подъёмом.

Мы видели, что REINFORCE работает хорошо. Но поскольку для оценки отдачи мы используем сэмплирование Монте-Карло (отдачу считаем по целому эпизоду), у оценки градиента политики большая дисперсия.

Вспомните: оценка градиента политики — это направление самого быстрого роста отдачи. Иначе говоря, она говорит, как обновить веса политики, чтобы действия, ведущие к хорошей отдаче, выбирались с большей вероятностью. Дисперсия Монте-Карло, которую мы подробнее изучим в этом юните, замедляет обучение: чтобы её сгладить, нужно много примеров.

Поэтому сегодня мы изучим методы actor-critic — гибридную архитектуру, сочетающую методы на основе ценности и на основе политики. Она стабилизирует обучение, уменьшая дисперсию, с помощью:

• актора (actor), который управляет тем, как ведёт себя агент (метод на основе политики);
• критика (critic), который оценивает, насколько хорошее действие совершено (метод на основе ценности).

Мы изучим один из таких гибридных методов — Advantage Actor Critic (A2C) — и обучим агента со Stable-Baselines3 в робототехнической среде. Мы обучим:

• робота-манипулятора 🦾 выводить руку в нужное положение.

Звучит увлекательно? Начнём!

Проблема дисперсии в REINFORCE

В REINFORCE мы хотим увеличивать вероятность действий траектории пропорционально тому, насколько высока отдача:

$$\nabla_\theta J(\theta) \approx \sum_{t=0} \nabla_\theta \log \pi_\theta(a_t \mid s_t)\, R(\tau)$$

• Если отдача высокая, мы поднимаем вероятности сочетаний (состояние, действие).
• Если же отдача низкая, мы опускаем вероятности сочетаний (состояние, действие).

Эта отдача $R(\tau)$ вычисляется сэмплированием Монте-Карло. Мы собираем траекторию, считаем дисконтированную отдачу и по этой оценке увеличиваем или уменьшаем вероятность каждого действия этой траектории. Если отдача хорошая, все действия «подкрепляются» — их вероятность растёт.

$$R(\tau) = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \dots$$

Плюс этого метода в том, что он несмещённый. Мы не оцениваем отдачу, а берём только настоящую полученную отдачу.

Но из-за стохастичности среды (случайных событий в эпизоде) и стохастичности политики траектории могут давать разную отдачу, а это даёт высокую дисперсию. Из одного и того же начального состояния можно получить очень разную отдачу. Поэтому отдача из одного и того же состояния может сильно меняться от эпизода к эпизоду.

flowchart LR
S["Одно и то же начальное состояние"] --> T1["Траектория 1: отдача 10"]
S --> T2["Траектория 2: отдача −2"]
S --> T3["Траектория 3: отдача 35"]

Высокая дисперсия: из одного состояния — очень разные отдачи (в оригинале — картинка)

Решение — сгладить дисперсию, взяв много траекторий в надежде, что дисперсия отдельных траекторий в сумме усреднится и даст «истинную» оценку отдачи.

Но если сильно увеличить размер батча, падает эффективность по данным (sample efficiency). Поэтому нужны другие механизмы уменьшения дисперсии.

---

Если хотите глубже разобраться в компромиссе смещения и дисперсии в глубоком обучении с подкреплением, прочитайте эти статьи:

• Making Sense of the Bias / Variance Trade-off in (Deep) Reinforcement Learning;
• Bias-variance Tradeoff in Reinforcement Learning;
• High Variance in Policy gradients.

---

Примечание переводчика: дисперсия на числах

Пусть из одного состояния три эпизода дали отдачи 10, −2 и 35. Среднее — $43/3 \approx 14{,}3$, а разброс отдельных оценок вокруг него огромный: от −16 до +21. Обновление по одному эпизоду то тянет вероятности вверх с весом 35, то вниз с весом −2 — градиент «дёргается». Отсюда идея: вычитать из отдачи ожидаемое значение для этого состояния (baseline). Тогда «35» превращается в «на 21 лучше обычного», а «−2» — в «на 16 хуже обычного».

Advantage Actor-Critic (A2C)

Уменьшаем дисперсию методами actor-critic

Чтобы уменьшить дисперсию REINFORCE и обучать агента быстрее и лучше, используют сочетание методов на основе политики и на основе ценности — метод actor-critic.

Чтобы понять actor-criticактор-критик (actor-critic)EN actor-criticДве сети — актор (политика) и критик (оценка V); критик даёт актору оценку преимущества., представьте, что вы играете в видеоигру. Вы играете вместе с другом, который даёт вам обратную связь. Вы — актор, а друг — критик.

Сначала вы не умеете играть, поэтому пробуете действия наугад. Критик наблюдает за вашими действиями и даёт обратную связь.

Учась на этой обратной связи, вы обновляете свою политику и начинаете играть лучше.

А друг (критик) тоже обновляет свой способ давать обратную связь, чтобы в следующий раз она была точнее.

Такова идея actor-critic. Мы учим две аппроксимации функций:

• политику, которая управляет действиями агента: $\pi_{\theta}(s)$;
• функцию ценности, которая помогает обновлять политику, оценивая, насколько хорошее действие совершено: $\hat{q}_{w}(s,a)$.

Процесс actor-critic

Мы увидели общую картину actor-critic — теперь разберёмся, как актор и критик улучшаются вместе во время обучения.

Как мы видели, в методах actor-critic две аппроксимации функций (две нейросети):

• актор — функция политики с параметрами θ: $\pi_{\theta}(s)$;
• критик — функция ценности с параметрами w: $\hat{q}_{w}(s,a)$.

Посмотрим на процесс обучения, чтобы понять, как оптимизируются актор и критик.

• На каждом шаге $t$ мы получаем от среды текущее состояние $S_t$ и подаём его на вход актору и критику.
• Политика по состоянию выдаёт действие $A_t$.
• Критик тоже получает это действие на вход и по $S_t$ и $A_t$ вычисляет ценность этого действия в этом состоянии — Q-значение.
• Действие $A_t$, выполненное в среде, даёт новое состояние $S_{t+1}$ и награду $R_{t+1}$.
• Актор обновляет параметры политики с помощью Q-значения:

$$\Delta\theta = \alpha\, \nabla_\theta \big(\log \pi_\theta(s, a)\big)\, \hat{q}_w(s, a)$$

• С обновлёнными параметрами актор выбирает следующее действие $A_{t+1}$ в новом состоянии $S_{t+1}$.
• Затем критик обновляет свои параметры ценности:

$$\Delta w = \beta\, \big(R(s, a) + \gamma\, \hat{q}_w(s_{t+1}, a_{t+1}) - \hat{q}_w(s_t, a_t)\big)\, \nabla_w \hat{q}_w(s_t, a_t)$$

flowchart LR
E["Среда"] -->|"состояние S_t"| A["Актор π_θ"]
E -->|"состояние S_t"| C["Критик q̂_w"]
A -->|"действие A_t"| E
A -->|"действие A_t"| C
C -->|"Q-значение: насколько хорошо действие"| A
E -->|"награда R_t+1, состояние S_t+1"| C

Процесс actor-critic: актор действует, критик оценивает, оба учатся (в оригинале — пять картинок по шагам)

Примечание переводчика: что в формулах обновления

Обе формулы в оригинале даны картинками. В обновлении актора $\alpha$ — скорость обучения актора, а вместо полной отдачи $R(\tau)$ из REINFORCE стоит оценка критика $\hat{q}_w(s,a)$: она известна сразу, ждать конца эпизода не нужно. В обновлении критика $\beta$ — скорость обучения критика, а в скобках — TD-ошибка из юнита 2: критик учится так же, как Q-функция в SARSA.

Добавляем преимущество: Advantage Actor-Critic (A2C)

Обучение можно стабилизировать ещё сильнее, если использовать в роли критика функцию преимущества, а не функцию ценности действия.

Идея в том, что функция преимуществапреимущество (advantage)EN advantageA = r − b или A(s, a) = Q(s, a) − V(s): насколько действие лучше среднего в этой ситуации. вычисляет относительное преимущество действия по сравнению с другими возможными в этом состоянии действиями: насколько это действие в этом состоянии лучше средней ценности состояния. Из ценности пары «состояние — действие» вычитается средняя ценность состояния:

$$A(s, a) = Q(s, a) - V(s)$$

Иначе говоря, эта функция показывает, какую дополнительную награду мы получим, если совершим это действие в этом состоянии, по сравнению со средней наградой в этом состоянии.

Дополнительная награда — это то, что сверх ожидаемой ценности состояния.

• Если $A(s,a) > 0$, градиент толкает в эту сторону.
• Если $A(s,a) < 0$ (действие хуже средней ценности состояния), градиент толкает в противоположную сторону.

Чтобы реализовать функцию преимущества в таком виде, нужны две функции ценности — $Q(s,a)$ и $V(s)$. К счастью, хорошей оценкой функции преимущества служит TD-ошибка:

$$A(s, a) = Q(s, a) - V(s), \qquad Q(s, a) = r + \gamma V(s') \quad\Longrightarrow\quad A(s, a) = \underbrace{r + \gamma V(s') - V(s)}_{\text{TD-ошибка}}$$

Примечание переводчика: преимущество на числах

Пусть критик оценивает состояние в $V(s) = 5$. Агент сделал действие, получил награду $r = 1$ и попал в состояние с $V(s') = 6$; $\gamma = 0{,}9$. Тогда $A = 1 + 0{,}9 \cdot 6 - 5 = 1{,}4 > 0$: действие оказалось лучше, чем ожидалось, и его вероятность вырастет. Обучать теперь нужно одну сеть ценности $V$, а не две ($Q$ и $V$). Как сгладить такую одношаговую оценку, взвешивая n-шаговые оценки, — это GAE из урока 6.0.3.

Практика: A2C для робототехники в panda-gym 🤖

Примечание переводчика: перед запуском

• Ноутбук рассчитан на Google Colab с GPU; ячейки с ! и apt — команды Colab. На своей машине ставьте пакеты в отдельное виртуальное окружение; виртуальный дисплей нужен только на машине без экрана.
• 1 млн шагов A2C, по оценке автора, — около 25–40 минут в Colab. Сеть маленькая (MLP), поэтому обучение идёт и на CPU. Для первого знакомства хватит 200–300 тысяч шагов.
• Лидерборд курса выключен, публикация на Hub необязательна.

Теперь, когда вы изучили теорию Advantage Actor Critic (A2C), вы готовы обучить агента A2C со Stable-Baselines3 в робототехнической среде. Мы обучим:

• робота-манипулятора 🦾 выводить руку в нужное положение.

Мы будем использовать panda-gym.

Чтобы это занятие засчиталось для сертификата, нужно выложить обученные модели на Hub и получить такой результат:

• PandaReachDense-v3 — результат ≥ −3,5.

Чтобы узнать результат, найдите свою модель на лидерборде: результат = средняя награда − стандартное отклонение награды. Подробнее о сертификации — в разделе курса.

Чтобы начать, нажмите кнопку «Open In Colab»: ноутбук unit6.ipynb в Colab.

Юнит 6: Advantage Actor Critic (A2C) для робототехнических симуляций в panda-gym 🤖

🎮 Среды: Panda-Gym.

📚 Библиотека RL: Stable-Baselines3.

Мы постоянно улучшаем наши руководства, поэтому, если найдёте проблемы в этом ноутбуке, откройте issue в репозитории на GitHub.

Цели ноутбука 🏆. К концу ноутбука вы:

• научитесь пользоваться Panda-Gym — библиотекой сред;
• сможете обучать роботов с помощью A2C;
• поймёте, зачем нормализовать вход;
• сможете выложить обученного агента и код на Hub с красивым видео игры и оценкой качества 🔥.

Что нужно заранее 🏗️: 🔲 📚 изучить методы actor-critic по юниту 6 🤗

Обучим наших первых роботов 🤖

Включаем GPU 💪

Чтобы ускорить обучение агента, используем GPU. Для этого откройте Runtime > Change Runtime type и выберите Hardware Accelerator > GPU.

Создаём виртуальный дисплей 🔽

Во время работы нам понадобится записать видео игры. В Colab для этого нужен виртуальный экран, чтобы отрисовывать среду (и записывать кадры). Следующая ячейка устанавливает библиотеки, создаёт и запускает виртуальный экран 🖥

%%capture
!apt install python-opengl
!apt install ffmpeg
!apt install xvfb
!pip3 install pyvirtualdisplay

# Виртуальный дисплей
from pyvirtualdisplay import Display

virtual_display = Display(visible=0, size=(1400, 900))
virtual_display.start()

Устанавливаем зависимости 🔽

Ставим несколько пакетов:

• gymnasium;
• panda-gym — содержит среды с роботом-манипулятором;
• stable-baselines3 — библиотека глубокого обучения с подкреплением SB3;
• huggingface_sb3 — дополнительный код для Stable-Baselines3, чтобы загружать модели на Hugging Face 🤗 Hub и скачивать их оттуда;
• huggingface_hub — библиотека для работы с репозиториями Hub.

!pip install stable-baselines3[extra]
!pip install gymnasium
!pip install huggingface_sb3
!pip install huggingface_hub
!pip install panda_gym

Импортируем пакеты 📦

import os

import gymnasium as gym
import panda_gym

from huggingface_sb3 import load_from_hub, package_to_hub

from stable_baselines3 import A2C
from stable_baselines3.common.evaluation import evaluate_policy
from stable_baselines3.common.vec_env import DummyVecEnv, VecNormalize
from stable_baselines3.common.env_util import make_vec_env

from huggingface_hub import notebook_login

PandaReachDense-v3 🦾

Агент, которого мы будем обучать, — робот-манипулятор, которому нужно управлять движением (двигать руку и пользоваться рабочим органом).

В робототехнике рабочий орган (end-effector) — устройство на конце руки робота, предназначенное для взаимодействия со средой.

В PandaReach робот должен поместить рабочий орган в целевую точку (зелёный шар).

Мы будем использовать плотную версию среды. Это значит, что у нас будет плотная функция награды (dense reward), которая выдаёт награду на каждом шаге (чем ближе агент к выполнению задачи, тем выше награда). В отличие от разреженной функции награды (sparse reward), где среда выдаёт награду только тогда, когда задача выполнена.

Кроме того, мы будем использовать управление перемещением рабочего органа: действие — это смещение рабочего органа. Отдельными движениями каждого сустава (управление суставами) мы не управляем.

В оригинале здесь рисунок: рука робота Panda, зелёный шар-цель и стрелки смещения рабочего органа по x, y, z.

Так обучение пойдёт легче.

Создаём среду

В PandaReachDense-v3 робот должен поместить рабочий орган в целевую точку (зелёный шар).

env_id = "PandaReachDense-v3"

# Создаём среду
env = gym.make(env_id)

# Получаем пространство состояний и пространство действий
s_size = env.observation_space.shape
a_size = env.action_space

print("_____OBSERVATION SPACE_____ \n")
print("The State Space is: ", s_size)
print("Sample observation", env.observation_space.sample()) # случайное наблюдение

Пространство наблюдений — словарь из трёх элементов:

• achieved_goal — положение цели (x, y, z);
• desired_goal — расстояние (x, y, z) между положением цели и текущим положением объекта;
• observation — положение (x, y, z) и скорость рабочего органа (vx, vy, vz).

Раз наблюдение — словарь, нужна политика MultiInputPolicy, а не MlpPolicy.

Примечание переводчика: уточнение про achieved_goal и desired_goal

Описание двух ключей в оригинале неточное. В средах panda-gym (как и во всех «целевых» средах этого типа) achieved_goal — где сейчас находится рабочий орган (в задаче Reach), а desired_goal — где должна быть цель (зелёный шар). Плотная награда — минус расстояние между ними, поэтому она отрицательная и стремится к нулю по мере приближения руки к шару; отсюда и порог «≥ −3,5».

print("\n _____ACTION SPACE_____ \n")
print("The Action Space is: ", a_size)
print("Action Space Sample", env.action_space.sample()) # случайное действие

Пространство действий — вектор из 3 значений:

• управление перемещением по x, y, z.

Нормализуем наблюдения и награды

Хорошая практика в обучении с подкреплением — нормализовать входные признаки.

Для этого есть обёртка, которая считает скользящее среднее и стандартное отклонение входных признаков.

Награды мы нормализуем той же обёрткой, добавив norm_reward = True.

Чтобы заполнить эту ячейку, загляните в документацию.

env = make_vec_env(env_id, n_envs=4)

# Добавляем эту обёртку, чтобы нормализовать наблюдения и награду
env = # TODO: добавьте обёртку

Решение

env = make_vec_env(env_id, n_envs=4)

env = VecNormalize(env, norm_obs=True, norm_reward=True, clip_obs=10.)

Примечание переводчика: зачем нормализация

Координаты, скорости и расстояния имеют разный масштаб. Нейросети легче, когда каждый признак приведён к среднему 0 и разбросу 1 — та же причина, по которой нормализуют признаки в классическом ML. clip_obs=10. обрезает нормализованные наблюдения до $[-10, 10]$, чтобы редкие выбросы не ломали обучение. n_envs=4 — четыре копии среды работают параллельно, и A2C собирает опыт сразу из всех.

Создаём модель A2C 🤖

Подробнее о реализации A2C в Stable-Baselines3 — в документации.

Чтобы найти лучшие параметры, я посмотрел на официальных обученных агентов команды Stable-Baselines3.

model = # Создайте модель A2C и попробуйте подобрать лучшие параметры

Решение

model = A2C(policy = "MultiInputPolicy",
            env = env,
            verbose=1)

Обучаем агента A2C 🏃

Обучим агента на 1 000 000 шагов; не забудьте включить GPU в Colab. Это займёт примерно 25–40 минут.

model.learn(1_000_000)

# Сохраняем модель и статистики VecNormalize вместе с агентом
model.save("a2c-PandaReachDense-v3")
env.save("vec_normalize.pkl")

Оцениваем агента 📈

• Агент обучен — теперь нужно проверить его качество.
• В Stable-Baselines3 для этого есть метод evaluate_policy.

from stable_baselines3.common.vec_env import DummyVecEnv, VecNormalize

# Загружаем сохранённые статистики
eval_env = DummyVecEnv([lambda: gym.make("PandaReachDense-v3")])
eval_env = VecNormalize.load("vec_normalize.pkl", eval_env)

# Нужно переопределить render_mode
eval_env.render_mode = "rgb_array"

# Во время теста статистики не обновляем
eval_env.training = False
# Нормализация наград при тесте не нужна
eval_env.norm_reward = False

# Загружаем агента
model = A2C.load("a2c-PandaReachDense-v3")

mean_reward, std_reward = evaluate_policy(model, eval_env)

print(f"Mean reward = {mean_reward:.2f} +/- {std_reward:.2f}")

Публикуем обученную модель на Hub 🔥

Мы убедились, что после обучения результаты хорошие, и теперь можем одной строкой кода опубликовать модель на Hub.

📚 Документация библиотеки: huggingface_sb3.

С package_to_hub, как мы уже говорили в прошлых юнитах, вы оцениваете агента, записываете видео игры, создаёте карточку модели и отправляете всё на Hub. Так вы можете:

• показать свою работу 🔥;
• посмотреть, как играет агент 👀;
• поделиться с сообществом агентом, которым могут пользоваться другие 💾;
• попасть на лидерборд 🏆 и сравнить агента с однокурсниками: Deep RL Leaderboard.

Чтобы поделиться моделью с сообществом, нужно сделать ещё три шага.

1️⃣ (Если ещё нет) создайте аккаунт на HF: huggingface.co/join.

2️⃣ Войдите и сохраните токен авторизации с сайта Hugging Face: создайте новый токен (huggingface.co/settings/tokens) с правом записи (write), скопируйте его, запустите ячейку ниже и вставьте токен.

notebook_login()
!git config --global credential.helper store

Если вы не пользуетесь Google Colab или Jupyter Notebook, используйте вместо этого команду huggingface-cli login.

3️⃣ Теперь всё готово, чтобы выложить обученного агента на Hub 🤗 🔥 функцией package_to_hub(). Для этой среды ячейка может выполняться около 10 минут.

from huggingface_sb3 import package_to_hub

package_to_hub(
    model=model,
    model_name=f"a2c-{env_id}",
    model_architecture="A2C",
    env_id=env_id,
    eval_env=eval_env,
    repo_id=f"ThomasSimonini/a2c-{env_id}", # замените имя пользователя
    commit_message="Initial commit",
)

Дополнительные задания 🏆

Лучший способ учиться — пробовать самому! Почему бы не попробовать PandaPickAndPlace-v3?

Если хотите взяться за более сложные задачи panda-gym, посмотрите, что сделано с TQC или SAC (алгоритмами, которые эффективнее используют данные и хорошо подходят для робототехники). В настоящей робототехнике берут алгоритмы, эффективные по данным, по простой причине: в отличие от симуляции, если слишком сильно дёргать руку робота, её можно сломать.

PandaPickAndPlace-v1 (эта модель использует версию среды v1): sb3/tqc-PandaPickAndPlace-v1.

Загляните и в документацию panda-gym.

Вот шаги, чтобы обучить ещё одного агента (по желанию):

1. Задайте среду PandaPickAndPlace-v3.
2. Создайте векторизованную среду.
3. Добавьте обёртку, нормализующую наблюдения и награды. Загляните в документацию.
4. Создайте модель A2C (не забудьте verbose=1, чтобы видеть логи обучения).
5. Обучите её на 1 млн шагов.
6. Сохраните модель и статистики VecNormalize вместе с агентом.
7. Оцените агента.
8. Опубликуйте обученную модель на Hub 🔥 с помощью package_to_hub.

Решение (по желанию)

# 1 - 2
env_id = "PandaPickAndPlace-v3"
env = make_vec_env(env_id, n_envs=4)

# 3
env = VecNormalize(env, norm_obs=True, norm_reward=True, clip_obs=10.)

# 4
model = A2C(policy = "MultiInputPolicy",
            env = env,
            verbose=1)
# 5
model.learn(1_000_000)

# 6
model_name = "a2c-PandaPickAndPlace-v3";
model.save(model_name)
env.save("vec_normalize.pkl")

# 7
from stable_baselines3.common.vec_env import DummyVecEnv, VecNormalize

# Загружаем сохранённые статистики
eval_env = DummyVecEnv([lambda: gym.make("PandaPickAndPlace-v3")])
eval_env = VecNormalize.load("vec_normalize.pkl", eval_env)

# Во время теста статистики не обновляем
eval_env.training = False
# Нормализация наград при тесте не нужна
eval_env.norm_reward = False

# Загружаем агента
model = A2C.load(model_name)

mean_reward, std_reward = evaluate_policy(model, eval_env)

print(f"Mean reward = {mean_reward:.2f} +/- {std_reward:.2f}")

# 8
package_to_hub(
    model=model,
    model_name=f"a2c-{env_id}",
    model_architecture="A2C",
    env_id=env_id,
    eval_env=eval_env,
    repo_id=f"ThomasSimonini/a2c-{env_id}", # TODO: замените имя пользователя
    commit_message="Initial commit",
)

Увидимся в юните 7! 🔥 Продолжайте учиться и оставайтесь крутыми 🤗

Тест

Лучший способ учиться и не попасть в ловушку иллюзии компетентности — проверить себя. Так вы поймёте, какие знания нужно подкрепить.

Тест к юниту 64 вопроса·

1 Вопрос 1. Какое толкование компромисса смещения и дисперсии точнее всего в обучении с подкреплением?

Компромисс смещения и дисперсии показывает, насколько модель способна обобщать знания на размеченные данные, которые мы даём ей при обученииКомпромисс смещения и дисперсии показывает, насколько хорошо сигнал подкрепления отражает настоящую награду, которую агент должен получить от среды

2 Вопрос 2. Какие утверждения о смещении и дисперсии в RL верны?Можно выбрать несколько ответов

Несмещённый сигнал награды возвращает награды, близкие к настоящим (ожидаемым) наградам средыСмещённый сигнал награды возвращает награды, близкие к настоящим (ожидаемым) наградам средыВ сигнале награды с высокой дисперсией много шума: на него влияют, например, стохастические (непостоянные) элементы средыВ сигнале награды с низкой дисперсией много шума: на него влияют, например, стохастические (непостоянные) элементы среды

3 Вопрос 3. Какие утверждения о методе Монте-Карло верны?Можно выбрать несколько ответов

Это механизм выборки: мы анализируем не все возможные состояния, а их выборкуОн очень устойчив к стохастичности (случайным элементам траектории)Чтобы ослабить влияние стохастических элементов в Монте-Карло, берут n стратегий и усредняют их, уменьшая вклад каждой

4 Вопрос 5. Какие утверждения о методе actor-critic верны?Можно выбрать несколько ответов

Критик не обучает никакую функцию во время обученияАктор обучает функцию политики, а критик — функцию ценностиОн добавляет устойчивость к стохастичности и уменьшает высокую дисперсию

Проверить ответы

Вопрос 4. Опишите своими словами метод actor-critic (A2C).

Ответ

Идея actor-critic в том, что мы учим две аппроксимации функций:

1. политику (policy), которая управляет действиями агента ($\pi$);
2. функцию ценности (value), которая помогает обновлять политику, оценивая, насколько хорошее действие совершено ($q$).

Вопрос 6. Что такое преимущество (Advantage) в методе A2C?

Ответ

Вместо того чтобы использовать функцию ценности действия критика как есть, можно взять функцию преимущества (Advantage). Её идея — вычислить относительное преимущество действия по сравнению с другими возможными в этом состоянии действиями, усреднив их.

Иначе говоря: насколько совершить это действие в этом состоянии лучше, чем средняя ценность состояния:

$$A(s, a) = Q(s, a) - V(s)$$

Поздравляем с окончанием теста 🥳! Если что-то упустили, перечитайте главу и подкрепите (😏) знания.

Заключение

Поздравляем с окончанием юнита и практического занятия. Вы только что обучили своих первых виртуальных роботов 🥳.

Не спешите и как следует разберитесь в материале, прежде чем идти дальше. Можно также заглянуть в дополнительные материалы из раздела «Дополнительное чтение».

Авторы курса будут рады узнать ваше мнение о курсе и о том, как его улучшить — для этого есть форма обратной связи.

До встречи в следующем юните! Юнит 7 (мультиагентность) описан в путеводителе, а продолжение линии actor-critic — юнит 8 о PPO.

Продолжайте учиться и оставайтесь крутыми 🤗

Дополнительное чтение

Компромисс смещения и дисперсии в обучении с подкреплением

• Making Sense of the Bias / Variance Trade-off in (Deep) Reinforcement Learning.
• Bias-variance Tradeoff in Reinforcement Learning.

Функции преимущества

• Advantage Functions — Spinning Up (наш перевод части 1).

Actor-critic

• Foundations of Deep RL Series, L3: Policy Gradients and Advantage Estimation — Питер Аббил (видео).
• Статья об A2C: Asynchronous Methods for Deep Reinforcement Learning.

Примечание переводчика: что читать по-русски и по-китайски

Baseline, критик и GAE с выводом — урок 6.0.3, а зачем критик в RLHF и почему он дорог (четыре модели в памяти) — урок 6.3.2. По-китайски: «Обучение с подкреплением своими руками» (Hands-on RL), глава 10 «Алгоритм Actor-Critic», и «Грибная книга» (easy-rl), глава 9 «Алгоритм „актор — критик“».

Словарик

English	Русский
actor / critic	актор / критик
actor-critic methods	методы actor-critic (актор-критик)
variance / bias	дисперсия / смещение
bias-variance tradeoff	компромисс смещения и дисперсии
unbiased estimate	несмещённая оценка
sample efficiency	эффективность по данным
advantage function $A(s,a)$	функция преимущества
Advantage Actor-Critic (A2C)	A2C (actor-critic с преимуществом)
TD error as advantage estimate	TD-ошибка как оценка преимущества
end-effector	рабочий орган (захват) робота
dense / sparse reward	плотная / разреженная награда
end-effector displacement control / joint control	управление смещением рабочего органа / управление суставами
observation and reward normalization (VecNormalize)	нормализация наблюдений и наград
vectorized environment	векторизованная среда (несколько копий параллельно)