Spinning Up: ключевые статьи по глубокому RL

Как пользоваться этим списком

Список составлен в 2018 году для тех, кто идёт в исследования по RL. Ученику курса о больших языковых моделях не нужно читать все 105 статей. Начните с десяти, отмеченных ниже, а остальное используйте как справочник: встретили в техотчёте незнакомое слово (Rainbow, GAE, RND, HER) — нашли здесь, что это такое. Как читать саму статью, чтобы не утонуть, — в уроке 9.2.2 «Как читать статьи».

Как устроен перевод

Названия статей оставлены в оригинале: под этими названиями их ищут в Google Scholar и arXiv. Ссылки ведут туда же, куда в оригинале. Колонка «Алгоритм или вклад» — перевод пометок OpenAI. Колонка «Пояснение» добавлена переводчиком: одной-двумя фразами, что предложила работа и где она встречается в нашем курсе. Нумерация сквозная, как на сайте Spinning Up.

Если читать только десять

Для курса о LLM важнее всего работы, на которых стоят PPO, RLHF и GRPO, и несколько статей о том, как честно ставить эксперименты:

№	Статья	Почему именно она
100	Sutton et al, 2000 — теорема о градиенте политики	Фундамент всей ветви policy gradient, к которой относятся PPO и GRPO
8	Schulman et al, 2015 — TRPO	Идея «не уходить от старой политики дальше заданного KL»; её упрощение — PPO
9	Schulman et al, 2015 — GAE	Как оценивать преимущество; именно так считают $\hat{A}_t$ в PPO для RLHF
10	Schulman et al, 2017 — PPO	Алгоритм RLHF в InstructGPT и ChatGPT; урок 6.3.2
82	Christiano et al, 2017 — RL по предпочтениям людей	Прародитель RLHF: модель награды, обученная на попарных сравнениях
81	Amodei et al, 2016 — конкретные проблемы безопасности ИИ	Взлом награды и другие проблемы, которые позже всплыли в RLHF
1	Mnih et al, 2013 — DQN	Первое «глубокое» RL; буфер воспроизведения и целевая сеть; урок 6.0.2
66	Silver et al, 2017 — AlphaZero	Самоигра и поиск по дереву; к ней отсылают работы о вычислениях во время ответа (урок 6.4.4)
95	Henderson et al, 2017 — Deep RL that Matters	Почему результаты RL так шатки: сиды, реализации, гиперпараметры
97	Ilyas et al, 2018 — правда ли PPO это градиент политики	Как реальный код PPO расходится с теорией; полезно перед отладкой своего RL

---

Ключевые статьи по глубокому RL

Ниже — список статей по глубокому RL, которые стоит прочитать. Он очень далёк от полноты, но должен стать полезной отправной точкой для того, кто хочет заниматься исследованиями в этой области.

1. RL без модели (model-free)

a. Глубокое Q-обучение

№	Статья	Алгоритм или вклад	Пояснение
1	Playing Atari with Deep Reinforcement Learning, Mnih et al, 2013	Алгоритм: DQN	Q-обучение с нейросетью, которая играет в Atari по пикселям экрана. Ключевой приём — буфер воспроизведениябуфер воспроизведения (replay buffer)EN experience replay bufferХранилище прошлых переходов (s, a, r, s′), из которого сэмплируют случайные мини-батчи.. Разобрано в уроке 6.0.2
2	Deep Recurrent Q-Learning for Partially Observable MDPs, Hausknecht and Stone, 2015	Алгоритм: Deep Recurrent Q-Learning	В DQN добавлен рекуррентный слой (LSTM), чтобы агент помнил прошлое, когда один кадр не показывает всего состояния
3	Dueling Network Architectures for Deep Reinforcement Learning, Wang et al, 2015	Алгоритм: Dueling DQN	Сеть с двумя «головами»: ценность состояния $V(s)$ и преимущество $A(s,a)$; из них собирается $Q(s,a)$
4	Deep Reinforcement Learning with Double Q-learning, Hasselt et al 2015	Алгоритм: Double DQN	Борьба с завышением Q-значений: действие в цели выбирает одна сеть, а оценивает другая
5	Prioritized Experience Replay, Schaul et al, 2015	Алгоритм: Prioritized Experience Replay (PER)	Из буфера чаще берут переходы, на которых сеть ошибается сильнее всего (большая TD-ошибка)
6	Rainbow: Combining Improvements in Deep Reinforcement Learning, Hessel et al, 2017	Алгоритм: Rainbow DQN	Шесть улучшений DQN в одном агенте и проверка, какое из них сколько даёт

b. Градиенты политики

№	Статья	Алгоритм или вклад	Пояснение
7	Asynchronous Methods for Deep Reinforcement Learning, Mnih et al, 2016	Алгоритм: A3C	Асинхронный актор-критикактор-критик (actor-critic)EN actor-criticДве сети — актор (политика) и критик (оценка V); критик даёт актору оценку преимущества.: много параллельных копий агента собирают опыт без буфера воспроизведения
8	Trust Region Policy Optimization, Schulman et al, 2015	Алгоритм: TRPO	Самый большой шаг улучшения политики при ограничении на KL-дивергенцию между новой и старой политикой. Подробно — на странице TRPO, DDPG, TD3, SAC
9	High-Dimensional Continuous Control Using Generalized Advantage Estimation, Schulman et al, 2015	Алгоритм: GAE	Обобщённая оценка преимуществаобобщённая оценка преимущества (GAE)EN generalized advantage estimation (GAE)Schulman и др., 2015. Смешивает оценки преимущества разной длины с коэффициентом λ.: взвешенная сумма TD-ошибок с параметром $\lambda$ балансирует смещение и разброс. Урок 6.0.3
10	Proximal Policy Optimization Algorithms, Schulman et al, 2017	Алгоритм: PPO-Clip, PPO-Penalty	Упрощение TRPO: обрезка (clip) отношения вероятностей вместо жёсткого ограничения. Основа RLHF. Перевод описания — VPG и PPO
11	Emergence of Locomotion Behaviours in Rich Environments, Heess et al, 2017	Алгоритм: PPO-Penalty	Распределённый PPO в сложных средах: бег, прыжки, перелезание через препятствия возникают из простой награды «двигайся вперёд»
12	Scalable trust-region method for deep reinforcement learning using Kronecker-factored approximation, Wu et al, 2017	Алгоритм: ACKTR	Натуральный градиент для актор-критика с дешёвой аппроксимацией матрицы кривизны (K-FAC)
13	Sample Efficient Actor-Critic with Experience Replay, Wang et al, 2016	Алгоритм: ACER	Актор-критик, который учится и на старом опыте из буфера; поправки на то, что опыт собран другой политикой
14	Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor, Haarnoja et al, 2018	Алгоритм: SAC	Off-policy актор-критик с бонусом за энтропиюэнтропия (информационная)EN (Shannon) entropyH(p) = −Σ p log p — среднее «удивление», мера неопределённости распределения. Максимальна у равномерного распределения. политики. Подробно — на странице TRPO, DDPG, TD3, SAC

c. Детерминированные градиенты политики

№	Статья	Алгоритм или вклад	Пояснение
15	Deterministic Policy Gradient Algorithms, Silver et al, 2014	Алгоритм: DPG	Теорема о градиенте для детерминированной политики $a = \mu(s)$: градиент идёт через $\nabla_a Q(s,a)$
16	Continuous Control With Deep Reinforcement Learning, Lillicrap et al, 2015	Алгоритм: DDPG	DPG плюс приёмы DQN (буфер, целевые сети) — «глубокое Q-обучение для непрерывных действий»
17	Addressing Function Approximation Error in Actor-Critic Methods, Fujimoto et al, 2018	Алгоритм: TD3	Три приёма против завышения Q в DDPG: два критика, отложенные обновления политики, сглаживание целевого действия

d. Распределительное RL (distributional RL)

№	Статья	Алгоритм или вклад	Пояснение
18	A Distributional Perspective on Reinforcement Learning, Bellemare et al, 2017	Алгоритм: C51	Учим не среднюю отдачу, а всё её распределение — гистограмму на 51 фиксированном значении
19	Distributional Reinforcement Learning with Quantile Regression, Dabney et al, 2017	Алгоритм: QR-DQN	Распределение отдачи задаётся набором квантилей, которые учатся квантильной регрессией
20	Implicit Quantile Networks for Distributional Reinforcement Learning, Dabney et al, 2018	Алгоритм: IQN	Сеть получает уровень квантиля на вход и может выдать любой квантиль распределения
21	Dopamine: A Research Framework for Deep Reinforcement Learning, Anonymous, 2018	Вклад: представляет Dopamine — репозиторий кода с реализациями DQN, C51, IQN и Rainbow. Ссылка на код.	Статья была на анонимном рецензировании, поэтому автор «Anonymous»; это библиотека Google

e. Градиенты политики с базовыми линиями, зависящими от действия

№	Статья	Алгоритм или вклад	Пояснение
22	Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic, Gu et al, 2016	Алгоритм: Q-Prop	Off-policy критик служит «контрольной переменной», которая уменьшает разброс оценки градиента политики
23	Action-depedent Control Variates for Policy Optimization via Stein’s Identity, Liu et al, 2017	Алгоритм: Stein Control Variates	Базовая линия, зависящая не только от состояния, но и от действия, построенная через тождество Стейна
24	The Mirage of Action-Dependent Baselines in Reinforcement Learning, Tucker et al, 2018	Вклад: любопытно, что статья критикует и перепроверяет утверждения более ранних работ (включая Q-Prop и Stein control variates) и находит в них важные методологические ошибки	Хороший пример того, как «улучшение» исчезает при аккуратной проверке

f. Обучение на согласованности пути (path-consistency learning)

№	Статья	Алгоритм или вклад	Пояснение
25	Bridging the Gap Between Value and Policy Based Reinforcement Learning, Nachum et al, 2017	Алгоритм: PCL	В RL с бонусом за энтропию оптимальные политика и ценность связаны условием «согласованности пути»; его и минимизируют
26	Trust-PCL: An Off-Policy Trust Region Method for Continuous Control, Nachum et al, 2017	Алгоритм: Trust-PCL	Метод доверительной области в духе TRPO, но обучающийся на off-policy данных

g. Другие способы объединить обучение политики и Q-обучение

№	Статья	Алгоритм или вклад	Пояснение
27	Combining Policy Gradient and Q-learning, O’Donoghue et al, 2016	Алгоритм: PGQL	Из регуляризованного градиента политики можно извлечь Q-значения и доучивать их Q-обучением
28	The Reactor: A Fast and Sample-Efficient Actor-Critic Agent for Reinforcement Learning, Gruslys et al, 2017	Алгоритм: Reactor	Актор-критик DeepMind, экономный по данным: off-policy поправки, распределительный критик, приоритеты в буфере
29	Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning, Gu et al, 2017	Алгоритм: IPG	Оценка градиента как смесь on-policy и off-policy слагаемых с настраиваемым весом
30	Equivalence Between Policy Gradients and Soft Q-Learning, Schulman et al, 2017	Вклад: обнаруживает теоретическую связь между этими двумя семействами алгоритмов RL	При бонусе за энтропию градиент политики и «мягкое» Q-обучение оказываются одним и тем же

h. Эволюционные алгоритмы

№	Статья	Алгоритм или вклад	Пояснение
31	Evolution Strategies as a Scalable Alternative to Reinforcement Learning, Salimans et al, 2017	Алгоритм: ES	Без обратного распространения: шумим параметры, сдвигаемся туда, где отдача выше. Почти идеально распараллеливается

2. Исследование среды (exploration)

a. Внутренняя мотивация

№	Статья	Алгоритм или вклад	Пояснение
32	VIME: Variational Information Maximizing Exploration, Houthooft et al, 2016	Алгоритм: VIME	Внутренняя награда за то, насколько переход меняет представление агента о динамике среды
33	Unifying Count-Based Exploration and Intrinsic Motivation, Bellemare et al, 2016	Алгоритм: CTS-based Pseudocounts	«Псевдосчётчики» посещений, выведенные из модели плотности: чем реже видели состояние, тем больше бонус
34	Count-Based Exploration with Neural Density Models, Ostrovski et al, 2017	Алгоритм: PixelCNN-based Pseudocounts	Те же псевдосчётчики, но модель плотности — нейросеть PixelCNN
35	#Exploration: A Study of Count-Based Exploration for Deep Reinforcement Learning, Tang et al, 2016	Алгоритм: Hash-based Counts	Состояния хешируются в короткие коды, и посещения считаются по кодам
36	EX2: Exploration with Exemplar Models for Deep Reinforcement Learning, Fu et al, 2017	Алгоритм: EX2	Новизну оценивает классификатор: чем легче отличить состояние от уже виденных, тем оно новее
37	Curiosity-driven Exploration by Self-supervised Prediction, Pathak et al, 2017	Алгоритм: Intrinsic Curiosity Module (ICM)	Любопытство = ошибка предсказания следующего состояния в пространстве выученных признаков
38	Large-Scale Study of Curiosity-Driven Learning, Burda et al, 2018	Вклад: систематический анализ того, как внутренняя мотивация на основе «удивления» работает в очень разных средах	Агенты, которые учатся вообще без внешней награды, только на любопытстве
39	Exploration by Random Network Distillation, Burda et al, 2018	Алгоритм: RND	Бонус = ошибка, с которой сеть предсказывает выход случайной замороженной сети. Простой и сильный метод

b. RL без учителя (unsupervised RL)

№	Статья	Алгоритм или вклад	Пояснение
40	Variational Intrinsic Control, Gregor et al, 2016	Алгоритм: VIC	Агент изобретает навыки так, чтобы по конечному состоянию можно было узнать, какой навык выполнялся
41	Diversity is All You Need: Learning Skills without a Reward Function, Eysenbach et al, 2018	Алгоритм: DIAYN	Навыки без награды: дискриминатор угадывает навык по состояниям, а политика старается быть угадываемой и разнообразной
42	Variational Option Discovery Algorithms, Achiam et al, 2018	Алгоритм: VALOR	Открытие навыков как вариационный автокодировщик; навык угадывают по всей траектории. Соавтор — автор Spinning Up

3. Перенос и многозадачное RL

№	Статья	Алгоритм или вклад	Пояснение
43	Progressive Neural Networks, Rusu et al, 2016	Алгоритм: Progressive Networks	Для каждой новой задачи добавляется новая «колонна» сети с боковыми связями к старым — старые знания не забываются
44	Universal Value Function Approximators, Schaul et al, 2015	Алгоритм: UVFA	Функция ценности, которая зависит ещё и от цели: $V(s, g)$
45	Reinforcement Learning with Unsupervised Auxiliary Tasks, Jaderberg et al, 2016	Алгоритм: UNREAL	A3C плюс вспомогательные задачи без учителя (например, предсказывать награду), которые ускоряют обучение
46	The Intentional Unintentional Agent: Learning to Solve Many Continuous Control Tasks Simultaneously, Cabi et al, 2017	Алгоритм: IU Agent	Пока агент решает одну задачу, на том же опыте off-policy учатся политики для многих других задач
47	PathNet: Evolution Channels Gradient Descent in Super Neural Networks, Fernando et al, 2017	Алгоритм: PathNet	Эволюция выбирает, через какие модули большой сети пойдёт обучение новой задаче
48	Mutual Alignment Transfer Learning, Wulfmeier et al, 2017	Алгоритм: MATL	Перенос из симулятора на реального робота: поведение в симуляции и в реальности подтягивается друг к другу
49	Learning an Embedding Space for Transferable Robot Skills, Hausman et al, 2018	—	Навыки робота кодируются в общем латентном пространстве, из которого их можно комбинировать для новых задач
50	Hindsight Experience Replay, Andrychowicz et al, 2017	Алгоритм: Hindsight Experience Replay (HER)	Неудачный эпизод переписывается так, будто целью было то, чего агент на самом деле достиг. Спасает при редкой награде

4. Иерархия

№	Статья	Алгоритм или вклад	Пояснение
51	Strategic Attentive Writer for Learning Macro-Actions, Vezhnevets et al, 2016	Алгоритм: STRAW	Агент строит план действий на несколько шагов вперёд и решает, когда его пересматривать
52	FeUdal Networks for Hierarchical Reinforcement Learning, Vezhnevets et al, 2017	Алгоритм: Feudal Networks	«Менеджер» ставит цели в латентном пространстве, «работник» их выполняет
53	Data-Efficient Hierarchical Reinforcement Learning, Nachum et al, 2018	Алгоритм: HIRO	Двухуровневая иерархия, оба уровня учатся off-policy, с поправкой старых целей верхнего уровня

5. Память

№	Статья	Алгоритм или вклад	Пояснение
54	Model-Free Episodic Control, Blundell et al, 2016	Алгоритм: MFEC	Эпизодическая память: агент запоминает лучшие отдачи для похожих состояний и быстро ими пользуется
55	Neural Episodic Control, Pritzel et al, 2017	Алгоритм: NEC	Та же идея с дифференцируемой памятью «ключ — значение»
56	Neural Map: Structured Memory for Deep Reinforcement Learning, Parisotto and Salakhutdinov, 2017	Алгоритм: Neural Map	Двумерная «карта» памяти, в которую агент пишет и из которой читает по мере движения
57	Unsupervised Predictive Memory in a Goal-Directed Agent, Wayne et al, 2018	Алгоритм: MERLIN	Память формируется предсказательной моделью без награды, а политика ею пользуется
58	Relational Recurrent Neural Networks, Santoro et al, 2018	Алгоритм: RMC	Ячейки памяти общаются друг с другом через self-attention

6. RL с моделью среды (model-based)

a. Модель обучается

№	Статья	Алгоритм или вклад	Пояснение
59	Imagination-Augmented Agents for Deep Reinforcement Learning, Weber et al, 2017	Алгоритм: I2A	Агент «воображает» возможное будущее с помощью выученной модели и использует эти фантазии как дополнительный вход
60	Neural Network Dynamics for Model-Based Deep Reinforcement Learning with Model-Free Fine-Tuning, Nagabandi et al, 2017	Алгоритм: MBMF	Нейросетевая модель динамики и планирование по ней, затем дообучение методом без модели
61	Model-Based Value Expansion for Efficient Model-Free Reinforcement Learning, Feinberg et al, 2018	Алгоритм: MVE	Цель для Q-функции считается на несколько шагов вперёд по модели — точнее, чем на один
62	Sample-Efficient Reinforcement Learning with Stochastic Ensemble Value Expansion, Buckman et al, 2018	Алгоритм: STEVE	Развитие MVE: ансамбль моделей, горизонты взвешиваются по неопределённости
63	Model-Ensemble Trust-Region Policy Optimization, Kurutach et al, 2018	Алгоритм: ME-TRPO	Ансамбль моделей мешает политике «взломать» ошибки одной модели; сама политика учится TRPO на воображаемых данных
64	Model-Based Reinforcement Learning via Meta-Policy Optimization, Clavera et al, 2018	Алгоритм: MB-MPO	Мета-обучение политики, которая быстро подстраивается под любую модель из ансамбля
65	Recurrent World Models Facilitate Policy Evolution, Ha and Schmidhuber, 2018	—	«Модель мира»: автокодировщик сжимает кадр, рекуррентная сеть предсказывает будущее, маленький контроллер учится эволюцией

b. Модель дана

№	Статья	Алгоритм или вклад	Пояснение
66	Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm, Silver et al, 2017	Алгоритм: AlphaZero	Самоигра плюс поиск по дереву Монте-Карло (MCTS); правила игры — готовая модель среды
67	Thinking Fast and Slow with Deep Learning and Tree Search, Anthony et al, 2017	Алгоритм: ExIt	«Эксперт» (поиск по дереву) учит «ученика» (нейросеть), а ученик ускоряет следующий поиск

7. Мета-RL

№	Статья	Алгоритм или вклад	Пояснение
68	RL^2: Fast Reinforcement Learning via Slow Reinforcement Learning, Duan et al, 2016	Алгоритм: RL²	Рекуррентная сеть, обученная «медленным» RL на многих задачах, сама становится быстрым RL-алгоритмом внутри эпизода
69	Learning to Reinforcement Learn, Wang et al, 2016	—	Та же идея у DeepMind. По духу похоже на обучение в контексте (in-context learning) у LLM: «алгоритм» живёт в активациях, а не в весах
70	Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks, Finn et al, 2017	Алгоритм: MAML	Ищем такие начальные веса, из которых пара шагов градиента даёт хорошую модель для новой задачи
71	A Simple Neural Attentive Meta-Learner, Mishra et al, 2018	Алгоритм: SNAIL	Мета-обучение на временных свёртках и механизме внимания

8. Масштабирование RL

№	Статья	Алгоритм или вклад	Пояснение
72	Accelerated Methods for Deep Reinforcement Learning, Stooke and Abbeel, 2018	Вклад: систематический анализ распараллеливания в глубоком RL для разных алгоритмов	Как загрузить много CPU и GPU, не ломая обучение
73	IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures, Espeholt et al, 2018	Алгоритм: IMPALA	Много акторов собирают опыт, один обучатель учится; поправка V-trace компенсирует то, что акторы отстают от политики
74	Distributed Prioritized Experience Replay, Horgan et al, 2018	Алгоритм: Ape-X	Распределённый буфер воспроизведения с приоритетами и сотнями акторов
75	Recurrent Experience Replay in Distributed Reinforcement Learning, Anonymous, 2018	Алгоритм: R2D2	Рекуррентный DQN в распределённой схеме Ape-X; как хранить и «разогревать» скрытое состояние в буфере
76	RLlib: Abstractions for Distributed Reinforcement Learning, Liang et al, 2017	Вклад: масштабируемая библиотека реализаций алгоритмов RL. Ссылка на документацию.	Часть Ray; по устройству близка к тому, как сегодня строят распределённый RL для LLM (асинхронные акторы и обучатели)

9. RL в реальном мире

№	Статья	Алгоритм или вклад	Пояснение
77	Benchmarking Reinforcement Learning Algorithms on Real-World Robots, Mahmood et al, 2018	—	Сравнение популярных алгоритмов на настоящих роботах, а не в симуляции
78	Learning Dexterous In-Hand Manipulation, OpenAI, 2018	—	Роборука вращает кубик в пальцах; обучение целиком в симуляции со случайными физическими параметрами, перенос на реальную руку
79	QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation, Kalashnikov et al, 2018	Алгоритм: QT-Opt	Q-обучение для захвата предметов роботами по изображению с камеры, на большом объёме реальных попыток
80	Horizon: Facebook’s Open Source Applied Reinforcement Learning Platform, Gauci et al, 2018	—	Платформа прикладного RL в продакшене (рекомендации, уведомления)

10. Безопасность

№	Статья	Алгоритм или вклад	Пояснение
81	Concrete Problems in AI Safety, Amodei et al, 2016	Вклад: вводит классификацию проблем безопасности, которая служит важной отправной точкой для будущих исследований. Их нужно решить!	Побочные эффекты, взлом награды, масштабируемый надзор, безопасное исследование, сдвиг распределения. Взлом наградывзлом награды (reward hacking)EN reward hackingПолитика находит способ получить высокую награду, не делая того, что задумали люди. — тема урока 6.3.2
82	Deep Reinforcement Learning From Human Preferences, Christiano et al, 2017	Алгоритм: LFP	Человек сравнивает пары коротких видео, по сравнениям учится модель награды, по ней — политика. Это схема RLHFобучение с подкреплением на основе отзывов людей (RLHF)EN reinforcement learning from human feedback (RLHF); урок 6.3.2
83	Constrained Policy Optimization, Achiam et al, 2017	Алгоритм: CPO	Развитие TRPO для задач с ограничениями: улучшать награду, не нарушая лимит на «стоимость» (например, опасные действия)
84	Safe Exploration in Continuous Action Spaces, Dalal et al, 2018	Алгоритм: DDPG+Safety Layer	Дополнительный слой поправляет действие DDPG так, чтобы оно не нарушало ограничений
85	Trial without Error: Towards Safe Reinforcement Learning via Human Intervention, Saunders et al, 2017	Алгоритм: HIRL	Человек блокирует катастрофические действия, затем его заменяет обученный на этих решениях классификатор
86	Leave No Trace: Learning to Reset for Safe and Autonomous Reinforcement Learning, Eysenbach et al, 2017	Алгоритм: Leave No Trace	Вместе с основной политикой учится политика «возврата в начало»; действия, после которых вернуться нельзя, прерываются

11. Обучение имитацией и обратное RL

№	Статья	Алгоритм или вклад	Пояснение
87	Modeling Purposeful Adaptive Behavior with the Principle of Maximum Causal Entropy, Ziebart 2010	Вклад: чёткая формулировка обратного RL с максимальной энтропией	Обратное RL восстанавливает награду по демонстрациям эксперта
88	Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization, Finn et al, 2016	Алгоритм: GCL	Нейросетевая функция стоимости учится по демонстрациям одновременно с политикой
89	Generative Adversarial Imitation Learning, Ho and Ermon, 2016	Алгоритм: GAIL	Имитация как в GAN: дискриминатор отличает действия эксперта от действий агента, агент старается его обмануть
90	DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills, Peng et al, 2018	Алгоритм: DeepMimic	Физически моделируемые персонажи учатся повторять движения из записей motion capture
91	Variational Discriminator Bottleneck: Improving Imitation Learning, Inverse RL, and GANs by Constraining Information Flow, Peng et al, 2018	Алгоритм: VAIL	Информационное «узкое горлышко» в дискриминаторе стабилизирует GAIL и GAN
92	One-Shot High-Fidelity Imitation: Training Large-Scale Deep Nets with RL, Le Paine et al, 2018	Алгоритм: MetaMimic	Точное повторение действия по одной демонстрации большой сетью, обученной RL

12. Воспроизводимость, анализ и критика

№	Статья	Алгоритм или вклад	Пояснение
93	Benchmarking Deep Reinforcement Learning for Continuous Control, Duan et al, 2016	Вклад: rllab	Набор задач и реализаций для честного сравнения алгоритмов; VPG в нём — эталон для сравнения
94	Reproducibility of Benchmarked Deep Reinforcement Learning Tasks for Continuous Control, Islam et al, 2017	—	Результаты сильно зависят от гиперпараметров и случайных сидов
95	Deep Reinforcement Learning that Matters, Henderson et al, 2017	—	Одна и та же идея даёт разные числа в разных реализациях и на разных сидах; как отчитываться честно
96	Where Did My Optimum Go?: An Empirical Analysis of Gradient Descent Optimization in Policy Gradient Methods, Henderson et al, 2018	—	Как выбор оптимизатора и его настроек влияет на методы градиента политики
97	Are Deep Policy Gradient Algorithms Truly Policy Gradient Algorithms?, Ilyas et al, 2018	—	Проверка на практике: оценки градиента и ценности в реальных PPO и TRPO заметно расходятся с тем, что предполагает теория
98	Simple Random Search Provides a Competitive Approach to Reinforcement Learning, Mania et al, 2018	—	Простой случайный поиск по линейным политикам конкурирует с глубоким RL на задачах MuJoCo
99	Benchmarking Model-Based Reinforcement Learning, Wang et al, 2019	—	Общий бенчмарк методов с моделью среды

13. Бонус: классические статьи по теории RL и обзоры

№	Статья	Алгоритм или вклад	Пояснение
100	Policy Gradient Methods for Reinforcement Learning with Function Approximation, Sutton et al, 2000	Вклад: сформулирована теорема о градиенте политики и показана сходимость алгоритма градиента политики для произвольных классов политик	Отсюда формула $\nabla J = \mathrm{E}[\nabla \log \pi \cdot Q]$, выведенная в части 3
101	An Analysis of Temporal-Difference Learning with Function Approximation, Tsitsiklis and Van Roy, 1997	Вклад: набор результатов о сходимости и контрпримеров для методов обучения ценности в RL	Когда TD-обучение с аппроксимацией сходится, а когда расходится
102	Reinforcement Learning of Motor Skills with Policy Gradients, Peters and Schaal, 2008	Вклад: подробный обзор методов градиента политики того времени; многие описания до сих пор годятся для методов глубокого RL	Хороший обзор «до глубокого обучения»
103	Approximately Optimal Approximate Reinforcement Learning, Kakade and Langford, 2002	Вклад: ранние корни теории монотонного улучшения, которая позже дала теоретическое обоснование TRPO и других алгоритмов	Откуда взялась идея «маленький шаг гарантированно не ухудшит политику»
104	A Natural Policy Gradient, Kakade, 2002	Вклад: принесла в RL натуральные градиенты, что позже привело к TRPO, ACKTR и ряду других методов глубокого RL	Шаг измеряется не в параметрах, а в изменении распределения — та же идея, что в TRPO
105	Algorithms for Reinforcement Learning, Szepesvari, 2009	Вклад: непревзойдённый справочник по RL до эпохи глубокого RL, с основами и теорией	Короткая строгая книга; читать после Саттона и Барто

---

Что читать дальше

Примечание переводчика: что появилось после 2018 года

Список заморожен в 2018–2019 годах. Для курса о LLM после него важны работы, которых здесь нет: InstructGPT (RLHF для языковых моделей), DPO, DeepSeekMath и DeepSeek-R1 (GRPO и RL с проверяемыми наградами). Они разобраны в уроках 6.3.2, 6.3.3, 6.4.1 и 6.4.2 со ссылками на первоисточники.

• Описания алгоритмов из Spinning Up: VPG и PPO, TRPO, DDPG, TD3, SAC.
• Совет из эссе: читайте статьи, но реализуйте алгоритмы сами — как стать исследователем и упражнения.