MIT 6.S191, лекции 4–6: генеративные модели, RL и новые рубежи

Конспект лекций 4–6 интенсива MIT 6.S191 (выпуск 2026 года). Первые три лекции — на предыдущей странице, карта курса — в путеводителе.

На чём основан конспект

Слайды лекций 2026 года из открытого репозитория сайта курса (MITDeepLearning/introtodeeplearning.com, папка 2026/slides). Это пересказ своими словами, а не перевод: слайды и видео © MIT Introduction to Deep Learning, introtodeeplearning.com, без свободной лицензии. Видео — в плейлисте курса на YouTube; таймкоды не приводим.

Коротко

• Генеративная модель учится по примерам из распределения $P_\text{data}(x)$ и строит модель $P_\text{model}(x)$, из которой можно оценивать плотность и выбирать новые примеры. Две классические семьи: VAE (сжать в скрытое пространство и восстановить) и GAN (две сети соревнуются).
• VAE кодирует вход не точкой, а распределением ($\mu$, $\sigma$); потеря = ошибка восстановления + KL-регуляризация к нормальному распределению; обучение возможно благодаря трюку репараметризации $z = \mu + \sigma \odot \varepsilon$.
• RL: агент действует в среде и максимизирует сумму дисконтированных наград. Два семейства алгоритмов: обучение ценности (найти $Q(s, a)$ и брать $\arg\max$, как в DQN) и обучение политики (сразу учить $\pi(a \mid s)$ градиентом политики — подходит и для непрерывных действий).
• Ограничения нейросетей: они легко запоминают даже случайные метки, плохо экстраполируют за пределы данных, уязвимы к состязательным примерам, наследуют смещения данных и не умеют говорить «не знаю».
• Новые рубежи: диффузионные модели генерируют, постепенно убирая шум; большие языковые модели учатся предсказывать следующий токен и при росте масштаба проявляют новые способности.

Как читать вместе с курсом

Лекция	Когда смотреть	Урок ChinaAI
4. Deep Generative Modeling	перед модулем 9.1 (или просто для общего кругозора после ступени 3)	9.1.3 Автоэнкодеры, VAE, VQ
5. Deep Reinforcement Learning	перед модулем 6.0 «Основы RL»	6.0.1 MDP и уравнение Беллмана, 6.0.2 TD и Q-learning, 6.3.1 Основы RL для LLM
6. Limitations and New Frontiers	после ступени 3; к ступени 4 и 9	9.1.2 Диффузия, 4.1.1 Что такое языковая модель, 9.3.4 Безопасность и red teaming

Лекция 4. Глубокое генеративное моделирование (Ава Амини)

Обучение с учителем и без

Лекция открывается вопросом «какое из трёх лиц настоящее?» — все три сгенерированы. Затем — напоминание о двух постановках. С учителем: данные $(x, y)$, цель — функция $x \to y$ (классификация, регрессия, детекция, сегментация). Без учителя: только $x$, цель — найти скрытую структуру данных (кластеризация, понижение размерности). Генеративное моделирование — задача без учителя.

Зачем генеративные модели

• Оценка плотности и генерация примеров: научиться $P_\text{model}(x)$, похожему на $P_\text{data}(x)$.
• Поиск смещений (debiasing): модель, которая выучила скрытые признаки данных (цвет кожи, поза, освещение), показывает, каких лиц в наборе мало, — и помогает собрать более честный набор. Это тема лабораторной 2.
• Выбросы: 95% данных о вождении — солнце, шоссе, прямая дорога. Генеративная модель находит редкие случаи (непогода, пешеходы, нестандартные ситуации), которые иначе модель не выучит.
• Генерация — основа генеративного ИИ: текст, изображения, видео, молекулы.

Скрытые переменные

Образ — пещера из «Государства» Платона: узники видят только тени на стене, а не сами предметы. Скрытые (латентные) переменные — это «настоящие причины», которые мы не наблюдаем напрямую. Вопрос лекции: можно ли выучить такие объясняющие факторы только по наблюдаемым данным?

Автоэнкодеры

Кодировщик (encoder) сжимает вход $x$ (например, картинку цифры) в низкоразмерный вектор $z$, а декодер (decoder) восстанавливает по нему $\hat{x}$. Учим, минимизируя ошибку восстановления

$$\mathcal{L}(x, \hat{x}) = \Vert x - \hat{x} \Vert^2,$$

и меток для этого не нужно. Чем меньше размерность $z$, тем сильнее «узкое горлышко» и тем хуже восстановление: на слайде цифры MNIST, восстановленные из 2-мерного и 5-мерного скрытого пространства. Отсюда и название: auto-encoding — «самокодирование».

Вариационные автоэнкодеры (VAE)

Обычный автоэнкодер детерминирован: один вход — одна точка $z$. VAE — «вероятностный поворот»: кодировщик выдаёт вектор средних $\mu$ и вектор стандартных отклонений $\sigma$, и $z$ выбирается случайно из этого распределения. Кодировщик моделирует $q_\phi(z \mid x)$, декодер — $p_\theta(x \mid z)$, а потеря состоит из двух частей:

$$\mathcal{L}(\phi, \theta, x) = \text{(ошибка восстановления)} + \text{(регуляризация)}.$$

Регуляризация — расстояние между выученным распределением $q_\phi(z \mid x)$ и фиксированным априорным $p(z)$. Обычно $p(z) = \mathcal{N}(0, 1)$, а расстояние — KL-дивергенция:

$$D\big(q_\phi(z \mid x) \,\Vert\, p(z)\big) = -\frac{1}{2} \sum_{j=0}^{k-1} \left(\sigma_j + \mu_j^2 - 1 - \log \sigma_j\right).$$

Примечание: так формула записана на слайде (там $\sigma_j$ обозначает дисперсию). В более привычной записи через стандартное отклонение KL до $\mathcal{N}(0, 1)$ равна $\frac{1}{2} \sum_j (\sigma_j^2 + \mu_j^2 - 1 - \log \sigma_j^2)$ — положительная величина; знак минус на слайде, по-видимому, опечатка.

Зачем регуляризация? Чтобы скрытое пространство было непрерывным (близкие точки декодируются в похожие картинки) и полным (из любой точки выходит что-то осмысленное). Без неё сеть «жульничает»: раскладывает примеры по далёким островкам с крошечными дисперсиями, и между островками декодер выдаёт мусор. Нормальный априор стягивает средние к центру и не даёт дисперсиям схлопнуться.

Трюк репараметризации

Проблема: через случайный выбор $z$ градиент не проходит — нельзя продифференцировать «бросок кубика». Решение: переписать выбор так, чтобы случайность вынести в отдельный вход:

$$z = \mu + \sigma \odot \varepsilon, \qquad \varepsilon \sim \mathcal{N}(0, 1).$$

Теперь $\mu$ и $\sigma$ — обычные детерминированные узлы графа, и градиенты $\partial f / \partial \phi$ спокойно доходят до кодировщика, а случайность живёт в $\varepsilon$, по которому дифференцировать не нужно. (Тот же приём разобран в главе 11 конспекта Matrix Calculus.)

Что можно делать с VAE

• Возмущать скрытые переменные: медленно менять одну координату $z$, держа остальные. На слайде одна координата поворачивает голову, другая меняет улыбку — разные координаты кодируют разные интерпретируемые признаки.
• Распутывание (disentanglement): хочется, чтобы координаты не зависели друг от друга. $\beta$-VAE усиливает регуляризацию множителем $\beta > 1$: $\mathcal{L} = \mathbb{E}_{q_\phi(z \mid x)}[\log p_\theta(x \mid z)] - \beta\, D_{KL}(q_\phi(z \mid x) \,\Vert\, p(z))$. На слайде при $\beta = 1$ поворот головы меняет и улыбку, а при $\beta = 250$ улыбка остаётся постоянной.
• Генерировать новое: выбрать $z$ из априорного распределения и декодировать.

Итог по VAE на слайде: (1) сжать представление мира во что-то, на чём можно учиться; (2) восстановление позволяет учиться без меток; (3) трюк репараметризации даёт обучение end-to-end; (4) скрытые переменные интерпретируются через возмущения; (5) можно генерировать новые примеры.

Генеративно-состязательные сети (GAN)

Если плотность нам не нужна, а нужны только примеры, можно не моделировать распределение явно: взять что-то простое (шум) и выучить преобразование шума в данные. GAN — две сети, которые соревнуются:

• генератор $G$ превращает шум $z$ в подделку $x_\text{fake}$, стараясь обмануть дискриминатор;
• дискриминатор $D$ получает и настоящие, и поддельные примеры и учится их различать.

Серия слайдов показывает это на прямой: сначала подделки (розовые точки) далеко от настоящих (зелёных); дискриминатор учится ставить высокую вероятность «настоящий» рядом с зелёными; генератор сдвигает подделки туда, где дискриминатор ошибается; и так по кругу, пока подделки не сольются с данными. Формально — игра «минимакс»:

$$\arg\min_G \max_D\ \mathbb{E}_{z, x}\big[\log D(G(z)) + \log(1 - D(x))\big].$$

Примечание: так формула записана на слайдах (там $D$ трактуется как вероятность «подделка»). В исходной статье Гудфеллоу и др. (2014) дискриминатор выдаёт вероятность «настоящий», и цель записывается как $\min_G \max_D\ \mathbb{E}_x[\log D(x)] + \mathbb{E}_z[\log(1 - D(G(z)))]$ — смысл тот же. Глобальный оптимум — генератор воспроизводит настоящее распределение данных.

После обучения дискриминатор выбрасывают, а генератор создаёт новые данные. GAN — «преобразователи распределений»: двигаясь по шуму, можно плавно перейти от одного сгенерированного объекта к другому (на слайде — от чёрного лебедя к малиновке). CycleGAN переводит один домен в другой без парных примеров: лошадей — в зебр, голос одного человека — в голос другого (на видео голос лектора превращён в голос Обамы).

В конце — анонс: диффузионные модели будут в лекции 6.

Лекция 5. Глубокое обучение с подкреплением (Александр Амини)

Три класса задач

Три постановки на «яблочном» примере: с учителем — «это яблоко»; без учителя — «эта штука похожа на ту»; с подкреплением — «съешь это, и останешься жив». В RL данные — пары «состояние — действие», а цель — максимизировать будущую награду за много шагов.

Ключевые понятия

• Агент совершает действия; среда — мир, в котором он действует.
• Действие $a_t$ — ход агента; пространство действий $A$ — все возможные ходы.
• Наблюдение — что агент видит после действия; состояние $s_t$ — ситуация, которую он воспринимает.
• Награда $r_t$ — обратная связь об успехе или провале действия.
• Суммарная награда (return) $R_t = \sum_{i=t}^{\infty} r_i$, а с дисконтированием $R_t = \sum_{i=t}^{\infty} \gamma^i r_i$, где $0 < \gamma < 1$: будущие награды ценятся меньше сегодняшних.

Q-функция — ожидаемая суммарная награда, если в состоянии $s_t$ выполнить действие $a_t$: $Q(s_t, a_t) = \mathbb{E}[R_t \mid s_t, a_t]$. Если она известна, политика проста: выбирать действие с наибольшим $Q$: $\pi^*(s) = \arg\max_a Q(s, a)$.

Два семейства алгоритмов

Обучение ценности (value learning)	Обучение политики (policy learning)
найти $Q(s, a)$	найти $\pi(s)$
действовать $a = \arg\max_a Q(s, a)$	выбирать $a \sim \pi(s)$

Deep Q-Networks

Человеку трудно оценивать Q-значения: на слайде с игрой Atari Breakout две ситуации — ракетка отбивает мяч прямо или с краю, — и неочевидно, какая выгоднее (в лекции показаны видео обеих стратегий). DQN поручает это нейросети: на вход — состояние (кадр игры), на выход — $Q(s, a)$ для каждого возможного действия сразу. Обучение — сравнить предсказание с «целью», полученной из следующего шага:

$$\mathcal{L} = \mathbb{E}\Big[\big\Vert \big(r + \gamma \max_{a'} Q(s', a')\big) - Q(s, a) \big\Vert^2\Big].$$

Словами: правильная оценка действия = награда сейчас + дисконтированная лучшая оценка в следующем состоянии; сеть штрафуется за отклонение. Пример со слайда: $Q(s, a_1) = 20$, $Q(s, a_2) = 3$, $Q(s, a_3) = 0$ — выбираем $a_1$. DQN (Mnih и др., Nature 2015) превзошёл человека во многих играх Atari.

Минусы Q-learning: работает только с дискретными и небольшими пространствами действий и не умеет стохастических политик (политика детерминированно выбирает максимум).

Градиент политики

Вместо $Q$ сеть сразу выдаёт распределение по действиям $P(a \mid s)$, сумма вероятностей которого равна 1 (на слайде: 0,9 / 0,1 / 0), и действие выбирается случайно из этого распределения. Плюс подхода — легко перейти к непрерывным действиям: сеть выдаёт, например, среднее и дисперсию нормального распределения скорости ($\mu = -1$, $\sigma^2 = 0{,}5$ → выбрали $-0{,}8$ м/с, «быстрее влево»).

Алгоритм обучения на примере беспилотной машины (агент — машина, состояние — камера и лидар, действие — угол руля, награда — пройденное расстояние):

1. инициализировать агента;
2. ехать по текущей политике до конца эпизода (например, до аварии);
3. записать все состояния, действия и награды;
4. уменьшить вероятность действий, которые привели к малой награде;
5. увеличить вероятность действий, которые привели к большой награде.

Шаги 4–5 — это функция потерь $\text{loss} = -\log P(a_t \mid s_t)\, R_t$ («логарифм правдоподобия действия × награда») и обычный градиентный спуск: $w' = w + \nabla \log P(a_t \mid s_t)\, R_t$ — это и есть градиент политики (алгоритм REINFORCE, Williams 1992). Тот же принцип через много лет стал основой RLHF и GRPO для языковых моделей — см. наш модуль 6.3.

RL в реальной жизни

Шаг 2 («ехать до аварии») в реальном мире недопустим. Выход — фотореалистичный симулятор. Лаборатория авторов сделала VISTA — симулятор на реальных данных, и обученный только в нём агент градиента политики был перенесён в настоящую машину: по словам слайда, первый полноразмерный автомобиль, обученный с помощью RL целиком в симуляции и затем выпущенный в реальный мир (Amini и др., IEEE RA-L 2020).

AlphaGo

Го: на доске $19 \times 19$ около $2{,}08 \cdot 10^{170}$ допустимых позиций — больше, чем атомов во Вселенной. AlphaGo (Silver и др., 2016) обучался в три этапа: (1) сеть политики учится с учителем на партиях экспертов-людей; (2) игра с самим собой и RL улучшают политику до сверхчеловеческого уровня; (3) сеть ценности учится «интуиции» — оценивать позицию на доске.

Лекция 6. Ограничения глубокого обучения и новые рубежи (Ава Амини)

Сила и пределы

Напоминание: теорема об универсальной аппроксимации — сеть с одним скрытым слоем может сколь угодно точно приблизить любую непрерывную функцию. Но есть оговорки: нужное число нейронов может быть невообразимо большим, и полученная модель может не обобщать. На слайде — кривая «хайпа» ИИ: рождение, завышенные ожидания, две «зимы ИИ», новые надежды и взрывной рост.

Ограничения

• Обобщение под вопросом. Опыт из статьи «Understanding deep learning requires rethinking generalization» (Zhang и др., ICLR 2017): заменяем метки картинок на случайные (собака → банан). Точность на обучении всё равно 100% — сеть просто запоминает даже бессмысленные метки, а точность на тесте падает до уровня случайной.
• Хороши только там, где были данные. Сеть отлично аппроксимирует функцию в областях с примерами, но вне их может выдавать что угодно — и не знает, что не знает. Глубокое обучение — не «алхимия», где из любых данных и случайной архитектуры получается результат.
• Ловушки данных. Сеть для раскрашивания ч/б фото рисует собакам розовый язык под подбородком — потому что в обучающих данных у собак часто высунут язык. Смертельная авария машины на автопилоте: по сообщениям прессы, машина раз за разом поворачивала к одному и тому же отбойнику, а на снимках Street View видно, что раньше это место выглядело иначе, — пример того, как модель ошибается в ситуации, которой не было в данных.
• Неопределённость. В безопасно-критичных задачах (машины, медицина, распознавание лиц) и на несбалансированных или шумных данных модели нужно уметь сообщать, насколько она уверена.
• Состязательные примеры. Добавим к фото храма почти невидимый шум — и сеть уверенно (98%) называет его страусом. Механизм: при обучении мы меняем веса, чтобы уменьшить потерю, $W \leftarrow W - \eta\, \partial J / \partial W$; атака меняет вход, чтобы потерю увеличить: $x \leftarrow x + \eta\, \partial J / \partial x$. Бывают и физические атаки: напечатанная на 3D-принтере черепаха, которую классификатор с разных ракурсов принимает за винтовку (Athalye и др., ICML 2018).
• Алгоритмические смещения — модели хуже работают на недопредставленных группах (тема лабораторной 2).

Итоговый список ограничений со слайда: нейросети прожорливы к данным, требуют больших вычислений, легко обманываются, подвержены смещениям, плохо представляют неопределённость, работают как «чёрный ящик», требуют экспертного подбора архитектуры, с трудом кодируют структуру и знания и плохо экстраполируют.

Новый рубеж I: диффузионные модели

У VAE и GAN свои проблемы: схлопывание мод (mode collapse), трудности с генерацией вне распределения, неустойчивое обучение. Диффузионные модели генерируют не за один шаг, а итеративно, многократно очищая шум:

• прямой процесс (данные → шум): к картинке понемногу добавляют шум — 100% картинки, потом 75/25, 50/50, 25/75 и наконец чистый шум;
• обратный процесс (шум → данные): сеть учится по картинке на шаге $T$ получать картинку на шаге $T - 1$;
• генерация: начинаем с чистого шума и шаг за шагом убираем его — проявляется новая картинка (на слайде — собака).

Применения: изображения по тексту («астронавт верхом на лошади»), молекулы в 3D, новые белки.

Новый рубеж II: большие языковые модели

LLM — «очень, очень большие нейросети, обученные на очень, очень больших наборах текстов». Обучение: данные (Common Crawl, WebText и др.) режут на «токены», модель (например, GPT-3 со 175 млрд параметров) решает задачу предсказать следующий токен по предыдущим; ошибка — кросс-энтропия между предсказанным распределением и настоящим следующим токеном. Пример: из текста «MIT deep learning is so awesome» модель по «MIT deep learning is» учится предсказывать «so». При использовании тот же механизм генерирует текст токен за токеном.

Что умеют надёжно: поиск знаний, помощь в письме, помощь в планировании. Ограничения: устойчивость (уверенно переводят даже искажённый вопрос), галлюцинации («уверенно неправы»), обходы ограничителей (jailbreaks), логика и арифметика. Эмерджентные способности — то, чего нет у малых моделей, но что появляется у больших (Wei и др., TMLR 2022): графики точности резко взлетают после некоторого масштаба.

Финал лекции — «фундаментальные модели»: можно ли сделать центральную систему рассуждений для ИИ общего назначения; ИИ, улучшающий сам себя; генеративный ИИ для изображений, биологии и языка — «сила и осторожность».

Что сделать руками

1. Лабораторная 2, часть 2 — детектор лиц с VAE для поиска смещений: модель учит скрытые признаки лиц и чаще показывает при обучении редкие примеры. Перевод условия.
2. Лабораторная 3 — дообучение LLM: перевод условия.
3. Повторите трюк репараметризации в PyTorch: сгенерируйте $\varepsilon$ через torch.randn_like(sigma) и убедитесь, что z = mu + sigma * eps пропускает градиенты к mu и sigma.
4. Для RL — урок 6.0.2 «TD и Q-learning» с собственной реализацией Q-обучения.

Словарик

EN	RU
generative model, density estimation	генеративная модель, оценка плотности
latent variable, latent space	скрытая (латентная) переменная, скрытое пространство
autoencoder, encoder, decoder	автоэнкодер, кодировщик, декодер
reconstruction loss	ошибка (потеря) восстановления
variational autoencoder (VAE)	вариационный автоэнкодер
prior, KL divergence	априорное распределение, KL-дивергенция
reparameterization trick	трюк репараметризации
disentanglement, β-VAE	распутывание, β-VAE
generative adversarial network (GAN), generator, discriminator	генеративно-состязательная сеть, генератор, дискриминатор
mode collapse	схлопывание мод
agent, environment, state, action, reward	агент, среда, состояние, действие, награда
return, discount factor	суммарная награда (отдача), коэффициент дисконтирования
Q-function, policy	Q-функция, политика
value learning, policy gradient	обучение ценности, градиент политики
universal approximation theorem	теорема об универсальной аппроксимации
adversarial example / attack	состязательный пример / атака
algorithmic bias, uncertainty	алгоритмическое смещение, неопределённость
diffusion model, forward noising, reverse denoising	диффузионная модель, прямое зашумление, обратное очищение от шума
next-token prediction, hallucination, emergent abilities	предсказание следующего токена, галлюцинация, эмерджентные способности