Ли Хунъи, «ML в эпоху генеративного ИИ» 2025: лекции 5–12

О конспекте

Пересказ своими словами по расшифровкам лекций и конспектам к ним из dimthink/awesome-ai-podcast-notes. Для лекций 8 и 10 курса материалов в наших источниках нет. Числа из экспериментов — так, как их приводит лектор. Обзор курсов и заданий — здесь.

Коротко

• Выравнивание (SFT + RLHF) меняет манеру модели, а не её знания; данных нужно мало, и лучшие данные часто сгенерированы сильной моделью (дистилляция). Всё, что модель знает, приходит из предобучения — и выравнивание не стирает «пепел» вредных знаний, а лишь подавляет их проявление.
• Пост-обучение почти всегда вызывает катастрофическое забывание — особенно безопасности. Лучшие лекарства — повторять старые данные или, если их нет, давать модели учиться на собственных ответах.
• «Глубокое мышление» — это вычисления во время вывода; к нему ведут четыре пути: длинная цепочка рассуждений по промпту, перебор и проверка вариантов, обучение на рассуждениях (подражание, дистилляция) и RL по итоговому ответу. DeepSeek-R1 сочетает все четыре.
• Любая метрика, ставшая целью, портится (закон Гудхарта) — даже Chatbot Arena зависит от оформления ответов.
• Способности можно складывать и вычитать как векторы задач без обучения.

Как смотреть вместе с курсом

Лекция	Когда смотреть	Наш урок
5	после модуля 6.1	6.1.1, 6.1.2, 5.1.2
6	вместе с уроком 6.2.2 (до своего первого дообучения!)	6.2.2
7	вместе с модулем 6.4	6.4.1–6.4.4
9	вместе с модулем 7.3	7.3.1
11	после модуля 6.2	6.2.1
12	вместе с уроком 9.1.5	9.1.5

---

Лекция 5. Сила и пределы схемы «предобучение — выравнивание»

Видео на YouTube

Первое впечатление обманчиво. Базовая модель без выравнивания отвечает плохо, а после SFT и RLHF — блестяще. Кажется, что всё решает выравнивание. Ли показывает, что это не так.

Мало данных, важна их природа. LIMA — 1000 примеров. Китайский эксперимент: наборы вопросов из разных источников; лучше всего сработали всего 240 вопросов с форума «Жочжиба» (раздел шуточных «дурацких» вопросов на Baidu Tieba), дав 83 % точности. Секрет — в детали статьи: ответы писали не люди, а GPT-4. Это дистилляция знаний: сильная модель-учитель генерирует данные, слабая модель-ученик на них учится — дёшево и очень эффективно. Ещё пример: «Long Is More for Alignment» — просто взяли 1000 самых длинных ответов из Alpaca, и модель обошла обученную на всех 52 тысячах и на тщательно составленных 1000 примерах LIMA. Работают даже «бессмысленные» тексты, если их продолжила сильная модель.

Что меняет выравнивание. Сравнение распределений до и после показывает: почти во всех позициях модель выбирает те же токены; меняются в основном служебные — связки, приветствия, завершение ответа. Маленькие сдвиги, умноженные на длинную генерацию, дают огромную внешнюю разницу. Поэтому выравнивание «лёгкое»: можно учить только на ответах без вопросов (response tuning) или даже вручную подправить правила вывода — и базовая модель становится похожа на выравненную.

Значит, всё решает предобучение. Работы «физики языковых моделей» показывают: чтобы модель смогла потом извлекать знание о сущности, в предобучении должны быть разные формулировки одного факта — иначе она запоминает строку, а не понятие. Предобучение требует триллионов токенов качественного текста — высказываются опасения, что интернет-данные скоро закончатся; поэтому так важны очистка, синтез и перефразирование данных, а разнообразие ценнее повторения.

Пределы выравнивания. Оно не учит новым знаниям — попытка вложить незнакомые факты через дообучение может даже навредить. RLHF раскрывает то, что модель уже умеет. И оно не стирает выученное: вредные знания из предобучения остаются в параметрах «пеплом», выравнивание лишь их подавляет — модель как «монстр в маске».

Связь с курсом

Базовая и чат-модель — 6.1.1; SFT и данные — 6.1.2; данные предобучения — 5.1.2; дистилляция — 6.4.4.

Лекция 6. Пост-обучение и проблема забывания

Видео на YouTube

Пост-обучение (post-training, continual learning) — доучить базовую модель новому навыку или области. Главная беда — катастрофическое забывание: «операция прошла успешно, но пациент умер». Примеры из лекции:

• LLaMA-2-Chat доучили китайскому — модель заговорила по-китайски, но перестала отказываться на опасные просьбы (по проверке ToxiGen доля плохих ответов резко выросла даже при «чистых» китайских данных), а иногда и ломалась в простых ответах.
• Безобидное SFT тоже ломает безопасность: в известной работе модели GPT-3.5 через API дообучения просто дали новое имя («я AOA, рад помочь») — и защитное поведение исчезло.
• В лаборатории Ли LLaMA-3 учили рассуждению, медицине, коду и инструментам: новые навыки выросли, безопасность упала. Учили только инструменты — проседали математика и код.

Наблюдения: забывание сильнее, чем глубже модель «впитала» новое, и почти не зависит от размера модели. LoRA ослабляет забывание, но ценой «учится меньше — забывает меньше»; dropout и затухание весов помогают ещё хуже.

Лекарства (известные ещё с 2019 года):

• Повтор опыта (experience replay) — подмешивать к новым данным немного старых.
• Псевдоповтор — старых данных нет (у открытых моделей их обычно и не дают)? Пусть модель сама сгенерирует примеры «старых» задач и учитесь на них вместе с новыми.
• Современные варианты той же идеи: перефразировать обучающие ответы словами самой модели (paraphrase), учиться на собственных правильных ответах модели (self-output), использовать для этого другую LLM, минимально править ответы модели, отфильтровывать «трудные» токены, которые модель считает очень маловероятными; RL, обучающийся на своих же сэмплах, тоже меньше забывает.

Практический вывод: после любого дообучения проверяйте старые способности, а не только новую.

Для вашего первого дообучения

Перед LoRA-рецептом self-llm прогоните модель на 20 «опасных» и 20 общих вопросах и повторите после дообучения. Задания HW6 2025 и HW5 2026 года — ровно об этом (обзор).

Лекция 7. Как DeepSeek-R1 и подобные модели «глубоко думают»

Видео на YouTube

Что такое «рассуждение». Перед ответом модель проверяет себя, перебирает варианты, планирует. Пример из лекции: на «1+1» модель отвечает «2», тут же сомневается («а вдруг подвох — в двоичной системе это 10?») и возвращается к «2». Ли различает reasoning (рассуждение модели) и inference (вывод — просто запуск модели) — по-китайски эти два термина различаются одним иероглифом. Рассуждение — частный случай вычислений во время вывода (test-time compute): ещё AlphaGo тратил вычисления на поиск MCTS при каждом ходе. Больше «думания» часто выгоднее, чем больше обучения.

Четыре пути к рассуждению:

1. Длинная цепочка рассуждений промптом. Few-shot CoT (примеры с решениями) → zero-shot CoT («Let’s think step by step») → «длинная» CoT с подробной инструкцией (разбери условие, составь план, проверяй каждый шаг несколько раз, рассуждай внутри <think>). Сильная модель (в лекции — GPT-4o) по такому промпту решает 123 × 456 = 56 088 с планом и проверками, хотя по ходу может «выдумать» проверку кодом, которой не было. Слабые модели такую инструкцию не тянут.
2. Дать модели «попробовать много раз» и выбрать. Голосование большинством (self-consistency) — простой и сильный бейзлайн; верификатор выбирает лучший из N; верификатор процесса оценивает каждый шаг и позволяет поиск по шагам (оставлять лучшие ветки) — так маленькая модель может обойти большую.
3. Подражание (imitation learning). Учить модель на текстах рассуждений: их пишут люди (дорого) или генерирует сама модель — оставляем те, где ответ верный (с риском «ответ верный, рассуждение нет»), — или помогает поиск с верификатором процесса. Полезно учить и на рассуждениях с ошибками и исправлением (Stream of Search, Journey Learning), чтобы модель умела «выкарабкиваться». И дистилляция: сильный учитель (например, R1) генерирует рассуждения, маленькая модель учится — в статье R1 так сильно улучшили Qwen и Llama 8B/70B.
4. RL по итоговому ответу. Награда только за правильный ответ (плюс за формат с <think>). DeepSeek-R1-Zero — чистый RL поверх DeepSeek-V3-Base — на задачах олимпиады AIME приблизился к OpenAI o1 при одной попытке, а с голосованием большинства по 16 ответам сравнялся с o1, тоже голосующим, и обошёл o1 без голосования; в процессе модель сама начала замечать ошибки («aha moment»). Но рассуждения R1-Zero трудно читать — языки перемешаны.

Настоящий DeepSeek-R1 собран в несколько этапов, сочетающих всё перечисленное: данные рассуждений и подражание → RL с ограничением на единый язык → много задач и снова подражание → финальный RL. И важная оговорка: RL лишь усиливает то, что модель уже умеет. В отчёте R1 прямой RL на Qwen-32B дал результат примерно уровня QwQ-32B — заметно хуже, чем дистилляция из R1 (подражание), а огромную DeepSeek-V3-Base RL усилил очень сильно; позже нашли, что у V3-Base «озарения» и самопроверка встречались ещё до RL.

Проблема — переобдумывание. Даже на 123 × 456 R1 пишет многостраничное рассуждение с повторными проверками; это дорого. Будущее — тратить «мышление» только там, где оно нужно.

Связь с курсом

GRPO и R1-Zero — 6.4.1, 6.4.2; дистилляция и «думающие» режимы — 6.4.4; практика — 6.4.5 и перевод Happy-LLM 8.1 GRPO. Задание HW8 2026 года сравнивает self-consistency, Self-Certainty и DeepConf.

Лекция 9. «Зачем вы так держитесь за эту систему оценки?» Об оценке LLM

Видео на YouTube

• Память вместо рассуждения. Ранние проверки рассуждений — школьные задачи по математике и коду — модель может «пройти» по памяти. Проверка: заменить имена, числа, переставить предложения — точность падает. Загрязнение данных практически неустранимо.
• ARC-AGI — визуальные головоломки на «текучий интеллект», которые нельзя заучить. Модель o3 показала результат выше среднего человека, но ценой огромных вычислений; и даже ARC можно «натаскать», сгенерировав много похожих задач.
• Chatbot Arena — люди сравнивают анонимные ответы; рейтинг Эло с поправкой на «нерабочие» факторы. Но людей подкупает стиль: эмодзи, оформление, длина. Модель может поднять рейтинг «обаянием»; Ли приводит Claude, которому вредит «скучный» стиль.
• Закон Гудхарта: когда мера становится целью, она перестаёт быть хорошей мерой. Модели начинают оптимизировать метрику, а не способность. Не держитесь за одну систему оценки.

Лекция 11. Векторы задач и слияние моделей

Видео на YouTube

Вектор задачи — разность параметров дообученной и базовой модели: $\tau = \theta_{\text{дообуч}} - \theta_{\text{база}}$. С ним можно работать как с вектором — без обучения и без данных:

• Сложение: $\theta_{\text{база}} + \tau_A + \tau_B$ — модель получает обе способности (часто лучше, чем при совместном дообучении).
• Вычитание: $\theta - \tau$ — модель «разучивается» (machine unlearning): например, убрать вредное поведение или знание, которое нельзя хранить.
• Аналогия: «A относится к B, как C к D» — собрать способность D из векторов A, B, C, не имея данных для D.

Когда работает. Если разные задачи меняют разные и немногие параметры (векторы почти не пересекаются). Помогают разрежение векторов (оставить только крупные изменения) и большие модели — у них слияние удаётся чаще.

Мечта: «магазин векторов задач» — небольшие команды продают способности как векторы, а не данные; это решало бы и вопросы приватности данных.

Связь с курсом

LoRA-адаптер — это и есть компактный вектор задачи (6.2.1). Задания HW9 2025 и HW7 2026 года — слияние на практике (mergekit).

Лекция 12. Как языковые модели учатся говорить — история речевых LLM

Видео на YouTube

Почему речь труднее текста. В голосе есть не только слова, но и эмоция, интонация, говорящий, фон. Голосовые режимы GPT-4o и Gemini уже есть; первой открыто выпущенной сквозной речевой моделью Ли называет Moshi. Важно отличать настоящую речевую модель от каскада «распознавание речи → LLM → синтез».

Токенизация звука — главный вопрос. Взять текст — потеряем всё, кроме слов; взять сырые отсчёты — последовательность слишком длинная. Середина: кодировщик самообучения (SSL) + векторное квантование или нейронный кодек (с несколькими уровнями токенов). Ли советует смотреть на то, что токены реально кодируют, а не на названия («семантические», «акустические»).

Генерация нескольких уровней токенов: от грубого к тонкому, вперемешку, по несколько токенов за шаг, с задержкой акустических уровней относительно смысловых — компромиссы между качеством, скоростью и задержкой.

Почему мало помогает «просто много аудио». В час речи гораздо меньше «содержания», чем в тексте того же объёма, и учиться смыслу из звука труднее. Решение — инициализировать речевую модель текстовой LLM и генерировать текст и речь вместе (гибридное декодирование), но тогда их длины не совпадают. Лаборатория Ли предложила TASTE — токенизацию, выровненную по тексту: на каждый текстовый токен — один речевой, который хранит лишь то, чего нет в тексте (интонацию, голос). Модель на TASTE, обученная сравнительно малыми ресурсами, продолжает речь, сохраняя темп, акцент и даже фоновый шум.

Дальше: SFT и RLHF для речевых моделей (данные можно генерировать самой моделью, что заодно спасает от забывания), полный дуплекс — слушать и говорить одновременно, с перебиваниями, — и честная оценка речевых моделей: содержание, паралингвистика, безопасность.

Связь с курсом

Речь и аудиотокенизаторы — урок 9.1.5; векторное квантование — 9.1.3. Задание HW10 2026 года разбирает каскад, end-to-end и Thinker-Talker и кодек Mimi.

---

Что сделать руками

1. Забывание на практике. Дообучите Qwen3-0.6B LoRA-ой на 300 примерах из GSM8K и сравните до и после долю отказов на 20 опасных запросах и качество на 20 общих вопросах. Затем повторите, подмешав 20 % «старых» примеров (ответы самой модели до дообучения) — это псевдоповтор из лекции 6.
2. Самосогласованность против одной попытки. На 50 задачах GSM8K сравните точность одного ответа и голосования большинства по 8 ответам (лекция 7, путь 2).
3. Слияние векторов задач. Возьмите два LoRA-адаптера одной базовой модели (обучите сами или скачайте), сложите их с весами 0,5 и 0,5 (peft умеет add_weighted_adapter) и проверьте обе способности (лекция 11).

Словарик

Русский	Пояснение
предобучение / выравнивание	pretrain / alignment
дистилляция знаний	учитель → ученик
пост-обучение	post-training
катастрофическое забывание
повтор опыта	experience replay
рассуждение / вывод	reasoning / inference
вычисления во время вывода	test-time compute
верификатор	verifier
обучение подражанием	imitation learning
вектор задачи	task vector
слияние моделей	model merging
речевая языковая модель	spoken language model
полный дуплекс	слушать и говорить одновременно