Курсы Ли Хунъи (Hung-yi Lee): обзор и домашние задания

Ли Хунъи (в английском написании Hung-yi Lee) — профессор кафедры электротехники Национального университета Тайваня (NTU), один из самых известных преподавателей машинного обучения на китайском языке. Его лекции выкладываются на YouTube целиком и бесплатно; на Bilibili есть авторизованные перезаливы. Фирменный стиль — объяснять сложное через бытовые сравнения и аниме (в лекциях 2024 года — «Провожающая в последний путь Фрирен»), каждый тезис подкреплять свежими статьями с arXiv и собственными опытами с ChatGPT, Gemini, Claude.

Что это за страницы и на чём они основаны

Лекции и слайды Ли Хунъи не имеют открытой лицензии, поэтому наши страницы — пересказ своими словами (summary), а не перевод. Сайт курсов (speech.ee.ntu.edu.tw) из нашей среды недоступен, поэтому мы опирались на открытые материалы на GitHub, а не на слайды:

• субтитры (расшифровки) лекций и подробные конспекты по ним — репозиторий dimthink/awesome-ai-podcast-notes (папка канала Ли Хунъи в каталоге channels/, конспекты сгенерированы ИИ по субтитрам, лицензия CC BY 4.0);
• конспекты курса 2024 года Vincia-Jun/GENERATIVE-AI-2024-SPRING-NOTEs (для лекций 3, 9 и 11, расшифровок которых нет в первом источнике);
• серия разборов курса 2026 года в блоге vincentxuu/quidproquo (автор сверял их со слайдами и страницей курса 30.09.2026);
• PDF заданий 2024 года — зеркало в Hoper-J/AI-Guide-and-Demos-zh_CN (китайское зеркало сделано с разрешения Ли Хунъи); описания заданий 2025 года — happyyzy/sol-for-LHY-ML2025-HWS.

Таймкоды мы не приводим: проверенных глав в описаниях видео у нас нет. Если что-то в конспекте кажется странным — сверяйтесь с самим видео: оно первоисточник.

Три курса и как они связаны

flowchart LR
A["Весна 2024<br/>«Введение в генеративный ИИ»<br/>без математики и кода"] --> B["Весна 2025<br/>«ML в эпоху генеративного ИИ»"]
B --> C["Осень 2025<br/>«Введение в генеративный ИИ и ML»"]
C --> D["Весна 2026<br/>«Машинное обучение 2026»<br/>агенты, скорость, позиции,<br/>самоисправление, самообучение"]

Последовательность курсов Ли Хунъи 2024–2026 (схема переводчика)

Курс	Для кого	Наши конспекты	Где смотреть
«Введение в генеративный ИИ» 2024 (Introduction to Generative AI), весна 2024	полный новичок: «первый курс по ИИ», без предварительных требований	лекции 0–5, 6–11, 12–18	плейлист YouTube, Bilibili (авторизованная копия)
«Машинное обучение в эпоху генеративного ИИ» 2025 (Machine Learning 2025), весна 2025	знакомые с основами: длинные (1–1,5 ч) лекции по устройству и обучению LLM	лекции 1–4, 5–12	канал Ли Хунъи на YouTube (ссылки на каждую лекцию — в конспектах)
«Введение в генеративный ИИ и машинное обучение» 2025, осень 2025	официальная «база» для курса 2026: 10 лекций по ~2 часа	обзор не делали	плейлист YouTube
«Машинное обучение» 2026 (Machine Learning 2026), весна 2026	продвинутый: агенты, FlashAttention, KV-кэш, позиционные эмбеддинги, harness engineering, самоисправление и самообучение моделей	агенты, скорость и позиции, обучение и самообучение	страница курса, YouTube

Как совмещать с нашим курсом

• Курс 2024 смотрите параллельно со ступенью 0 и в начале ступеней 4–8 как «популярное объяснение» того, что потом разберёте с формулами: лекции 0–2 — к уроку 0.0.1 «Что такое ИИ», лекции 3–5 — к 8.1.2 «Промптинг», 6–8 — к модулям 6.1–6.3, 10 — к 4.4–4.5.
• Курс 2025 — после ступени 4: лекции об агентах, интерпретируемости, Mamba, пост-обучении, рассуждениях (ступени 5–6, 8–9).
• Курс 2026 — после ступеней 5–6: FlashAttention и KV-кэш — к модулю 5.7 и уроку 4.6.4, позиции — к 4.5.2 и 5.5.1, агенты — к модулю 8.3.
• Смотрите с автоматическими субтитрами YouTube и переводом на русский (настройки → субтитры → автоперевод). Лекции 2024 года читаются на тайваньском варианте путунхуа, терминология иногда отличается от материковой (например, «данные» там обозначают другим словом), а пишут традиционными, а не упрощёнными иероглифами.

Домашние задания: зачем на них смотреть

Задания у Ли Хунъи устроены как маленькие соревнования: есть baseline нескольких уровней (Simple → Medium → Strong, в 2025 году ещё Boss), и оценка зависит от того, какой уровень вы превзошли. Все задания делаются в Colab или Kaggle; часть проверяет «ИИ-ассистент» (LLM-оценщик), часть — платформа JudgeBoi, часть — тест на NTU COOL. Внешнему слушателю недоступны только оценки и закрытая часть тестов — сами задания и стартовый код открыты.

🖥 На вашей машине (4×GPU)

Задания рассчитаны на бесплатный Colab с одной T4 (16 ГБ). На одной RTX 4080 32 ГБ всё идёт в разы быстрее, а «сильные» бейзлайны, на которые в Colab нужны часы, — за десятки минут. Платформы оценки (JudgeBoi, COOL) вам недоступны: перед стартом выпишите из PDF задания правила подсчёта метрики и напишите свой маленький скрипт оценки.

«Введение в генеративный ИИ» 2024: 10 заданий

№	Тема	Что делать	Связь с курсом
HW1	«Мир, где не отличить правду от подделки»	40 вопросов теста: определить, создан ли материал ИИ (речь, пение, текст, картинки, видео). Балл ставится за любой ответ — цель почувствовать силу и границы генеративных моделей	0.0.1
HW2	«Конкурс сочинений, где все — ИИ»	с помощью ИИ написать эссе на английском (~300 слов: заменит ли ИИ людей в большинстве профессий) и на китайском (~500 знаков, тема из тайваньского вступительного экзамена), а затем оценить их «ИИ-ассистентом» на GPT-4	8.1.2, 7.3.2
HW3	«Своё приложение на API»	в Colab с интерфейсом Gradio собрать три мини-приложения на API ChatGPT: суммаризатор, ролевой бот и своё задание	8.1.1
HW4	Become an AI Hypnosis Master — «Станьте мастером гипноза ИИ»	написать промпт, который повышает точность Gemini на 30 математических задачах	8.1.2, 8.4.1
HW5	LLM Fine-tuning — «ИИ, который пишет стихи эпохи Тан»	дообучить 7B-модель (в примере Taide-7B, есть вариант с Breeze-7B от MediaTek) продолжать стихотворение эпохи Тан по первым двум строкам; поиграть с числом примеров (в примере 1040), температурой, max_length	6.1.2, 6.2.1, 4.1.3
HW6	Learning from Human Preference	методом DPO на 50 парах предпочтений сдвинуть «нейтральную» модель Breeze-7B к заданной позиции (в задании — поддержка экранизаций манги с живыми актёрами); 10 тестовых вопросов	6.3.3
HW7	Understanding what AI is thinking	библиотекой Inseq посмотреть, какие токены важны для ответа (градиентная карта значимости и внимание), и проверить, насколько хорошо LLM объясняет сама себя	9.3.1
HW8	Safety Issues of Generative AI	сравнить LLaMA 2 и TULU 2-DPO: следуют ли они вредным примерам в контексте и отвечают ли со стереотипами	9.3.4
HW9	Quick Summary of Lecture Video	конвейер «распознавание речи Whisper → LLM»: получить краткое содержание (300–500 знаков) фрагмента лекции профессора Ли Линьшаня «Сигналы и жизнь»	9.1.5
HW10	Stable Diffusion Fine-tuning	LoRA-дообучить Stable Diffusion, чтобы она рисовала одно и то же лицо; оценка — расстояние до лиц обучающей выборки (GhostFaceNet) и CLIP-оценка	9.1.2, 6.2.1

Китайские версии ноутбуков ко всем заданиям 3–10 с пояснениями — в Hoper-J/AI-Guide-and-Demos-zh_CN (раздел «Быстрый доступ»), там же PDF заданий.

«Машинное обучение в эпоху генеративного ИИ» 2025: 10 заданий

№	Тема	Что делать	Связь с курсом
HW1	AI Agent 1 — RAG	агент с поиском отвечает на вопросы по найденной информации; бейзлайны по числу верных ответов (публичные 30 и закрытые 60 вопросов); в стартовом коде — Llama-3.1-8B-Instruct в GGUF, модель можно менять	8.2.1
HW2	AI Agent 2	агент-программист сам решает задачу табличной регрессии на Kaggle (бейзлайны Simple → Medium → Boss)	8.3.1, 2.4.4
HW3	Understand Transformer	исследовать google/gemma-2-2b-it инструментами вроде SAE Lens: карты внимания, активации нейронов, шаблон диалога	9.3.2
HW4	Training Transformer	обучить трансформер авторегрессионно генерировать картинки покемонов; метрики FID и доля распознанных покемонов (PDR)	4.6.3
HW5	Fine-tune is powerful	выбрать 100 примеров из Alpaca-52k и дообучить LLaMA-2-7B; оценка GPT-4o-mini на Evol-Instruct	6.1.2
HW6	Fine-tuning leads to Forgetting	дообучить Llama-3.2-1B-Instruct на GSM8K и не потерять безопасность (проверка на AILuminate)	6.2.2
HW7	RLHF	DPO для Llama-3-8B-Instruct на 50 примерах, исследование влияния доли «за» и «против», числа эпох и данных	6.3.3
HW8	Model Editing	редактирование знаний модели (подробностей в наших источниках нет)	—
HW9	Model Merging	сложить LoRA-адаптеры «наука» (ARC) и «математика» (GSM8K) арифметикой векторов задач, без дообучения	6.2.1
HW10	Diffusion	настройка text-to-image диффузионной модели под заданные объекты (подсказки — BLIP-Diffusion, IP-Adapter); метрики DINO и CLIP-T	9.1.2

«Машинное обучение» 2026: 10 заданий

№	Тема	Что делать	Связь с курсом
HW1	LLM Malicious Instruction Defense	защитный промпт до 1000 токенов: модель должна держать ответ в рамке [START]…[END] и не поддаться 14 атакам	8.4.1, 9.3.4
HW2	AI Agent as an AI Engineer	промптами и логикой управлять агентом на базе AIDE (в Colab — Gemma-3-12B в 4 битах), который сам пишет, запускает и чинит код распознавания 10 персонажей аниме	8.3.1–8.3.3
HW3	LLM Fast Inference	20 вопросов теста по статьям о спекулятивном декодировании и FlashAttention 1–3 плюс опыты в Colab: доля принятых токенов, prefix caching в vLLM, выгрузка на CPU	7.1.2, 5.7.2
HW4	Training Transformer	«текстовое» предсказание следующего токена для картинок: 792 покемона 20×20, каждый пиксель — один из 167 цветов-токенов; модель дорисовывает нижние 40 %	4.6.3
HW5	Finetuning without Forgetting	LoRA-дообучение Llama-3.2-1B-Instruct на GSM8K без потери отказов на опасные запросы	6.2.2
HW6	Model Editing	тест по статьям ROME, MEND, MEMIT, WISE и опыты с ROME/MEMIT на GPT2-XL	9.3.1
HW7	Model Merging	слить японскую и математическую модели на базе Mistral-7B (mergekit), чтобы решать математику на японском	6.2.1
HW8	Test-Time Scaling	сравнить Self-Consistency, Self-Certainty и DeepConf на Llama-3.2-1B-Instruct и GSM8K	6.4.2
HW9	Flow Matching	тест по DDPM, Flow Matching, Rectified Flow, MeanFlow и опыты на двумерном «швейцарском рулете»	9.1.4
HW10	Spoken Language Model	тест о трёх архитектурах речевых LLM (каскад, end-to-end, Thinker-Talker) и опыты с аудиотокенизатором Mimi	9.1.5

Откуда данные по 2025 и 2026 годам

Таблица 2025 года — по репозиторию решений happyyzy/sol-for-LHY-ML2025-HWS (в нём перечислены темы и даты всех 10 заданий со страницы курса и разобраны 8 из них); 2026 года — по разборам vincentxuu, которые автор сверял с PDF заданий. Детали (модели, числа бейзлайнов) перед выполнением сверяйте с PDF задания на странице курса.

Что сделать руками

1. Посмотрите лекцию 0 курса 2024 года и выберите 3 задания из таблицы 2024 года, которые хотите сделать параллельно со ступенями курса (HW3 и HW4 — уже на ступени 0–1, HW5–6 — на ступени 6).
2. Для HW4 2024 года (промпт для математики) сделайте свою оценку: 30 задач, точность до и после промпта, 3 запуска на вариант — и сравните с идеями лекций 3–4 (цепочка рассуждений, самопроверка, самосогласованность).
3. Задания HW4 2025 и 2026 годов (покемоны как последовательности токенов) — отличная практика после урока 4.6.3: тот же GPT, только «текст» — пиксели.

Словарик

Русский	Пояснение
генеративный ИИ	на Тайване и на материке пишется по-разному: различается последний иероглиф
домашнее задание	HW
ассистент (TA)	ведёт задания
запись на курс сверх лимита	для студентов NTU
вольный слушатель	как вы
данные	на Тайване и на материке — разные слова
«игра в слова», цепочка слов	метафора Ли Хунъи для предсказания следующего токена
языковая модель
дообучение	fine-tuning
оценка	evaluation