Stanford CS229 «Machine Learning» (Эндрю Ын) — путеводитель

CS229 — стэнфордский курс машинного обучения, который много лет вёл Эндрю Ын. Его конспекты — компактный учебник «классического» ML с выводами: от линейной регрессии и обобщённых линейных моделей через SVM и теорию обучения до EM, PCA и обучения с подкреплением. Курс заметно математичнее курсов на Coursera: здесь выводят нормальные уравнения, двойственную задачу SVM и оценки сложности выборки.

Лицензии и на чём основана страница

У материалов CS229 нет открытой лицензии, поэтому мы их не переводим, а пересказываем своими словами. Сайт курса из нашей среды недоступен; мы опирались на официальные PDF осени 2018 года, сохранённые в открытом архиве maxim5/cs229-2018-autumn. Текущая редакция конспекта — единый файл main_notes.pdf на cs229.stanford.edu (по общедоступным сведениям, его соавтор — Тенгью Ма); главы там те же, плюс расширенные разделы о глубоком обучении, ядрах и самообучении. Видео осени 2018 года выложены на YouTube-канале Stanford Online.

Наши конспекты по курсу

Страница	Части конспекта	Урок курса
Обучение с учителем	I–IV: линейная регрессия, LMS, нормальные уравнения, логистическая регрессия, метод Ньютона, GLM, softmax, GDA, наивный Байес	2.2.1, 2.2.2
SVM, ядра, теория обучения	V–VII: зазоры, двойственность, ядра, SMO; смещение и дисперсия, VC-размерность; кросс-валидация, отбор признаков, MAP	2.1.2
Нейросети и обучение без учителя	Deep Learning; VIII–XI: k-средних, смесь гауссиан, EM, PCA; кратко XIII (RL)	3.1.2, 2.3.2

Карта конспектов (редакция 2018 года)

Часть	Тема	Страниц
I–III	Обучение с учителем: линейная регрессия, классификация и логистическая регрессия, обобщённые линейные модели	30
IV	Генеративные алгоритмы: GDA, наивный Байес	14
V	Машины опорных векторов	25
VI	Теория обучения	11
VII	Регуляризация и выбор модели	8
—	Глубокое обучение; отдельно — обратное распространение	16
—	Деревья решений, ансамбли (бэггинг, бустинг)	отдельные конспекты
VIII	k-средних; смесь гауссиан и EM	3 + 4
IX	EM-алгоритм в общем виде	8
X	Факторный анализ	отдельный конспект
XI	Анализ главных компонент	6
XII	Анализ независимых компонент (ICA)	отдельный конспект
XIII	Обучение с подкреплением и управление; LQR и др.	15 +

Помимо основных конспектов есть разборы семинаров (section notes): обзоры линейной алгебры и теории вероятностей, выпуклой оптимизации, гауссовых распределений, скрытых марковских моделей и гауссовых процессов, советы по анализу ошибок и применению ML. Обзоры линейной алгебры и вероятности — хорошее дополнение к нашей ступени 1.

Домашние задания (осень 2018)

Задания на Python (NumPy), с письменной частью (выводы) и кодом.

Задание	Темы	Урок курса
PS0	Разминка: линейная алгебра и многомерный анализ	1.1, 1.2.3
PS1	Логистическая регрессия и GDA на одних данных; обучение только по положительным меткам; пуассоновская регрессия (GLM); локально взвешенная регрессия	2.2.2
PS2	Сходимость логистической регрессии; перцептрон с ядрами; фильтр спама: наивный Байес и SVM	2.3.1
PS3	Нейросеть (подбор весов вручную); EM для смеси гауссиан без учителя и с частичной разметкой; сжатие изображения k-средними	2.3.2
PS4	Свёрточная сеть на NumPy (прямой и обратный проход); ICA — разделение смешанных звуков; RL — балансировка шеста (cart-pole)	3.5.1, 6.0.1

На своём компьютере

Все задания CS229 идут на обычном CPU за минуты: это небольшие NumPy-скрипты на табличных данных и маленьких изображениях. GPU не нужен.

Как проходить вместе с нашим курсом

1. Ступень 1 — обзоры линейной алгебры и вероятности из разборов семинаров CS229 как повторение.

2. Модуль 2.2 (линейные модели) — наш конспект об обучении с учителем: объясняет, почему квадраты и кросс-энтропия, и как логистическая регрессия вытекает из GLM. Затем PS1.

3. Модули 2.1 и 2.3 — SVM и теория обучения: дают язык для разговора о переобучении (смещение и дисперсия, кросс-валидация, регуляризация как априорное распределение). Затем PS2.

4. Ступень 3 — нейросети и обучение без учителя, а для глубины — полные переводы конспектов CS231n: оптимизация и backprop.

5. Ступень 6 — часть XIII (обучение с подкреплением) как математическое введение к RLHF и GRPO.

Словарик

EN	RU
lecture notes, section notes	конспекты лекций, разборы семинаров
problem set	домашнее задание
generalized linear model (GLM)	обобщённая линейная модель
learning theory	теория обучения
factor analysis, ICA	факторный анализ, анализ независимых компонент