Stanford CS224N «NLP with Deep Learning» — путеводитель

CS224N — главный стэнфордский курс по обработке естественного языка с глубоким обучением; его много лет ведёт Кристофер Мэннинг. Курс прошёл путь от векторов слов и рекуррентных сетей до трансформеров и больших языковых моделей, и по нему удобно увидеть, откуда взялись современные LLM: многие уроки нашей ступени 4 повторяют его логику.

Лицензии и на чём основана страница

Сайт курса (web.stanford.edu/class/cs224n) из нашей среды недоступен, а у материалов курса нет открытой лицензии: ни в конспектах, ни в заданиях нет указаний на CC или MIT. Поэтому мы не переводим их, а пересказываем своими словами. Источники: конспекты зимы 2019 года и задания зимы 2020 года (официальные PDF, сохранённые в открытом архиве maxim5/cs224n-2020-winter); список тем 2026 года — по неофициальному конспекту студента (репозиторий lvsir18/CS224n-Winter-2026-Learning-Notes), поэтому сверяйте его с официальным сайтом. Видео лекций выложены на YouTube-канале Stanford Online.

Наши конспекты по курсу

Страница	Что внутри	Урок курса
Векторы слов: SVD, word2vec, GloVe	счётные методы и SVD, CBOW и skip-gram, отрицательное сэмплирование, иерархический softmax, GloVe, оценка векторов, оконная классификация	4.3.1, 4.3.2
Языковые модели, RNN, seq2seq и внимание	n-граммы, RNN и перплексия, затухающие градиенты, GRU и LSTM, seq2seq, внимание Богданау и Луонга, декодирование, BLEU, большие словари	4.1.5, 4.4.1

Обратное распространение и основы нейросетей в CS224N излагаются так же, как в CS231n, — для этой темы читайте наш полный перевод конспекта CS231n о backprop.

Программа курса

Классическая часть (зима 2019–2020)

Эта часть почти не меняется много лет; по ней написаны официальные конспекты.

Блок	Темы	Конспект 2019
Векторы слов	одногорячее кодирование, распределённые представления, SVD, word2vec, GloVe, оценка	notes 01–02
Нейросети	прямой проход, функция потерь с зазором, обратное распространение, советы по обучению (проверка градиента, dropout, инициализация, Adam)	notes 03
Синтаксический разбор	разбор зависимостей, переходный (transition-based) парсер на нейросети	notes 04
Языковые модели и RNN	n-граммы, оконная нейронная LM, RNN, перплексия, затухающие и взрывающиеся градиенты, GRU, LSTM	notes 05
Машинный перевод	seq2seq, внимание, декодирование лучом, BLEU, работа с большим словарём, подслова и символы	notes 06
Дальше	вопросно-ответные системы, свёрточные сети для текста, рекурсивные сети, подслова, контекстные представления (ELMo, BERT), трансформеры, генерация текста, кореференция, этика	notes 07–09 и слайды

Темы зимы 2026 года (неофициальный список)

По неофициальному конспекту, в 2026 году курс из 19 лекций выглядел так: введение и история NLP; векторы слов; обратное распространение и нейросети; языковые модели и RNN; внимание и трансформеры; практические советы к проекту; предобучение; постобучение; эффективная адаптация (PEFT); RAG и языковые агенты; оценка; рассуждения (две лекции); токенизация и многоязычность; интерпретируемость; влияние ИИ на человечество; мультимодальность; LoRA; открытые вопросы NLP. То есть классическая часть сжата до пяти лекций, а остальное — про LLM.

Соответствие нашему курсу: предобучение — ступень 5, постобучение и PEFT — 6.1.2 и модуль 6.2, RAG и агенты — модули 8.2 и 8.3, оценка — 7.3.1, рассуждения — 6.4.1, интерпретируемость — 9.3.1, мультимодальность — 9.1.1.

Задания (зима 2020)

Задание	Баллы	Что делаете	Урок курса
1. Exploring Word Vectors	25	Блокнот: матрица совместной встречаемости и SVD, сравнение с готовыми векторами GloVe (200-мерными), аналогии и смещения (bias) в векторах	4.3.1
2. word2vec	43	Письменно: градиенты функции потерь skip-gram (с softmax и с отрицательным сэмплированием); код: обучение word2vec на NumPy со своим SGD	4.3.2
3. Dependency Parsing	52	Письменно: Adam и dropout; код: нейронный переходный парсер зависимостей на PyTorch, разбор ошибок	3.3.2
4. NMT	75	Seq2seq с двунаправленным LSTM-кодировщиком и вниманием для перевода с испанского на английский (около 4 часов обучения на GPU, BLEU выше 21); анализ ошибок перевода	4.4.1
5. Character-level NMT	70	Символьный свёрточный кодировщик и символьный LSTM-декодер для того же перевода, меньше подсказок в коде	4.2.1

В более поздних годах задания обновлялись: задание 5 стало про самовнимание, трансформеры и предобучение мини-GPT, а темы о LLM вошли в проекты. Точный состав заданий текущего года смотрите на сайте курса.

На своём компьютере

Задания 1–3 идут на CPU за минуты. Задание 4 рассчитано примерно на 4 часа на облачной GPU 2020 года; одна RTX 4080 справится быстрее. Для практики с современными моделями удобнее наши уроки 4.5.4 «BERT и Hugging Face» и 4.6.1 «Мини-GPT».

Как проходить вместе с нашим курсом

1. Модуль 4.3 (эмбеддинги) — прочитайте наш конспект о векторах слов и сделайте задания 1–2 CS224N: вывод градиентов word2vec вручную — отличная тренировка после обратного распространения.

2. Модуль 4.1 (языковые модели) — конспект о RNN, seq2seq и внимании: он объясняет, какую проблему решало внимание до появления трансформеров.

3. Модули 4.4–4.6 — лекции CS224N о трансформерах и предобучении (видео) плюс наши уроки и переводы: Transformer Explainer и LLM Visualization.

4. Ступени 5–9 — поздние лекции 2026 года (постобучение, RAG, рассуждения) как обзор; глубже — в CS336 и наших уроках.

Словарик

EN	RU
word vectors, distributed representation	векторы слов, распределённое представление
dependency parsing	синтаксический разбор зависимостей
neural machine translation (NMT)	нейронный машинный перевод
sequence-to-sequence (seq2seq)	«последовательность в последовательность»
post-training, PEFT	постобучение, эффективное по параметрам дообучение