Stanford CS336 «Language Modeling from Scratch» — путеводитель
Как устроен самый глубокий открытый курс «LLM с нуля»: пять частей и пять заданий, какие лекции и задания у нас переведены, что нового в весне 2026 года, какие лицензии и как проходить CS336 вместе с нашим курсом.
CS336 — стэнфордский курс о том, как построить языковую модель целиком своими руками: от токенизатора и трансформера до GPU-ядер, параллелизма, законов масштабирования, очистки данных и обучения с подкреплением. Его ведут Перси Лян и Тацунори Хашимото. Весной 2026 года курс прошёл в третий раз, и все материалы лежат в открытом доступе: лекции, условия заданий, код с тестами и видео прошлого года.
Курс намеренно тяжёлый. В первой лекции авторы цитируют отзыв студента 2024 года: «Первое задание по объёму работы было примерно как все пять заданий CS224N плюс финальный проект. И это только первая домашка». Заготовки кода нет: вы получаете условие, модульные тесты и интерфейсы-адаптеры, через которые тесты проверяют ваш код. Именно поэтому CS336 так ценен: после него в устройстве LLM не остаётся «чёрных ящиков».
Пять частей курса
Заголовок раздела «Пять частей курса»Курс построен вокруг одной мысли: всё решает эффективность. Вычислений всегда не хватает, поэтому каждое решение — от токенизатора до алгоритма RL — принимается с учётом того, сколько оно стоит в FLOPs, байтах памяти и часах GPU. Части курса идут в том же порядке, в котором строится настоящая модель, и у каждой есть своё задание.
| Часть | О чём | Задание |
|---|---|---|
| Основы (basics) | токенизация, архитектура трансформера, обучение | 1 |
| Системы (systems) | GPU-ядра, параллелизм, инференс | 2 |
| Законы масштабирования (scaling laws) | как по маленьким моделям выбрать размер и гиперпараметры большой | 3 |
| Данные (data) | оценка, сбор, преобразование, фильтрация, дедупликация, смешивание | 4 |
| Выравнивание (alignment) | SFT, RLHF, алгоритмы и системы RL | 5 |
Лекции: что у нас переведено
Заголовок раздела «Лекции: что у нас переведено»Все переводы — по лекциям весны 2025 года: к ним есть видео, и их код открыт под MIT. Исполняемые лекции (программы на Python, которые при запуске «показывают» лекцию шаг за шагом) переведены вместе с кодом, слайдовые — слайд за слайдом.
| Лекции | Тема | Перевод | Уроки нашего курса |
|---|---|---|---|
| 1–2 | Зачем LLM с нуля, токенизация, PyTorch и учёт ресурсов | перевод | 4.2, 3.3 |
| 3–4 | Архитектуры, гиперпараметры, смесь экспертов | перевод | 4.5, 5.2, 5.3 |
| 5–6 | GPU, ядра, Triton | перевод | 5.7 |
| 7–8 | Параллелизм: от коллективных операций до 3D | перевод | 5.4, 5.7 |
| 9, 11 | Законы масштабирования: основы и практика | перевод | 5.1 |
| 10, 12 | Инференс и оценка моделей | перевод | 7.1–7.3 |
| 13–14 | Данные: источники, фильтрация, дедупликация | перевод | 5.1 |
| 15–16 | SFT, RLHF, RL с проверяемыми наградами | перевод | 6.1–6.4 |
| 17 | Policy gradient и GRPO в коде, итоги курса | перевод | 6.0, 6.4 |
Задания
Заголовок раздела «Задания»Условия — версии весны 2026 года. Каждое задание — отдельный репозиторий на GitHub с PDF-условием и тестами.
| Задание | Что нужно сделать | Страница |
|---|---|---|
| 1. Basics | byte-level BPE, трансформер с RMSNorm, SwiGLU и RoPE, AdamW, цикл обучения, генерация | путеводитель |
| 2. Systems | профилирование, смешанная точность, FlashAttention-2 на Triton, распределённое обучение | путеводитель |
| 3. Scaling | метод IsoFLOP, подбор размера модели при ограниченном бюджете обучения | путеводитель |
| 4. Data | из сырого Common Crawl — в обучающий набор: извлечение текста, фильтры, дедупликация | путеводитель |
| 5. Alignment | GRPO для рассуждений на математических задачах, SFT и сравнение вариантов RL | пересказ |
У некоторых заданий есть таблица лидеров. В первом задании нужно получить как можно меньшую перплексию на OpenWebText за 45 минут обучения на одной B200. На своей машине задания можно делать и проверять тестами, а для таблицы лидеров нужен кластер курса.
Что нового весной 2026 года
Заголовок раздела «Что нового весной 2026 года»По первой лекции и репозиторию лекций 2026 года:
- Подход прежний — всё «с нуля», но авторы обещают меньше второстепенных деталей и больше тем, которые дают максимум понимания за потраченное время.
- Больше современных составляющих LLM: смесь экспертов, длинный контекст, агенты.
- Лекция 7 теперь исполняемая — параллелизм разбирается на коде, а не только на слайдах.
- Лекция 17 — о мультимодальных моделях: CLIP и SigLIP, LLaVA, линейка Qwen-VL и Chameleon, путь к «omni»-моделям. Близкая тема у нас — урок 9.1.1 о моделях «зрение + язык». Policy gradient из лекции 17 весны 2025 года, переведённой у нас, остаётся основой задания 5.
- Правила для ИИ-помощников: авторы прямо пишут, что агенты для программирования могут решить все задания, но тогда вы ничему не научитесь. ИИ можно использовать как репетитора, а студенты обязаны подключать к помощнику файл курса AGENTS.md, который просит модель объяснять, а не решать за них. Это хорошее правило и для нашего курса.
Как проходить вместе с нашим курсом
Заголовок раздела «Как проходить вместе с нашим курсом»-
После ступени 4. Прочитайте лекции 1–4 и сделайте задание 1. Если вы прошли nanoGPT на PyTorch, большая часть задания покажется знакомой, но теперь без заготовки и под строгими тестами.
-
Ступень 5. Лекции 5–8 и задание 2 — вместе с модулем «GPU изнутри». Лекции 9 и 11 и задание 3 — к уроку о законах масштабирования, лекции 13–14 и задание 4 — к уроку о данных для претрейна.
-
Ступень 6. Лекции 15–17 и задание 5 — вместе с модулем о рассуждениях и GRPO.
-
Ступень 7. Лекции 10 и 12 — к модулям об инференсе и оценке.
-
Выпускной проект. Код, написанный в заданиях CS336, — отличная основа для выпускного проекта: токенизатор, модель, цикл обучения и GRPO у вас уже будут свои.