Stanford CS25 «Transformers United» — путеводитель по сезонам и лекциям

CS25 «Transformers United» — стэнфордский семинар, где каждую неделю о трансформерах рассказывает приглашённый исследователь: из OpenAI, Google DeepMind, Anthropic, Mistral, Hugging Face, университетов. Формат «один доклад — одна тема» делает CS25 удобным справочником по переднему краю: каждый сезон (их называют V1, V2, …) отражает, чем жила область в тот год. Записи выкладывает YouTube-канал Stanford Online.

Лицензия и на чём основана страница

У докладов и слайдов нет открытой лицензии, а сайт курса (web.stanford.edu/class/cs25) из нашей среды недоступен. Поэтому это путеводитель, а не перевод: названия докладов взяты из заголовков видеозаписей Stanford Online (как их сохранил открытый каталог расшифровок ATOM00blue/machine-learning-library), имена докладчиков — только те, что видны в названии видео или во вступлении ведущего. Списки сезонов V4 и V5 у нас неполные — полный список смотрите в плейлисте курса на YouTube. Независимый учебник по сезону V6 с упражнениями — репозиторий az9713/cs25-transformers-united-notes.

Как смотреть

1. Сначала основа. CS25 не учит трансформер с нуля — это семинар. Перед ним пройдите урок 4.5.1 «Блок трансформера» и, по желанию, вводную лекцию сезона V2 от Андрея Карпатого или «Overview of Transformers» любого из сезонов V4–V6.

2. Дальше — по темам, а не по порядку. Ниже для каждого доклада указано, к какой ступени он относится. Смотрите доклад после соответствующего урока: так он воспринимается как продолжение, а не как поток новых слов.

3. Читайте статью докладчика. Почти каждый доклад пересказывает свою статью; ссылка обычно в описании видео. Как читать статьи — урок 9.2.2.

Сезон V6 — весна 2026

Девять записей (апрель — май 2026), тема сезона — архитектуры за пределами «чистого» трансформера, масштабирование, обобщение и применение.

Доклад	О чём	Ступень
Overview of Transformers	Вводная лекция организаторов: внимание, блок трансформера, история	4.5
From Representation Learning to World Modeling	От обучения представлений к моделям мира	9.2
On the Tradeoffs of State Space Models and Transformers (Альберт Гу)	Модели пространства состояний (Mamba) против внимания: что каждая архитектура делает хорошо	5.5.3
The Ultra-Scale Talk: Scaling Training to Thousands of GPUs (Нуаман Тази, Hugging Face)	Параллелизм данных, тензорный, конвейерный, ZeRO — по «Ultra-Scale Playbook»	5.7.4
From Next-Token Prediction to Next-Generation Intelligence	Цели обучения за пределами предсказания следующего токена, явные рассуждения в предобучении	6.4
Distinct Modes of Generalization from Parameters and Context	Чем знания «в весах» отличаются от обучения в контексте	9.3.1
AI Agents for Science and Medicine	Агенты для научных и медицинских задач	8.3
From Language Models to Native Multimodal Intelligence	Нативно мультимодальные модели	9.1.1
Serving Transformers: Lessons from Production Inference	Инференс в продакшене: батчинг, KV-кэш, задержки	7.1.2

Сезон V5 — весна 2025 (неполный список)

Доклад	О чём	Ступень
Overview of Transformers	Вводная лекция сезона	4.5
Large Language Model Reasoning (Денни Чжоу, Google DeepMind)	Как языковые модели рассуждают: цепочки рассуждений, самосогласованность и что ещё улучшает рассуждения	6.4
On the Biology of a Large Language Model (Джош Батсон, Anthropic)	Трассировка «схем» внутри модели, механистическая интерпретируемость	9.3.1
RL as a Co-Design of Product and Research (Карина Нгуен)	Обучение с подкреплением в создании продуктов на LLM	6.3
Transformers in Diffusion Models for Image Generation and Beyond (Саяк Пол, Hugging Face)	Трансформеры в диффузионных моделях (DiT, Stable Diffusion 3)	9.1.2

Сезон V4 — весна 2024 (неполный список)

Доклад	О чём	Ступень
Overview of Transformers	Вводная лекция сезона	4.5
Jason Wei & Hyung Won Chung of OpenAI	Масштабирование, эмерджентные способности, что меняется с ростом вычислений	5.1
Hyung Won Chung of OpenAI	Отдельный доклад Хён Вон Чона	5.1
Aligning Open Language Models	История выравнивания открытых моделей: ShareGPT, LLM как судья, Zephyr, DPO	6.3.3
Demystifying Mixtral of Experts (Альберт Цзян, Mistral AI)	Как устроена смесь экспертов в Mixtral и что делает маршрутизатор	5.3
Transformers that Transform Well Enough to Support Near-Shallow Architectures	Взгляд из математики и физики на глубину и устройство трансформеров	4.5.3

Сезон V3 — осень 2023

Доклад	О чём	Ступень
Low-level Embodied Intelligence w/ Foundation Models	Фундаментальные модели для управления роботами	9.2
Generalist Agents in Open-Ended Worlds	Агенты-универсалы в открытых мирах (например, Minecraft)	8.3
How I Learned to Stop Worrying and Love the Transformer	Почему трансформер стал универсальной архитектурой	4.5
Recipe for Training Helpful Chatbots	Рецепт дообучения чат-моделей: SFT, предпочтения, оценка	6.1
No Language Left Behind: Scaling Human-Centered Machine Translation	Перевод для 200 языков, включая малоресурсные	4.2
Beyond LLMs: Agents, Emergent Abilities, Intermediate-Guided Reasoning, BabyLM	Агенты, эмерджентность, промежуточные рассуждения, обучение на «детском» объёме данных	6.4
Retrieval Augmented Language Models	Языковые модели с поиском (RAG)	8.2

Сезон V2 — зима 2023

Доклад	О чём	Ступень
Introduction to Transformers (Андрей Карпатый)	Лучшая вводная лекция курса: от внимания до nanoGPT	4.6
Represent part-whole hierarchies in a neural network (Джеффри Хинтон)	Идея GLOM: иерархии «часть — целое» в нейросети	9.2
Language and Human Alignment	Выравнивание языковых моделей с людьми	9.3.3
Emergent Abilities and Scaling in LLMs	Эмерджентные способности при масштабировании	5.1
Strategic Games	Трансформеры в стратегических играх	6.0
Robotics and Imitation Learning	Роботы и обучение подражанием	9.2
Common Sense Reasoning	Здравый смысл и рассуждения	6.4
Biomedical Transformers	Трансформеры в биомедицине	9.2
Neuroscience-Inspired Artificial Intelligence	ИИ, вдохновлённый нейронаукой	9.2

Сезон V1 — осень 2021

Доклад	О чём	Ступень
Transformers United: DL Models that have revolutionized NLP, CV, RL	Вводная лекция первого сезона	4.5
Transformers in Language: The development of GPT Models, GPT-3	Путь от GPT к GPT-3 и обучение в контексте	4.6
Transformers in Vision: Tackling problems in Computer Vision	Визуальные трансформеры (ViT)	9.1.1
Decision Transformer: Reinforcement Learning via Sequence Modeling	RL как предсказание последовательности	6.0
Mixture of Experts (MoE) paradigm and the Switch Transformer	Разреженные смеси экспертов	5.3
DeepMind’s Perceiver and Perceiver IO	Архитектура для входов любой модальности	9.1
Self Attention and Non-parametric transformers (NPTs)	Внимание между примерами датасета	4.4.2
Transformer Circuits, Induction Heads, In-Context Learning	Механистическая интерпретируемость, индукционные головы	9.3.1
Audio Research: Transformers for Applications in Audio, Speech, Music	Трансформеры для звука, речи и музыки	9.1.5

С чего начать, если времени мало

Если вы на ступени	Смотрите
4 (трансформер)	V2 «Introduction to Transformers» (Карпатый)
5 (масштабирование)	V6 «The Ultra-Scale Talk», V4 «Demystifying Mixtral of Experts»
6 (постобучение)	V4 «Aligning Open Language Models», V5 «Large Language Model Reasoning»
9 (передний край)	V5 «On the Biology of a Large Language Model», V6 «On the Tradeoffs of State Space Models and Transformers»

Словарик

EN	RU
seminar, invited talk	семинар, приглашённый доклад
emergent abilities	эмерджентные способности
state space model (SSM)	модель пространства состояний
induction heads, in-context learning	индукционные головы, обучение в контексте
world model	модель мира