«Большие языковые модели» (RUC AI Box): путеводитель по книге, слайдам и коду

«Большие языковые модели» (Large Language Models) — самый известный китайский учебник по LLM. Его написала группа RUC AI Box профессора Чжао Синя из Жэньминьского университета Китая — те же люди, что в марте 2023 года выпустили обзор «A Survey of Large Language Models» (arXiv 2303.18223), одну из самых цитируемых статей о больших моделях. Книга выросла из этого обзора, но написана иначе: обзор гонится за передним краем науки, а книга задумана как учебник для начинающих — с единой системой обозначений, примерами расчётов и кусками кода. Сами авторы адресуют её читателю, который уже знает основы глубокого обучения: старшим бакалаврам и магистрантам.

Почему здесь пересказ, а не перевод

У книги, слайдов и кода нет открытой лицензии: PDF свободно лежит на GitHub для чтения, но права принадлежат авторам и издательству «Высшее образование» (Higher Education Press). Поэтому на этой и следующих трёх страницах — только пересказ своими словами, наши расчёты и ссылки на первоисточник; картинки, таблицы и код книги мы не копируем. Конспекты: главы 4–6, главы 7–9, главы 10–12.

Коротко

• Что это. Систематический учебник по полному циклу LLM: данные → архитектура → предобучение → SFT → выравнивание → декодирование и сжатие → промптинг → агенты → оценка → приложения. Около 390 страниц, 14 глав в пяти частях.
• Чем ценен для нас. В одном месте и в одних обозначениях собрано то, что в нашем курсе разнесено по ступеням 4–9. Особенно сильны «инженерные» разделы: подсчёт параметров, FLOPs и видеопамяти (§6.4), анализ скорости декодирования (§9.2), эксперименты авторов по SFT и LoRA на своей модели YuLan (§7.4).
• Чего в нём нет. Книга закончена весной–летом 2024 года, поэтому рассуждающих моделей (o1, DeepSeek-R1) в ней нет. Их авторы догнали слайдами 2025 года — «GPT и DeepSeek» и «Сложные рассуждения и медленное мышление» (пересказ последних — на странице про главы 10–12).
• Язык. Простой технический китайский, термины почти всегда даны и по-английски в скобках. Словарик внизу страницы снимает большую часть трудностей.

Что лежит в репозитории

Репозиторий LLMBook-zh/LLMBook-zh.github.io — он же сайт книги llmbook-zh.github.io:

Что	Где	Комментарий
PDF книги	LLMBook.pdf	электронная версия; авторы предупреждают, что бумажное издание местами исправлено и дополнено
Слайды	slides/	24 PDF к восьми занятиям и двум дополнительным темам (таблица ниже)
Код	code/	23 коротких файла с примерами из глав 4–9
Видео	плейлист на Bilibili	записи занятий по этим слайдам (мы их не смотрели — Bilibili недоступен из нашей среды)
Исходные PPT	по письму с институтского адреса	только для преподавателей, которые взяли книгу основным учебником; распространять запрещено

Плюс у группы есть два связанных проекта, на которые книга постоянно ссылается: собственная модель YuLan-Chat-3 (12 млрд параметров, обучена с нуля на 1,68 трлн токенов, веса открыты) — на её примере разобраны данные, SFT и эксперименты; и библиотека LLMBox для обучения и оценки моделей (в ней есть, например, калькулятор видеопамяти и оценка с кэшированием общих префиксов).

Карта книги и уроков курса

Часть и глава	О чём	Уроки курса	Наш конспект
I. 1 «Введение»	четыре поколения языковых моделей, свойства LLM, ключевые технологии	4.1.1	ниже
I. 2 «Основы»	этапы построения, законы масштабирования, эмерджентные способности, история GPT	5.1.1	ниже
I. 3 «Ресурсы»	открытые модели и API, корпуса для предобучения и дообучения, DeepSpeed, Megatron-LM	4.6.5	ниже
II. 4 «Подготовка данных»	источники, фильтрация, дедупликация, токенизация, смеси и расписания данных	5.1.2, 4.2.2	главы 4–6
II. 5 «Архитектура»	Transformer, нормализация, активации, позиционные кодировки, внимание, MoE, длинный контекст, SSM	4.5.3, 5.2.1, 5.3.1	главы 4–6
II. 6 «Предобучение»	задачи предобучения, гиперпараметры, 3D-параллелизм, ZeRO, подсчёт параметров, FLOPs и памяти	5.4.3, 5.4.1	главы 4–6
III. 7 «Инструктивное дообучение»	сбор инструкций, стратегии обучения, LoRA и родственники, эксперименты	6.1.2, 6.2.1	главы 7–9
III. 8 «Выравнивание»	критерии 3H, RLHF (данные, модель награды, PPO), DPO и другие методы без RL	6.3.2, 6.3.3	главы 7–9
IV. 9 «Декодирование и развёртывание»	стратегии декодирования, анализ скорости, ускорение, квантование, дистилляция, прунинг	7.1.1, 7.2.1	главы 7–9
IV. 10 «Промптинг»	ручные и автоматические промпты, обучение в контексте, цепочка рассуждений	8.1.2	главы 10–12
IV. 11 «Планирование и агенты»	планирование с обратной связью, устройство агента, мультиагентные системы	8.3.1, 8.3.3	главы 10–12
V. 12 «Оценка»	метрики, три способа оценки, базовые и продвинутые способности, MMLU/BIG-Bench/HELM/C-Eval	7.3.1, 7.3.2	главы 10–12
V. 13 «Приложения»	LLM в NLP, поиске, рекомендациях, мультимодальности, медицине, праве, финансах, науке	9.1.1	ниже
14 «Итоги»	открытые проблемы по пяти направлениям	9.2.1	ниже

Слайды: восемь занятий

Слайды короче книги и местами новее неё. Каждый файл — 10–50 слайдов на китайском, подписаны «авторский коллектив: Чжао Синь».

Занятие	Файлы в slides/	Главы книги
1. «Знакомство с большими моделями»	1.1 История языковых моделей; 1.2 Основы технологии; 1.3 GPT и DeepSeek	1–2 (+ новое)
2. «Архитектура»	2.1 Transformer; 2.2 Детальная конфигурация; 2.3 Длинный контекст и новые архитектуры	5
3. «Предобучение»	3.1 Инженерия данных; 3.2 Процесс предобучения; 3.3 Оптимизация и эффективность	4, 6
4. «Инструктивное дообучение»	4.1 SFT и типовые стратегии; 4.2 Облегчённое дообучение	7
5. «Выравнивание»	5.1 Основы; 5.2 Продвинутые методы	8
6. «Декодирование и развёртывание»	6.1 Декодирование; 6.2 Анализ эффективности и ускорение; 6.3 Сжатие моделей	9
7. «Промптинг»	7.1 Промпт-инжиниринг; 7.2 Обучение в контексте; 7.3 Цепочка рассуждений; 7.4 RAG	10 (+ RAG)
8. «Сложные рассуждения»	8.1 Планирование и агенты; 8.2 Сложные рассуждения и медленное мышление	11 (+ новое)
Дополнительно	«Ресурсы»; «Оценка»	3, 12

Мелочь в README

В таблице README ссылка «Оценка числа параметров и эффективности обучения» ведёт на тот же PDF занятия 3.3 («Предобучение: оптимизация обучения и эффективность»), что и соседняя: отдельного файла про подсчёт параметров нет, эта тема — внутри 3.3.

Как читать вместе с курсом

1. Не читайте подряд. Книга хороша как справочник «второго прохода»: прошли урок курса, руками собрали модель — откройте соответствующую главу и проверьте, не упустили ли вы что-то. Таблица выше — готовый маршрут.
2. Обязательно прочитайте §6.4 и §9.2. Это лучшие в книге разделы для инженера: как из конфигурации модели получить число параметров, FLOPs, время обучения и видеопамять, и почему декодирование упирается в пропускную способность памяти. Их разбор с нашими числами — в конспектах глав 4–6 и глав 7–9.
3. Код смотрите как иллюстрацию, а не как библиотеку. Файлы в code/ — это фрагменты из книги (RMSNorm, RoPE, ALiBi, MoE, слой LLaMA, LoRA, DPO, vLLM, GPTQ…), написаны под библиотеки 2024 года (transformers, peft, vllm с моделью LLaMA-2). Запускать их удобнее внутри наших заданий, чем по отдельности.
4. Для свежих тем держите рядом английский обзор. LLMSurvey обновляется дольше книги — в 2025 году туда добавили раздел о длинных цепочках рассуждений (данные для long CoT, RL-масштабирование, test-time scaling).
5. Читать по-китайски проще, чем кажется: почти каждый термин при первом появлении дан с английским эквивалентом в скобках, формулы — в привычных обозначениях. Пользуйтесь словариком ниже и словарём терминов d2l.

Главы 1–3 кратко

Глава 1. Введение

Авторы делят историю языковых моделей на четыре поколения: статистические (n-граммы, 1990-е; беда — разреженность и «проклятие размерности», которое лечили сглаживанием), нейронные (RNN-LM, word2vec; плотные векторы снимают разреженность), предобученные (ELMo, BERT, GPT-1/2; парадигма «предобучение → дообучение под задачу») и большие (GPT-3/4, ChatGPT; одна модель решает задачи без дообучения). Главная мысль главы: путь шёл от моделирования языка к решению задач.

Шесть отличительных свойств LLM по книге: много знаний о мире; общая способность решать задачи (предсказание следующего токена — по сути многозадачное обучение: в «3+4=7» спрятана арифметика, в «фильм был отличный» — анализ тональности); рассуждение; следование инструкциям; выравнивание с ценностями людей; использование инструментов. Ключевые технологии — масштабирование, инженерия данных, эффективное предобучение, «пробуждение способностей» (SFT, промптинг), выравнивание, инструменты.

Глава 2. Основы

Два этапа построения. Предобучение — «сжатие знаний о мире» (авторы ссылаются на слова Ильи Суцкевера), сотни GPU на месяцы для модели в десятки миллиардов параметров. Дообучение (SFT) и выравнивание — дешевле на порядки: по оценке книги, несколько серверов с 8×A100 за день-другой. Важная формулировка: SFT пробуждает способности, а не вкладывает новые знания.

Законы масштабирования. Книга называет закон Каплана и соавторов (OpenAI, 2020) KM — по первым буквам фамилий двух первых авторов. Он связывает кросс-энтропию (в натах) с числом неэмбеддинговых параметров $N$, токенов $D$ и вычислений $C$ степенными законами вида $L(N) = (N_c/N)^{\alpha_N}$ с $\alpha_N \approx 0{,}076$, $\alpha_D \approx 0{,}095$, $\alpha_C \approx 0{,}050$. Потерю полезно делить на неустранимую (энтропия самого текста) и устранимую: $L(x) = L_\infty + (x_0/x)^{\alpha_x}$.

Закон Chinchilla (DeepMind, 2022) моделирует обе переменные сразу:

$$L(N, D) = E + \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}},\qquad E = 1{,}69,\ A = 406{,}4,\ B = 410{,}7,\ \alpha = 0{,}34,\ \beta = 0{,}28.$$

Минимизируя её при бюджете $C \approx 6ND$, получаем $N_{\text{opt}} = G\,(C/6)^{a}$ и $D_{\text{opt}} = G^{-1}(C/6)^{b}$. По KM почти весь прирост бюджета надо отдавать параметрам ($a \approx 0{,}73$), по Chinchilla — делить поровну ($a \approx 0{,}46$, $b \approx 0{,}54$). Вывод авторов: ценность Chinchilla не в точных коэффициентах, а в том, что она показала недообученность прежних моделей (GPT-3: 175B параметров, всего 300B токенов), а сегодня маленькие модели учат на триллионах токенов — далеко за «оптимумом».

Ещё две темы главы: предсказуемое масштабирование (по маленьким моделям или по началу обучения предсказать итог; так делали в GPT-4) и спор об эмерджентных способностях — обучении в контексте, следовании инструкциям, пошаговом рассуждении. Авторы честно приводят контраргумент: «скачок» может быть артефактом разрывной метрики и редкой сетки размеров моделей, — но замечают, что пользователь и сам воспринимает качество дискретно: код либо проходит тесты, либо нет.

Две неточности в главе 2 (PDF-версия)

1. Показатели в формуле (2.4) переставлены. В книге $a = \alpha/(\alpha+\beta)$, $b = \beta/(\alpha+\beta)$. Если честно взять производную (подставить $D = C/(6N)$ и приравнять производную по $N$ к нулю), выйдет $N^{\alpha+\beta} \propto (C/6)^{\beta}$, то есть $a = \beta/(\alpha+\beta) \approx 0{,}45$ и $b = \alpha/(\alpha+\beta) \approx 0{,}55$ — что и совпадает с числами 0,46 и 0,54, которые книга приводит строкой ниже.
2. «Данных примерно в пять раз больше параметров» — так в тексте описано соотношение Chinchilla. Но сама же книга пишет: 70B параметров и около 1,4T токенов, то есть ≈20 токенов на параметр. Правило «20×» — общепринятое.

История GPT (§2.4) — от GPT-1 (декодер, предобучение + дообучение) через GPT-2 («все задачи — предсказание слова»), GPT-3 (обучение в контексте), Codex и WebGPT к InstructGPT (RLHF), ChatGPT и GPT-4. Слайд 1.3 2025 года продолжает её o1 и o3 и добавляет линию DeepSeek: собственный фреймворк обучения HAI-LLM (2023), анализ законов масштабирования с учётом качества данных в DeepSeek LLM, внимание MLA в V2, GRPO в DeepSeekMath, MTP и FP8-обучение в V3 (671B параметров, из них 37B активных, 14,8T токенов, 2,788 млн GPU-часов H800) и четырёхэтапный рецепт R1. Объяснение авторов, почему DeepSeek прогремел: догонять GPT-4 китайским лабораториям пришлось больше года, а o1 удалось воспроизвести намного быстрее, и модель открыта.

Глава 3. Ресурсы

Справочная глава: открытые модели (LLaMA и её «зоопарк» дообученных вариантов, Qwen, ChatGLM, Baichuan, Mistral и др.), публичные API, корпуса предобучения (веб: Common Crawl, C4, RefinedWeb, WanJuan…; книги; Википедия; код; смешанные — Pile, ROOTS, RedPajama, Dolma), наборы для SFT и выравнивания, библиотеки Hugging Face, DeepSpeed и Megatron-LM. Списки 2024 года уже устарели — актуальную картину смотрите в уроке 4.6.5 и уроке 5.1.2, а у главы берите классификацию источников: она не устаревает.

Главы 13–14 кратко

Глава 13 «Приложения» — обзор двух типов: в исследованиях (классический NLP, где LLM часто заменяет специальные модели; информационный поиск — LLM помогает поиску, размечая обучающие данные и переранжируя документы, а поиск снабжает LLM контекстом; рекомендательные системы; мультимодальные модели; модели, усиленные графами знаний) и в предметных областях (медицина, образование, право, финансы, наука). Для курса полезнее всего разделы про поиск (продолжение RAG) и мультимодальность (урок 9.1.1). В README авторы отмечают, что главы о приложениях в бумажном издании нет — она осталась только в электронной версии.

Глава 14 «Итоги» перечисляет открытые вопросы по пяти направлениям: принципы (почему простое предсказание следующего токена даёт общие способности; утечка тестов в обучающие данные), архитектура (дорогое обучение и медленный вывод Transformer, модели плохо используют длинный контекст, мало альтернатив декодеру), обучение (нужна «система, построенная вокруг данных»; выводы маленьких моделей не всегда переносятся на большие; редактирование знаний), использование (почему хороший промпт работает; стоимость вывода; RAG зависит от умения модели читать длинный контекст), безопасность и выравнивание (галлюцинации, вредные ответы). Сравните этот список 2024 года с обзором переднего края 2026: какие пункты уже закрыты?

Что сделать руками

1. Проверьте формулу Chinchilla. Напишите функцию, которая по бюджету $C$ находит $N_{\text{opt}}$ и $D_{\text{opt}}$ (численно — перебором $N$ по логарифмической сетке, $D = C/(6N)$ — или по исправленной формуле с $G = \left(\frac{\alpha A}{\beta B}\right)^{1/(\alpha+\beta)} \approx 1{,}345$). Для бюджета самой Chinchilla $C = 6 \cdot 70\cdot 10^9 \cdot 1{,}4\cdot 10^{12} \approx 5{,}9\cdot 10^{23}$ у нас вышло $N_{\text{opt}} \approx 32$ млрд и $D_{\text{opt}} \approx 3{,}0$ трлн — то есть ≈93 токена на параметр, а не 20. Это известная странность: опубликованные коэффициенты третьего способа подгонки плохо согласуются с двумя другими (её разбирали в повторной проверке Chinchilla, Besiroglu et al., 2024). Хорошая иллюстрация главы 2: точные коэффициенты хрупки, качественный вывод — устойчив.
2. Где GPT-3 на этой кривой? Подставьте $N = 175\cdot 10^9$, $D = 300\cdot 10^9$: $L \approx 2{,}00$. При том же бюджете ($\approx 3{,}2\cdot 10^{23}$) оптимум по формуле — модель ≈25B на ≈2,1T токенов с $L \approx 1{,}95$.
3. Найдите в code/ реализацию RMSNorm и RoPE и сравните со своими из урока 4.5.3: чем отличаются способы задать частоты?

Словарик

English	Русский
large language model, LLM	большая языковая модель
pre-training	предобучение
instruction tuning	инструктивное дообучение (SFT)
human alignment	выравнивание с человеком
scaling law	закон масштабирования
emergent ability	эмерджентная способность
in-context learning, ICL	обучение в контексте (ICL)
chain-of-thought, CoT	цепочка рассуждений (CoT)
token	токен
compute	вычислительные мощности
irreducible loss	неустранимая потеря
slow thinking	«медленное мышление» (рассуждающие модели)
slides, courseware	слайды, учебные материалы к занятию
agent	агент