LLM Course от Hugging Face: путеводитель

Что это и для кого

LLM Course — бесплатный курс от создателей библиотеки transformers. Раньше он назывался NLP Course и учил классической обработке текста: токенизаторы, классификация, перевод. В 2025 году его переработали и добавили главы о больших языковых моделях: подготовка данных, дообучение с LoRA, оценка, рассуждающие модели и GRPO. Курс практический: почти каждый раздел — это код, который запускается в Google Colab или у вас на машине.

Исходники курса лежат на GitHub в репозитории huggingface/course под лицензией Apache-2.0: каждая глава — папка chapters/<язык>/chapterN, каждый раздел — файл .mdx.

Сам курс говорит о себе так: он требует хорошего знания Python, его лучше проходить после вводного курса по глубокому обучению, а знание PyTorch не обязательно, хотя и поможет. В программе ChinaAI это соответствует моменту, когда вы прошли ступени 0–3 и начали ступень 4.

Что уже есть на русском

Кратко

• Главы 0–9 перевело на русский сообщество Hugging Face. Перевод лежит в самом репозитории курса: chapters/ru, на сайте — huggingface.co/course/ru/chapter1/1. Переводчики — @pdumin, @svv73, @blademoon.
• Главы 10–12 Hugging Face на русский не переводил. Их полный перевод — у нас, на пяти страницах (ссылки ниже).
• Несколько разделов, которые Hugging Face дописал в главы 1–3 и 5 после русского перевода, остались только на английском — их список в конце таблицы.

Мы проверили содержимое папки chapters/ru (состояние репозитория на 23 сентября 2026 года):

Глава	Русский перевод Hugging Face	Чего нет по сравнению с английской версией
0. Установка	есть (раздел 0.1)	—
1. Трансформеры	есть, разделы 1.1–1.10	переведена старая редакция главы. В новой английской разделы о кодировщиках, декодировщиках и seq2seq (1.5–1.7) слиты в «Архитектуры трансформеров», добавлены «Как 🤗 Transformers решают задачи» и «Инференс LLM»
2. Использование 🤗 Transformers	есть, 2.1–2.8	нет нового раздела 2.8 «Оптимизированное развёртывание для инференса» (TGI, vLLM, llama.cpp)
3. Fine-tuning предобученной модели	есть, 3.1–3.6	нет нового раздела 3.5 «Как читать кривые обучения»
4. Hugging Face Hub	есть, 4.1–4.6	—
5. Библиотека 🤗 Datasets	есть, кроме 5.5	нет раздела 5.5 «Создаём собственный датасет» (сбор issues с GitHub)
6. Библиотека 🤗 Tokenizers	есть, 6.1–6.10	—
7. Основные задачи NLP	есть, 7.1–7.9	—
8. Как попросить о помощи	есть, 8.1–8.7	—
9. Создание и распространение демо (Gradio)	есть, 9.1–9.9	—
10. Качественные датасеты с Argilla	нет	переведено у нас
11. Дообучение LLM	нет	переведено у нас
12. Рассуждающие модели	нет	переведено у нас

Кроме глав, в русской папке есть страницы о событиях курса и глоссарий переводчиков — полезно сверять с ним термины.

Где русский перевод отстаёт

Русские главы 1–3 переведены до переработки 2025 года. Они по-прежнему верны и полезны, но примеры в них местами используют старые модели и старые версии библиотек, а варианты кода для TensorFlow, которые есть в русских главах 2–3, из новой английской редакции убраны. Если код из русской главы не запускается, откройте тот же раздел английской версии: там код обновлён.

Наши переводы глав 10–12

Страница	Что внутри	Разделы оригинала
Глава 10: качественные датасеты с Argilla	Разметка датасетов людьми: развернуть Argilla, загрузить данные, разметить, выгрузить на Hub	10.1–10.7
Глава 11: дообучение LLM	Chat-шаблоны, SFT в SFTTrainer, LoRA через PEFT, оценка в lighteval, экзамен	11.1–11.7
Глава 12, часть 1: RL для LLM и DeepSeek-R1	Что такое RL для языковых моделей, RLHF, статья DeepSeek-R1, идея GRPO	12.1–12.3
Глава 12, часть 2: математика GRPO	GRPO по формулам: группы, преимущество, клиппинг, KL, код на PyTorch	12.3b
Глава 12, часть 3: GRPO в TRL и практика	GRPOTrainer, функции награды, практикум с SmolLM, практикум с Unsloth на GSM8K	12.4–12.7

Переводы полные: переведён весь текст, комментарии в коде и тесты. Где оригинал ошибается или устарел (особенно в коде TRL), стоят примечания переводчика с исправлениями.

Карта курса и связь с уроками ChinaAI

Глава	О чём	Где читать по-русски	К каким урокам	Важность
0. Установка	Colab, виртуальное окружение, установка transformers	ru/chapter0	0.1.2 Python-окружение	можно пропустить
1. Трансформеры	Что умеют трансформеры, pipeline(), кодировщики и декодировщики, ограничения и предвзятость	ru/chapter1	4.5.1, 4.5.4	★★ обзор перед 4.5
2. Использование 🤗 Transformers	Что внутри pipeline: токенизатор → модель → постобработка; AutoModel, батчи и паддинг	ru/chapter2	4.5.4, 4.2.3	★★★
3. Fine-tuning предобученной модели	datasets → Trainer → свой цикл обучения с Accelerate	ru/chapter3	4.5.4, 4.6.3	★★★
4. Hugging Face Hub	Скачать и выложить модель, карточка модели	ru/chapter4	4.5.4, 4.6.5	★★
5. Библиотека 🤗 Datasets	Свои файлы, map и filter, потоковая загрузка больших данных, семантический поиск через FAISS	ru/chapter5	5.1.2, 8.2.1	★★
6. Библиотека 🤗 Tokenizers	Обучить токенизатор; BPE, WordPiece и Unigram своими руками	ru/chapter6	4.2.2, 4.2.3	★★★
7. Основные задачи NLP	Классификация токенов, дообучение MLM, перевод, суммаризация, обучение GPT-2 с нуля, ответы на вопросы	ru/chapter7	4.5.4, 4.6.2	★★ выборочно
8. Как попросить о помощи	Читать трассировку ошибки, отлаживать обучение, писать хорошие issue	ru/chapter8	0.2.5 Ошибки и отладка	★★ раздел 8.4
9. Демо на Gradio	Интерфейс к модели за несколько строк, публикация в Spaces	ru/chapter9	8.4.3 Деплой	★ по желанию
10. Argilla	Разметка и чистка датасетов людьми	наш перевод	6.1.2, 6.3.3, 7.3.1	★★
11. Дообучение LLM	Шаблоны, SFT, LoRA, оценка	наш перевод	6.1.1, 6.1.2, 6.2.1, 6.2.2, 7.3.2	★★★
12. Рассуждающие модели	RL, DeepSeek-R1, GRPO, практикумы	наш перевод: ч. 1, ч. 2, ч. 3	6.3.1, 6.4.1, 6.4.2, 6.4.5	★★★

Разделы, которые есть только в новой английской редакции (Hugging Face их на русский не переводил):

Раздел	О чём	Ближайший урок ChinaAI
1.5 How 🤗 Transformers solve tasks	Как устроены модели под разные задачи: генерация, классификация, QA, перевод, а также речь (Whisper) и зрение (ViT)	4.5.4, 9.1.1
1.6 Transformer Architectures	Кодировщики, декодировщики, seq2seq и как выбрать архитектуру; виды внимания (LSH, локальное)	4.5.1, 4.5.3
1.8 Inference with LLMs	Prefill и decode, стратегии сэмплирования, beam search, KV-кэш, метрики скорости	4.6.4 KV-кэш, 7.1.1
2.8 Optimized Inference Deployment	Сравнение TGI, vLLM и llama.cpp, запуск сервера и запросы к нему	7.1.2, 7.2.2
3.5 Understanding Learning Curves	Как читать кривые loss и accuracy: переобучение, недообучение, ранняя остановка	3.4.2, 6.2.2
5.5 Creating your own dataset	Собрать датасет из issues GitHub через API, почистить, выложить на Hub с карточкой	5.1.2

Всё, о чём говорят эти разделы, разобрано в указанных уроках ChinaAI подробнее, поэтому их отсутствие на русском почти не мешает. Если хотите прочитать оригинал, включите автоперевод страницы в браузере: текст простой, без формул.

В каком порядке читать вместе с курсом ChinaAI

flowchart TD
A["Ступень 4.2: токенизация"] --> A1["Гл. 6: Tokenizers (RU)"]
B["Ступень 4.5: трансформер, урок 4.5.4"] --> B1["Гл. 1–4 (RU)"]
B1 --> B2["Гл. 7: задачи NLP (RU), выборочно"]
C["Ступень 6.1–6.2: SFT и LoRA"] --> C1["Гл. 11 (наш перевод)"]
C1 --> C2["smol course, юнит 1"]
D["Ступень 6.3: предпочтения, DPO"] --> D1["Гл. 10: Argilla (наш перевод)"]
D --> D2["smol course, юнит 2: DPO"]
E["Ступень 6.4: рассуждения, GRPO"] --> E1["Гл. 12, ч. 1–3 (наш перевод)"]
F["Ступень 7.3: оценка"] --> F1["Гл. 11.5: оценка"]

Какие главы читать на каких ступенях курса

1. Ступень 4, перед уроком 4.5.4. Прочитайте по-русски главы 1–4. Это около 6–8 часов: вы научитесь загружать модели с Hub, токенизировать текст, дообучать небольшую модель через Trainer и выкладывать результат. Урок 4.5.4 повторяет этот цикл на русском энкодере и объясняет, что происходит внутри.

2. Ступень 4, урок 4.2. Глава 6 (Tokenizers) — лучший практикум по токенизаторам: BPE, WordPiece и Unigram собираются руками, по шагам. Читайте вместе с уроками 4.2.2 и 4.2.3.

3. Ступень 4, по желанию. Из главы 7 полезны разделы 7.2 (классификация токенов), 7.3 (дообучение MLM) и 7.6 (GPT-2 с нуля на коде Python) — последний хорошо дополняет модуль 4.6. Главы 5, 8 и 9 читайте, когда понадобятся.

4. Ступень 6, модули 6.1–6.2. Глава 11 — практическая пара к урокам о SFT и LoRA. Наш урок 6.2.2 даёт готовый скрипт под машину с 4 GPU, глава 11 — тот же путь в Colab.

5. Ступень 6, модуль 6.3. Глава 10 — о том, откуда берутся хорошие данные, в том числе пары предпочтений для DPO. Сам DPO на практике — в юните 2 smol course.

6. Ступень 6, модуль 6.4. Глава 12 целиком: сначала популярное введение (часть 1), потом формулы (часть 2, вместе с уроком 6.4.1), потом практика в TRL (часть 3, вместе с уроком 6.4.5).

7. Ступень 7, модуль 7.3. Раздел 11.5 об оценке моделей в lighteval — к урокам 7.3.1 и 7.3.2.

Как запускать код курса

• Google Colab. У каждого раздела с кодом есть ноутбук: кнопка «Open in Colab» на странице курса. Ноутбуки лежат в репозитории huggingface/notebooks, папка course/. Главы 1–9 работают на бесплатной GPU, а многое — и на CPU.
• Ваша машина (4×RTX 4080). Заведите отдельное окружение (урок 0.1.2) и поставьте pip install transformers datasets evaluate accelerate, для глав 11–12 — ещё trl peft. Модели глав 1–9 (BERT, DistilBERT, GPT-2, T5-small) обучаются на одной GPU за минуты. В главах 11–12 используются SmolLM2 (135M–1.7B) и Gemma 3 1B — для них хватит одной вашей карты.
• Сертификаты. Hugging Face выдаёт сертификаты за прохождение глав курса через тесты на Hub (ссылки — в английских разделах «Certification exam» и «Exam Time!»). Для учёбы по ChinaAI они не нужны.

Другие курсы Hugging Face в разделе «Переводы»

Курс	Наши страницы	Ступень ChinaAI
Deep RL Course	юнит 1 и следующие	6.0
Diffusion Models Course	перевод юнитов 1–4	9.1
smol course	путеводитель, юнит 2: DPO, юнит 3: VLM	6.1–6.3, 9.1
MCP Course	путеводитель и перевод юнитов 1–2	8.3
Agents Course	путеводитель по русским юнитам	8.3

Словарик

English	Русский
pipeline	конвейер (pipeline() — функция «всё в одном»)
checkpoint	чекпойнт (сохранённые веса модели)
model card	карточка модели
fine-tuning	дообучение (fine-tuning)
encoder / decoder / sequence-to-sequence	кодировщик (энкодер) / декодировщик (декодер) / seq2seq
masked language modeling (MLM)	маскированное языковое моделирование
causal language modeling	каузальное (авторегрессионное) языковое моделирование
token classification	классификация токенов
learning curve	кривая обучения
inference	инференс (применение обученной модели)