Перейти к содержимому

Библиотека источников

Лучшие курсы, книги, репозитории и статьи по ИИ и LLM на китайском, английском и русском — с уровнем, лицензией и ступенью курса, на которой они пригодятся.

Курс ChinaAI стоит на плечах чужих хороших материалов. Здесь собраны первоисточники, которые мы считаем лучшими на трёх языках. У каждого указано, чему он учит, насколько он сложный, на какой ступени курса пригодится и что разрешает его лицензия.

Библиотека не заменяет уроки. Уроки ведут вас по одному маршруту без пропусков, а библиотека нужна, когда хочется копнуть глубже, посмотреть ту же тему глазами другого автора или прочитать оригинал статьи.

  • Уровень. 🟢 — можно с нуля. 🟡 — нужна база: Python, NumPy, PyTorch (ступени 0–3). 🔴 — продвинутый, после ступени 5. Стрелка 🟢→🟡 значит, что материал начинается просто и постепенно усложняется.
  • Лицензия → что можно.
    • ✅ Свободная (MIT, Apache-2.0, CC BY): можно переводить, адаптировать и копировать код, указав автора.
    • ♻️ CC BY-SA: можно переводить; производная работа выходит под той же лицензией.
    • ⚠️ CC BY-NC-SA: переводить можно только некоммерчески и под той же лицензией.
    • 🔗 Нет лицензии, ND или закрытый материал: только ссылка и пересказ своими словами.
  • Ступень. Целое число — ступень курса, число с точкой — модуль (5.2 — «Эффективное внимание»). Карта ступеней — на странице «Карта курса и прогресс».
  • Пометки проверки. Лицензии репозиториев GitHub проверены по файлам LICENSE и README 03.10.2026. (п) — адрес взят из поисковой выдачи, сайт напрямую не открывался. [?] — факт не подтверждён первоисточником.
  • Незнакомые слова (SFT, LoRA, GRPO, MoE…) ищите в глоссарии. Подробно их объясняют уроки той ступени, которая указана в таблице, так что пугаться аббревиатур в описаниях не нужно.

Если хочется второго объяснения той же темы, начните с левой колонки. Правая — для тех, кто хочет копнуть глубже. Все источники из таблицы подробно описаны ниже.

СтупеньПараллельно с урокамиГлубже
0. Инструменты и PythonХендбук Яндекса по Python; «Изучаем Python с умом» (Datawhale)MIT Missing Semester — терминал и Git
1. МатематикаХендбук Яндекса по математике; d2l-zh, гл. 2 «Предварительные знания»pumpkin-book; книга MML
2. Основы MLУчебник по ML от ШАД; leedl-tutorial («Яблочная книга»)mlcourse.ai; курс ML 2021 Ли Хунъи
3. НейросетиZero to Hero (micrograd); 3Blue1Brown, гл. 1–4; d2l-zh, гл. 4–5thorough-pytorch; CS231n
4. ТрансформерZero to Hero (makemore, GPT, токенизатор); курс Лены Войты; Джей Аламмарhappy-llm, гл. 1–2; LLMs-from-scratch Рашки; CS336, задание 1
5. Большие моделиMiniMind; статьи DeepSeek-V2 и DeepSeek-V3diy-llm; Ultra-Scale Playbook; блог kexue.fm
6. Пост-трейнингRLHF Book; HF LLM Course, гл. 11–12статьи DeepSeekMath и DeepSeek-R1; reasoning-from-scratch; easy-rl
7. Инференсnano-vllm; статьи vLLM и SGLangllm-algo-leetcode; Efficient DL Systems; GPT Week ШАД
8. Приложенияhello-agents; all-in-rag; HF Agents Course (есть по-русски)Alibaba ACP; MCP Course; llm-beginner, задачи 4–6
9. Фронтирстатьи 2025–2026 из раздела «Ключевые статьи»paper-reading Ли Му; издания «Цзици чжи синь» (Synced) и «Лянцзывэй» (QbitAI)
10. Выпускной проектMiniMind и nanochatзадания CS336 как образец строгого формата

Китайское сообщество выкладывает в открытый доступ удивительно много: полные книги, курсы с автопроверкой, проекты «LLM с нуля». Большинство написано на китайском, но читается машинным переводом вместе с нашим глоссарием. Как это делать — в уроке «Как читать китайские технические источники», а обзор экосистемы — в уроке «Образовательная экосистема Китая».

Datawhale — некоммерческое сообщество, у которого больше 200 открытых репозиториев, в основном учебных. Почти всё выходит под CC BY-NC-SA 4.0: переводить можно, но только некоммерчески и под той же лицензией. Самые ценные для нашего курса:

РесурсЧто внутриУровеньЛицензия → можноСтупень
happy-llm «Строим большую модель с нуля»NLP → Transformer → своя LLaMA2 на 215M: токенизатор, претрейн, SFT, LoRA; затем RAG, агенты и Agentic RL (GRPO). Есть онлайн-версия, PDF и слайды🟡CC BY-NC-SA 4.0 ⚠️4–6, хребет курса
hello-agents «Строим агентов с нуля»16 глав: ReAct, Plan-and-Solve и Reflection своими руками; Coze, Dify, n8n; AutoGen, AgentScope, LangGraph; память, RAG, context engineering, MCP и A2A; Agentic RL; дипломный проект. Сайт🟡CC BY-NC-SA 4.0 ⚠️8.3
self-llm «Открытые большие модели: инструкция по применению»Рецепты деплоя, LoRA и полного дообучения для десятков открытых моделей: Qwen, GLM, InternLM, DeepSeek, мультимодальные🟡Apache-2.0 ✅6.2, 7.2
all-in-ragВесь стек RAG: чанкинг, эмбеддинги, Milvus, гибридный поиск, Text2SQL, графовый RAG, оценка, проекты🟡CC BY-NC-SA 4.0 ⚠️ (указана в README)8.2
base-llmМост от NLP к LLM: Word2Vec, RNN, LSTM, attention, BERT, GPT, T5; Llama2 с нуля; PEFT, RLHF, квантование, деплой🟡CC BY-NC-SA 4.0 ⚠️ (README)4.3–4.5
diy-llmКитайская адаптация Stanford CS336: BPE, MoE, Triton, распределённое обучение, законы масштабирования, данные, GRPO; 6 заданий🔴CC BY-NC-SA 4.0 ⚠️ (README); права на задания CS336 — у Стэнфорда4–7, продвинутый трек
llm-algo-leetcode «Алгоритмы и системы больших моделей»Ноутбуки «условие → решение → тесты»: PyTorch → Triton → CUDA, инференс, квантование, параллелизм🔴текст CC BY 4.0 ✅, код Apache-2.0 ✅5.4, 7.1–7.2
tiny-universe«Белый ящик LLM»: Qwen2, RAG, агент и оценка, собранные руками🟡CC BY-NC-SA 4.0 ⚠️ (README)4.6, 8
llms-from-scratch-cnКнига Рашки на китайском плюс GLM4, Llama3 и RWKV6 с нуля🟡код MIT ✅ (по файлу LICENSE; бейдж в README говорит Apache-2.0); текст CC BY-NC-SA ⚠️; права на саму книгу — у издательства Manning4.6
so-large-lm «Основы больших моделей»Теория LLM по мотивам Stanford CS324🟡в README бейдж MIT, но файла LICENSE нет 🔗5
leedl-tutorial «Яблочная книга»Конспект курса ML 2021 Ли Хунъи (с частями курса 2017 года), рекомендованный самим лектором: от основ до CNN, Transformer, GAN и RL; PDF. В 2024 году издан на бумаге под названием «Глубокое обучение в подробностях»🟢CC BY-NC-SA 4.0 ⚠️2–3
leegenai-tutorialКонспект курса генеративного ИИ Ли Хунъи🟢CC BY-NC-SA 4.0 ⚠️4, 6
pumpkin-book «Тыквенная книга»Подробные выводы формул к «Арбузной книге» — классическому учебнику «Машинное обучение» Чжоу Чжихуа🟡CC BY-NC-SA 4.0 ⚠️1–2
easy-rl «Грибная книга»Обучение с подкреплением от MDP до PPO и TD3🟡CC BY-NC-SA 4.0 ⚠️6.3
thorough-pytorchPyTorch подробно, от тензоров до обучения🟢CC BY-NC-SA 4.0 ⚠️3.3
learn-python-the-smart-way-v2 «Изучаем Python с умом»Python для начинающих с уклоном в информатику и ИИ🟢CC BY-NC-SA 4.0 ⚠️0.2
math-for-ai «Математические основы искусственного интеллекта»Математика для ИИ; сейчас это в основном перевод книги MML на китайский🟡CC BY-NC-SA 4.0 в README, но права на саму книгу MML — у её авторов 🔗1
handy-ollamaЛокальный запуск моделей через Ollama🟢CC BY-NC-SA 4.0 ⚠️7.2
unlock-deepseekРазборы технологий DeepSeek🟡CC BY-NC-SA 4.0 ⚠️ (README)5, 6.4
zero-to-sglangСвой мини-SGLang; сделан вместе с командой SGLang (08.2026)🔴CC BY-NC-SA 4.0 ⚠️ (README)7.1
llm-universe «Разработка приложений на больших моделях своими руками»Разработка LLM-приложений для новичков: API, LangChain, база знаний, деплой🟢не указана 🔗8.1–8.2
llm-cookbookКурсы Эндрю Ына (DeepLearning.AI) на китайском; обновляется редко🟢CC BY-NC-SA в README, но права на исходные курсы — у DeepLearning.AI 🔗8.1 — лучше оригинал
РесурсЧто внутриУровеньЛицензия → можноСтупень
MiniMindLLM на 64M параметров. Минимальную версию (претрейн и SFT на мини-наборах данных) можно обучить с нуля примерно за 2,3 часа на одной RTX 3090. Чистый PyTorch: токенизатор, Dense и MoE, претрейн, SFT, LoRA, DPO, PPO/GRPO/CISPO, tool use и agentic RL, дистилляция, OpenAI-совместимый сервер. Есть README на английском🟡Apache-2.0 ✅5.6, 6, 10 — сквозной проект
MiniMind-VТо же для модели «зрение + язык»🟡Apache-2.0 ✅9.1
d2l-zh «Погружение в глубокое обучение» (Dive into Deep Learning), сайт zh.d2l.aiУчебник Ли Му и соавторов: от линейной регрессии до BERT, с ноутбуками и видео на Bilibili. Полного русского перевода нет🟢→🟡Apache-2.0 ✅2–4
llm-beginner «Большие модели и агенты» (Цю Сипэн, Фуданьский университет)Книга из 17 глав и 6 задач с автопроверкой: Transformer → mini-GPT с RoPE и KV-кэшем → LoRA, SFT, DPO → RAG → ReAct-агент → coding-агент. В каждой задаче есть промпт для ИИ-ревью кода. Образец формата наших ДЗ🟡MIT ✅ на репозиторий; права на текст книги уточнять [?]4–8
dive-into-llms «Большие модели своими руками» (SJTU)11 тем со слайдами и ноутбуками: дообучение, CoT, редактирование знаний, мини-R1, водяные знаки, jailbreak, GUI-агенты, безопасность агентов, RLHF-PPO🟡нет лицензии 🔗6, 8.3
Foundations-of-LLMs «Основы больших моделей» (ZJU)Учебник: языковые модели, архитектуры, промптинг, PEFT, редактирование моделей, RAG🟡CC BY-NC-ND 4.0 🔗 — переводить без разрешения нельзясправочно
«Большие языковые модели» (RUC AI Box), llmbook-zh.github.io, обзор LLMSurveyСистемная теория LLM от претрейна до агентов; обзор с огромным списком статей по темам🔴все права защищены, слайды прямо запрещено распространять 🔗справочно, 5–6
«Большие языковые модели: от теории к практике» (Фуданьский университет), intro-llm.github.ioБесплатный PDF; во 2-м издании добавлены мультимодальность, агенты и RAG🟡нет лицензии 🔗справочно
nndl «Нейронные сети и глубокое обучение» (Цю Сипэн)Классический учебник по нейросетям, 16 глав, плюс практикум🟡нет открытой лицензии 🔗3
Hands-on-RL «Обучение с подкреплением своими руками» (SJTU)Ноутбуки по RL: DQN → PPO → SAC🟡Apache-2.0 ✅6.3
AI-System (Microsoft Research Asia)Курс по системам ИИ на китайском с лабораторными🔴текст CC BY 4.0 ✅, код MIT ✅5.4, 7
AISystem (ZOMI)Чипы, компиляторы, инфраструктура LLM🔴Apache-2.0 ✅, код — MIT ✅5.4, 7
llm-actionИнженерия обучения и инференса LLM🔴Apache-2.0 ✅5.4, 7
paper-reading (Ли Му)Указатель видеоразборов ключевых статей🟡индекс Apache-2.0 ✅, видео — только ссылка 🔗9.2
align-anything (PKU)Фреймворк выравнивания моделей🔴Apache-2.0 ✅6.3
Lhy_Machine_LearningРешения ДЗ курсов Ли Хунъи прошлых лет. Открывайте только после своей попытки🟡нет лицензии 🔗2–3

Ли Хунъи из Национального университета Тайваня — самый популярный китайскоязычный лектор по машинному обучению. Лекции идут на YouTube и Bilibili. Домашние задания в его курсах проверяет автоматический лидерборд с порогами Simple / Medium / Strong / Boss — эту систему мы взяли для своих ДЗ. Открытой лицензии у курсов нет, поэтому мы даём только ссылки, а текстовой опорой служит конспект leedl-tutorial (см. выше).

КурсЧто внутриУровеньСтупень
ML 2021 SpringКлассический курс ML и DL, на нём построена «Яблочная книга»🟢→🟡2–4
GenAI 2024 Spring (п)Генеративный ИИ, рассчитан на новичков🟢0, 4, 8
ML 2025 Spring (п)Современный ML через LLM: ДЗ начинаются с агента и RAG, дальше Transformer, дообучение, диффузия🟡4–9
GenAI-ML 2025 Fall (п)10 ДЗ, среди них: базовый RAG, защита от вредоносных инструкций, дообучение LLM, забывание при дообучении, диффузия, синтез речи🟡6, 8, 9
ML 2026 Spring (п)Агенты, FlashAttention и KV-кэш, позиционные эмбеддинги, harness engineering, self-correction; HW1 — защита от prompt injection🟡→🔴5, 7, 8
РесурсЧто внутриУровеньЛицензия → можноСтупень
InternLM Camp — практический лагерь по большим моделям InternLM (Shanghai AI Lab)Лагерь с уровнями-«островами»: вход (Linux, Python, Git) → основы (промпты, RAG, дообучение в XTuner, оценка в OpenCompass) → продвинутый (агенты, MCP, квантование в LMDeploy, RL). Участникам дают бесплатные GPU. Наша система «островов» — оттуда🟢→🔴нет лицензии 🔗0–8
Alibaba Cloud ACPНоутбуки: промпты, RAG с автооценкой, дистилляция, мультиагентные системы, context engineering, Agent Skills, Qwen Code. Курс бесплатный, сертификация ACA/ACP платная🟡Apache-2.0 ✅8
modelscope-classroom13 глав и 114 статей: от глубокого обучения до агентов🟢→🟡Apache-2.0 ✅3–8
ms-cookbook «Фиолетовая книга ModelScope» (09.2026)Инференс, дообучение в ms-swift, оценка в EvalScope, RAG, агенты🟡Apache-2.0 ✅, кроме картинок6–8
step_into_llm (Huawei MindSpore)Курс по LLM на фреймворке MindSpore и чипах Ascend🟡Apache-2.0 ✅как пример формата
glm-cookbook (Zhipu)Примеры работы с API моделей GLM🟢Apache-2.0 ✅8.1
Baidu AI Studio, aistudio.baidu.com (п)Бесплатные курсы, GPU-кредиты, конкурсы; всё привязано к PaddlePaddle🟢закрытый контент 🔗низкий приоритет
РесурсЧто тамУровеньСтупень
«Научное пространство» (kexue.fm)Блог Су Цзяньлиня, автора RoPE: глубокие математические разборы позиционных кодировок, внимания, оптимизаторов🔴4.5, 5.5
Чжиху (Zhihu)Китайский аналог Quora и Хабра: разборы статей от инженеров лабораторий🟡5–9
«Цзици чжи синь» (Synced), «Лянцзывэй» (QbitAI)Новости и разборы новых моделей и статей🟡9.2
BilibiliВидео курсов d2l и Ли Хунъи, разборы статей, записи лагерей🟢все

Все эти источники — только для чтения и ссылок 🔗.


КурсЧто внутриУровеньЛицензия → можноСтупень
Stanford CS336 «Language Modeling from Scratch»: cs336.stanford.edu (п), задания5 заданий: BPE, трансформер и AdamW; системы (FlashAttention-2 на Triton, DDP/FSDP); законы масштабирования; данные; выравнивание (SFT и GRPO). Каждое задание — репозиторий с pytest. Лучший образец формата ДЗ🔴задания 1 и 2 — MIT ✅; у задания 5 файла лицензии нет 🔗; лекции — только ссылка4–7
CS224N, web.stanford.edu/class/cs224n (п)NLP с глубоким обучением; в открытом доступе плейлист 2024 года🟡🔗4
CS25, web.stanford.edu/class/cs25 (п)Семинар о трансформерах с приглашёнными докладчиками, без ДЗ🟡🔗9.2
CS231n, cs231n.stanford.edu (п)Компьютерное зрение; классические задания с backprop на NumPy🟡🔗3
CME 295 «Transformers & LLMs», cme295.stanford.edu (п)Сжатый обзор от токенизации до RLHF, рассуждений и агентов🟡🔗4–8
MIT 6.S191, introtodeeplearning.com (п), лабораторныеВводный курс по DL, лабораторные в Colab🟢код лабораторных — MIT с обязательной атрибуцией курса ✅3
MIT Missing Semester, missing.csail.mit.edu (п), китайский переводТерминал, Git, редактор, отладка — то, чему обычно не учат на курсах программирования🟢CC BY-NC-SA 4.0 ⚠️0.1
CMU 11-667, 2025.cmu-llms.org (п)Курс по LLM: силлабус и слайды🔴не указана [?] 🔗5–7
Berkeley Agentic AI MOOC, agenticai-learning.org/f25 (п)Лекции, квизы, лабораторные, сертификат🟡🔗8.3
РесурсЧто внутриУровеньЛицензия → можноСтупень
Neural Networks: Zero to Hero8 видеолекций с кодом: micrograd, makemore (5 частей), GPT, токенизатор. Отдельное видео — «Let’s reproduce GPT-2 (124M)»🟢→🟡MIT ✅3.2, 4.1, 4.2, 4.6
microgradАвтоград размером с одну страницу кода🟢MIT ✅3.2
minbpeМинимальный BPE-токенизатор🟡MIT ✅4.2
nanoGPTКлассическая минимальная GPT. Автор объявил её устаревшей и отсылает к nanochat🟡MIT ✅4.6
nanochat (10.2025)Полный конвейер: токенизатор → претрейн → SFT → RL → оценка → веб-чат. Работает на одной GPU с накоплением градиентов🔴MIT ✅5.6, 10
llm.cОбучение GPT-2 на чистом C и CUDA🔴MIT ✅5.4, 7.1
microgpt (02.2026)GPT примерно в 200 строк на чистом Python без зависимостей, со своим автоградом. Раз зависимостей нет, её можно запустить и в браузере. Опубликована как gist на GitHub🟡не указана [?] 🔗4.6
autoresearch (03.2026)Упрощённый nanochat на одну GPU, в котором агент сам ставит эксперименты: правит код, обучает 5 минут, оставляет или откатывает изменение🔴MIT по README (файла LICENSE нет) ✅10
Видео «Deep Dive into LLMs like ChatGPT» и «How I use LLMs» (2025)Первое — 3,5 часа о том, как устроены и обучаются LLM, без формул. Второе — о том, как пользоваться LLM в работе🟢🔗0.0, 6.1

Репозиторий LLM101n в архиве с 08.2024, курс так и не вышел — время на него не тратьте.

РесурсЧто внутриУровеньЛицензия → можноСтупень
LLM Course (сайт huggingface.co/learn/llm-course)Гл. 1–9: transformers, datasets, tokenizers, задачи NLP. Гл. 10–12: подготовка данных в Argilla, SFT и LoRA, оценка, рассуждения и GRPO в TRL. Русский перевод — гл. 0–9 (папка chapters/ru)🟡Apache-2.0 ✅4.2, 6
Agents Course, сайтsmolagents, LlamaIndex, LangGraph, agentic RAG; итоговый проект с автооценкой и лидербордом. Есть русский перевод (units/ru-RU)🟡Apache-2.0 ✅8.3
smol courseInstruction tuning, preference alignment, оценка, VLM, RL, синтетические данные🟡Apache-2.0 ✅6
MCP CourseModel Context Protocol, сделан вместе с Anthropic🟡Apache-2.0 ✅8.3
Smol Training Playbook, huggingfacetb-smol-training-playbook.hf.space (п)Как на самом деле шёл претрейн SmolLM3: абляции, отладка, смесь данных🔴не указана [?] 🔗5.1, 5.6
Ultra-Scale Playbook, huggingface.co/spaces/nanotron/ultrascale-playbook (п)5D-параллелизм, ZeRO, перекрытие вычислений и коммуникаций🔴не указана [?] 🔗5.4
РесурсЧто внутриУровеньЛицензия → можноСтупень
LLMs-from-scratch (Себастьян Рашка)GPT с нуля: данные, внимание, претрейн, классификация, instruction tuning; бонусы — Qwen3, Gemma, MoE, GQA. Есть русское издание (см. ниже)🟡код Apache-2.0 ✅; текст книги — Manning 🔗4.6, 6.1
reasoning-from-scratch (Рашка)Своя маленькая рассуждающая модель поверх готовой базовой: те же приёмы, что в DeepSeek-R1, в учебном масштабе🔴код Apache-2.0 ✅; книга — Manning 🔗6.4
d2l.ai, d2l-enАнглийская версия «Dive into Deep Learning»🟢→🟡текст CC BY-SA 4.0 ♻️, код — MIT без требования атрибуции ✅2–4
RLHF Book (Nathan Lambert), репозиторийГлавное по пост-обучению: предпочтения, reward-модели, PPO, DPO, RL с проверяемыми наградами; бесплатно онлайн🔴главы CC BY-NC-SA 4.0 ⚠️, код MIT ✅6.3–6.4
Chip Huyen «AI Engineering»Продакшн на LLM: оценка, RAG, агенты, инференс, мониторинг. Есть русское издание🟡книга платная 🔗7–8
mlabonne/llm-courseДорожная карта LLM-инженера и ноутбуки Colab🟡Apache-2.0 ✅4–8
labml.ai — аннотированные реализации, кодБольше 60 реализаций статей с построчными пояснениями🟡→🔴MIT ✅4–6
claude-cookbooksTool use, RAG, субагенты, оценка, кэширование промптов🟡MIT ✅8
Lilian WengБольшие обзорные посты: attention, RLHF, reward hacking, агенты🔴🔗4–8
Jay Alammar«The Illustrated Transformer», «The Illustrated GPT-2» и другие визуальные объяснения; есть русские переводы🟢CC BY-NC-SA 4.0 ⚠️ (п)4.3–4.5
Лена Войта, NLP Course For YouВизуальный курс NLP: эмбеддинги, seq2seq, attention, языковые модели🟢→🟡🔗4.1–4.4
3Blue1Brown — нейросетиГл. 1–7: что такое нейросеть, градиентный спуск и backprop, затем attention и трансформеры. Лучшая визуальная интуиция🟢🔗1, 3, 4.4
Mathematics for Machine Learning, mml-book.github.io (п)Линейная алгебра, анализ, вероятности для ML🟡PDF только для личного пользования 🔗1
fast.ai fastbookПрактический DL «сверху вниз»🟢код GPL-3, текст распространять запрещено 🔗3

На русском есть хорошая база по классическому ML и отдельные сильные курсы. Но нет сквозного пути «с нуля до своей LLM» с автопроверкой, нет системного материала по современному пост-обучению (GRPO, RL с проверяемыми наградами), инференсу и китайской экосистеме. Поэтому и появился этот курс.

РесурсЧто внутриУровеньЛицензия → можноСтупень
Учебник по ML от ШАД (п)От классического ML до глубокого обучения. Главы о трансформерах и языковых моделях доходят до GPT-3, InstructGPT и LLaMA — это уровень примерно 2023 года🟢→🟡бесплатно, открытой лицензии нет 🔗2–4
Хендбук по математике для анализа данных (п)Математическая база на русском🟢🔗1
Хендбук по Python (п)Python с нуля🟢🔗0.2
Курс NLP ШАД (Лена Войта и др.)Выпуск 2025 года, 14 недель: LLM, промптинг, PEFT и RLHF, эффективность, RAG, агенты, интерпретируемость, мультимодальность. Материалы на английском🟡→🔴MIT ✅4–8
Efficient DL Systems (ВШЭ и ШАД)GPU и CUDA, mixed precision, DDP, TP/PP, чекпоинтинг🔴MIT ✅5.4, 7.1
GPT Week ШАД, shad.yandex.ru/gptweek (п)Лекции создателей YandexGPT, в том числе «Ускорение инференса LLM» (2025)🟡🔗7.1
DLS МФТИ (п)Бесплатная школа глубокого обучения, два семестра: CV, затем NLP и аудио. Осенний поток — 5.09.2026–24.01.2027🟢→🟡🔗3–4
ODS.ai: NLP & LLMs, осень 2026 (п), LLM для новичков (п)Бесплатные курсы с дедлайнами. Содержание «LLM для новичков» не проверено [?]🟡🔗4–8
mlcourse.aiКлассический ML, есть русские ноутбуки🟢→🟡CC BY-NC-SA 4.0 ⚠️2
Karpov.Courses, karpov.courses (п)В основном платные курсы, есть курс по RAG и LLM-агентам; бесплатно — Python и Docker🟡🔗0, 8
Переводы Hugging FaceLLM Course (гл. 0–9) и Agents Course — см. раздел «Hugging Face» выше🟡Apache-2.0 ✅4, 6, 8
ХабрОтдельные сильные статьи: «DeepSeek-R1 для чайников» (AIRI), разборы GRPO, «От RLHF к DPO». Системной серии нет🟡🔗6
КнигаО чёмУровеньСтупень
Себастьян Рашка, «Строим LLM с нуля» (Питер, 2025) (п)Перевод «Build a Large Language Model (From Scratch)»: GPT от данных до instruction tuning; код — в репозитории LLMs-from-scratch🟡4.6, 6.1
Чип Хьюен, «AI-инженерия» (Питер, 2026) (п)Перевод «AI Engineering»: оценка, RAG, агенты, деплой, мониторинг🟡7–8
Джей Аламмар, Мартен Гроотендорст, «Большие языковые модели на практике» (2026) (п)Перевод «Hands-On Large Language Models»: много иллюстраций, от токенов до приложений🟢→🟡4, 8
Ян Гудфеллоу, Иошуа Бенджио, Аарон Курвилль, «Глубокое обучение» (ДМК Пресс)Перевод классического учебника «Deep Learning» (MIT Press, 2016): математика и основы нейросетей🟡→🔴1–3
Сергей Николенко, Артур Кадурин, Екатерина Архангельская, «Глубокое обучение. Погружение в мир нейронных сетей» (Питер, 2018)Русский оригинал: от основ до CNN, RNN и генеративных моделей🟡3–4

Полного русского перевода d2l на октябрь 2026 года нет: есть только небольшой любительский репозиторий.


Статьи на arXiv открыты для чтения. В уроках мы их пересказываем своими словами и ставим ссылку. Начинайте с аннотации, введения и рисунков, а к формулам возвращайтесь после соответствующего урока. Управляемое чтение двух главных китайских статей — в уроках «Читаем техотчёт DeepSeek-V3» и «Читаем статью DeepSeek-R1», а ключевые идеи Kimi, Qwen, GLM и MiniMax разобраны в уроке «Kimi, Qwen, GLM, MiniMax».

Фундамент: статьи, без которых не понять остальные

Заголовок раздела «Фундамент: статьи, без которых не понять остальные»
СтатьяГодГлавная идеяУровеньСтупень
Efficient Estimation of Word Representations (word2vec)2013Слова как векторы, обученные по контексту🟢4.3
Neural Machine Translation by Jointly Learning to Align and Translate2014Первый механизм внимания в seq2seq (Bahdanau и др.)🟡4.4
Adam и AdamW2014, 2017Адаптивный шаг оптимизатора и правильный weight decay🟡1.4
Deep Residual Learning (ResNet)2015Остаточные связи; авторы из Microsoft Research Asia, Пекин🟡3.4
Proximal Policy Optimization (PPO)2017Устойчивый policy gradient с клиппингом🔴6.3
Attention Is All You Need2017Трансформер🟡4.4–4.5
BERT2018Encoder-only претрейн с маскированием🟡4.5
Root Mean Square Layer Normalization2019RMSNorm — нормализация в современных LLM🟡3.4, 4.5
ZeRO2019Шардирование состояний оптимизатора, градиентов и весов🔴5.4
Fast Transformer Decoding (MQA)2019Одна пара K и V на все головы🟡5.2
Scaling Laws for Neural Language Models2020Законы масштабирования Kaplan и др.🟡5.1
GLU Variants Improve Transformer2020SwiGLU в FFN🟡4.5
Language Models are Few-Shot Learners (GPT-3)2020Масштаб и обучение по примерам в промпте🟢4.1, 6.1
Retrieval-Augmented Generation2020Поиск по базе знаний + генерация🟡8.2
Switch Transformers2021MoE с top-1 роутингом и aux loss🔴5.3
RoFormer (RoPE)2021Вращательные позиционные эмбеддинги; первый автор — Су Цзяньлинь (Китай)🟡4.5
LoRA2021Низкоранговая добавка к весам для дообучения🟡6.2
Chain-of-Thought Prompting2022Рассуждение по шагам в промпте🟢8.1
Training language models to follow instructions (InstructGPT)2022SFT → reward-модель → PPO🟡6.1, 6.3
Training Compute-Optimal LLMs (Chinchilla)2022Около 20 токенов на параметр🟡5.1
FlashAttention2022Точное внимание без материализации матрицы n×n🔴7.1
ReAct2022Чередование рассуждений и действий — основа агентов🟡8.3
Fast Inference from Transformers via Speculative Decoding2022Черновая модель + проверка большой🔴7.1
LLaMA2023Открытая модель с RMSNorm, SwiGLU, RoPE🟡4.5
GQA2023Группы голов делят K и V🟡5.2
LIMA2023Качество SFT-данных важнее количества🟢6.1
QLoRA2023LoRA поверх 4-битной модели🟡6.2
Direct Preference Optimization (DPO)2023Обучение на предпочтениях без RL🔴6.3
Position Interpolation2023Расширение контекста сжатием позиций🔴5.5
YaRN2023Интерполяция RoPE по частотам; стандарт у Qwen и DeepSeek🔴5.5
PagedAttention (vLLM)2023KV-кэш страницами, как виртуальная память🔴7.1
SGLang2023RadixAttention и префикс-кэш🔴7.1
Better & Faster LLMs via Multi-token Prediction2024MTP от Meta — основа MTP в DeepSeek-V3🔴5.4
Gated Delta Networks2024Дельта-правило с гейтом (NVIDIA и MIT); основа гибридов Qwen🔴5.5
СтатьяДатаГлавная идеяУровеньСтупень
DeepSeek LLM01.2024Первые модели 7B и 67B, свои законы масштабирования🟡5.1
DeepSeekMoE01.2024Мелкозернистые и общие (shared) эксперты🟡5.3
DeepSeekMath02.2024Первое описание GRPO🔴6.4
DeepSeek-V205.2024MLA: KV-кэш меньше на 93%🔴5.2
Auxiliary-Loss-Free Load Balancing08.2024Балансировка экспертов смещениями без вспомогательного лосса🔴5.3
DeepSeek-V312.2024671B/37B: FP8, MTP, DualPipe; финальный прогон ~2.79M GPU-часов H800🔴5, чтение
DeepSeek-R101.2025RL с проверяемыми наградами, R1-Zero, дистилляция; опубликована в Nature (09.2025)🔴6.4, чтение
Native Sparse Attention02.2025Сжатые блоки + top-k блоки + окно; best paper ACL 2025🔴5.5
DeepSeek-OCR10.2025Оптическое сжатие контекста🔴9.1
DeepSeekMath-V211.2025Самопроверка доказательств: верификатор как награда🔴6.4, 9.2
DeepSeek-V3.212.2025DSA: lightning indexer + внимание по top-k токенам; по README DeepSelect, DSA работает и в V4🔴5.5
mHC12.2025Гиперсвязи с ограничением на многообразие🔴9.2
Engram01.2026Условная память через хешированные таблицы n-грамм🔴9.2
DeepSeek-V4релиз 04.2026, техотчёт 06.2026Гибрид внимания CSA+HCA, mHC, Muon, эксперты в FP4, on-policy distillation, контекст 1M; детали [?]🔴9.2
СтатьяДатаГлавная идеяУровеньСтупень
Qwen Technical Report09.2023Первое семейство Qwen🟡5
Training-Free Long-Context Scaling (DCA)02.2024Dual Chunk Attention — расширение контекста без дообучения🔴5.5
Qwen2.512.2024Семейство Qwen2.5, большинство размеров под Apache-2.0🟡5, 6
Qwen2.5-1M01.2025Контекст в миллион токенов: DCA и разреженное внимание🔴5.5
Qwen305.2025Гибридный режим мышления, strong-to-weak дистилляция🟡6.4
Gated Attention05.2025Сигмоидный гейт после внимания убирает attention sink; устный доклад NeurIPS 2025🔴5.5
GSPO07.2025Importance ratio на уровне последовательности; стабильный RL для MoE🔴6.4
Qwen3.8-Next08.2026n-граммные таблицы вне ускорителя, блоки GDN×3 + Qwen Sparse Attention🔴9.2
СтатьяДатаГлавная идеяУровеньСтупень
Kimi k1.501.2025RL с длинным CoT, приёмы long2short🔴6.4
Muon is Scalable (Moonlight)02.2025Оптимизатор Muon на большом масштабе🔴5.4
Kimi K207.20251T/32B, MuonClip, синтез агентных данных🔴5.4, 8.3
Kimi Linear10.2025KDA — поканальный гейт в линейном внимании🔴5.5
Kimi K2.502.2026Мультимодальность, Agent Swarm и PARL🔴8.3
Attention Residuals03.2026Внимание по оси глубины вместо простой суммы в остаточном потоке🔴9.2
Kimi K307.20262.8T/104B, слои KDA и gated MLA, LatentMoE, MXFP4 QAT🔴9.2
GLM-4.508.2025355B-A32B, агентные модели, RL-фреймворк slime🔴8.3
GLM-502.2026744B-A40B, DSA от DeepSeek, адаптация под китайские чипы🔴9.2
Lightning Attention-201.2024Линейное внимание с тайлингом — основа MiniMax-01🔴5.5
MiniMax-0101.2025456B, гибрид Lightning Attention и softmax-внимания🔴5.5
MiniMax-M106.2025Алгоритм RL CISPO🔴6.4
MiniMax-M2 (серия)05.2026Возврат к полному вниманию ради агентных задач🔴5.5
MiniMax Sparse Attention06.2026Разреженное внимание M3 с фиксированным бюджетом токенов🔴9.2
СтатьяДатаГлавная идеяУровеньСтупень
Yi (01.AI)03.2024Открытые модели Yi🟡5
LlamaFactory03.2024Единый фреймворк дообучения 100+ моделей🟡6.2
OpenRLHF05.2024Масштабируемый RLHF на Ray и vLLM🔴6.3
Mooncake (Moonshot)07.2024KV-центричный сервинг, PD-дезагрегация; best paper FAST’25🔴7.1
ms-swift (ModelScope)08.2024Фреймворк дообучения и RL🟡6.2
HybridFlow (verl) (ByteDance)09.2024Гибкий и быстрый RL-фреймворк для LLM🔴6.4
Hunyuan-Large (Tencent)11.2024Крупная открытая MoE🔴5.3
DAPO (ByteDance)03.2025Clip-higher, динамический сэмплинг, token-level loss🔴6.4
Seed1.5-Thinking (ByteDance)04.2025Рассуждающая модель и её RL🔴6.4
MiMo-7B (Xiaomi)05.2025Маленькая модель, натренированная на рассуждения🔴6.4
Step-3 (AFD) (StepFun)07.2025Разделение attention и FFN по разным GPU на инференсе🔴7.1
Intern-S1 (Shanghai AI Lab)08.2025Научная мультимодальная модель🔴9.1
LongCat-Flash (Meituan)09.2025Zero-computation experts — динамический объём вычислений🔴5.3
MiMo-V2-Flash (Xiaomi)релиз 12.2025, статья 01.2026Гибрид скользящего окна и глобального внимания 5:1, MOPD🔴5.5, 6.4

Всё ниже — открытый код, почти везде под пермиссивными лицензиями (проверено по файлам LICENSE 03.10.2026). Его можно использовать, изучать и цитировать с указанием авторов. Помните: лицензия кода не равна лицензии весов модели, которую вы запускаете этим кодом.

ПроектЧто делаетУровеньЛицензияСтупень
vLLMСервер инференса из UC Berkeley: PagedAttention, непрерывный батчинг. Среди контрибьюторов много китайских компаний, но их долю никто не измерял [?]🟡Apache-2.0 ✅7.1
SGLangСервер инференса LMSYS: RadixAttention, префикс-кэш; поддержка DeepSeek, Qwen и GLM в день релиза🟡Apache-2.0 ✅7.1
LMDeployИнференс и квантование от Shanghai AI Lab🟡Apache-2.0 ✅7.1–7.2
llama.cppИнференс на CPU и GPU, формат GGUF🟢MIT ✅7.2
OllamaЛокальный запуск моделей одной командой, OpenAI-совместимый API🟢MIT ✅7.2, 8.1
KTransformersГибрид CPU и GPU для больших MoE-моделей🔴Apache-2.0 ✅7.2
MooncakeKV-центричная PD-дезагрегация (платформа Kimi)🔴Apache-2.0 ✅ (файл LICENSE-APACHE)7.1
nano-vllmЛёгкая реализация vLLM с нуля примерно в 1200 строк Python: префикс-кэш, тензорный параллелизм, CUDA graph🟡MIT ✅7.1
ПроектЧто делаетУровеньЛицензияСтупень
LLaMA-FactoryДообучение 100+ моделей через конфиг или WebUI: SFT, LoRA, QLoRA, DPO; документация на китайском🟢→🟡Apache-2.0 ✅6.2
ms-swiftДообучение и RL от ModelScope: SFT, DPO, GRPO, мультимодальные модели🟡Apache-2.0 ✅6.2, 6.4
XTunerДообучение от Shanghai AI Lab🟡Apache-2.0 ✅6.2
PEFTLoRA и другие адаптеры для transformers🟡Apache-2.0 ✅6.2
TRLSFT, DPO, GRPO на базе transformers🟡Apache-2.0 ✅6.1–6.4
UnslothБыстрое и экономное по памяти LoRA-дообучение на одной GPU🟡ядро Apache-2.0 ✅; интерфейс Unsloth Studio — AGPL-3.06.2
ПроектЧто делаетУровеньЛицензияСтупень
verlRL-фреймворк ByteDance: PPO, GRPO, DAPO, GSPO; работает и на Ascend🔴Apache-2.0 ✅6.4
OpenRLHFRLHF на Ray и vLLM🔴Apache-2.0 ✅6.3–6.4
slimeMegatron + SGLang, асинхронный RL; на нём обучались GLM-4.5 и GLM-5🔴Apache-2.0 ✅8.3
AReaLАсинхронный RL от Ant Group🔴Apache-2.0 ✅6.4
ROLLRL-фреймворк Alibaba🔴Apache-2.0 ✅6.4
EasyR1Компактный RL-фреймворк на основе verl🔴Apache-2.0 ✅6.4
ПроектЧто делаетУровеньЛицензияСтупень
DeepSeek Open Source Week (02.2025)Указатель открытой инфраструктуры DeepSeek🔴CC0 ✅5.4, 7.1
FlashMLAЯдра MLA для инференса🔴MIT ✅5.2, 7.1
DeepEPКоммуникации all-to-all для expert parallelism🔴MIT ✅5.4
DeepGEMMУмножение матриц в FP8🔴MIT ✅5.4
DualPipeДвунаправленный конвейерный параллелизм🔴MIT ✅5.4
EPLBБалансировщик нагрузки экспертов🔴MIT ✅5.3
3FS, smallpondРаспределённая файловая система и обработка данных🔴MIT ✅5.1
DeepSelect, TileKernels, DeepGEMM-Ascend, DeepJIT (2026)Top-k ядра для DSA и сэмплера; десятки ядер на TileLang (роутинг MoE, Engram, mHC, квантование); GEMM для Huawei Ascend; JIT-компиляция ядер для CUDA и Ascend🔴MIT ✅5.5, 9.2
TileLangЯзык для написания GPU-ядер🔴MIT ✅7.1
flash-linear-attentionЯдра и модели линейного внимания (GDN, KDA и др.) — лучший учебный полигон🔴MIT ✅5.5
FlashKDA, FlashQLA, MSAЯдра внимания: KDA от Kimi, линейное внимание GDN от Qwen, разреженное внимание MiniMax🔴MIT ✅5.5
checkpoint-engineБыстрое обновление весов в движках инференса (нужно для RL)🔴MIT ✅6.4
Megatron-LMТензорный и конвейерный параллелизм от NVIDIA🔴BSD-3-Clause ✅; отдельные файлы — под своими лицензиями (см. LICENSE)5.4
DeepSpeedZeRO и распределённое обучение🔴Apache-2.0 ✅5.4
nanotronМинималистичный 3D-параллелизм; код к Ultra-Scale Playbook🔴Apache-2.0 ✅5.4
ПроектЧто делаетУровеньЛицензияСтупень
OpenCompassПлатформа оценки LLM от Shanghai AI Lab🟡Apache-2.0 ✅7.3
EvalScopeОценка моделей от ModelScope🟡Apache-2.0 ✅7.3
lm-evaluation-harnessСтандартный набор бенчмарков🟡MIT ✅7.3
Qwen-AgentФреймворк агентов на Qwen: tool calling, MCP, RAG🟡Apache-2.0 ✅8.3
qwen-codeАгент для программирования в терминале🟡Apache-2.0 ✅8.3
FlagEmbedding (BGE)Эмбеддинг-модели и реранкеры BAAI (Пекин)🟡MIT ✅8.2
tiktoken, tokenizersБыстрые токенизаторы OpenAI и Hugging Face🟡MIT ✅, Apache-2.0 ✅4.2
transformersГлавная библиотека моделей🟡Apache-2.0 ✅6–7
  • Hugging Face (huggingface.co) — главный мировой хаб моделей и датасетов. По отчёту Hugging Face за весну 2026 года, на китайские модели пришлось около 41% скачиваний за год.
  • ModelScope (modelscope.cn) — китайский хаб от Alibaba, библиотека modelscope под Apache-2.0. Там же лежат почти все китайские открытые модели.

Подробнее о том, почему китайские лаборатории открывают веса, — в уроке «Стратегия открытых весов».


Три режима использования чужих материалов

Заголовок раздела «Три режима использования чужих материалов»

Так с источниками работает курс, и так же стоит работать вам, когда вы публикуете что-то своё.

РежимКогдаЧто делаем
Перевод и адаптацияЛицензия разрешает производные работы: MIT, Apache-2.0, CC BY, CC BY-SA, CC BY-NC-SAПереводим, сокращаем, дополняем. Указываем автора, ссылку и лицензию. Если в лицензии есть «SA», наш текст наследует её
Пересказ и ссылкаЛицензии нет, она запрещает производные (ND), или это видео и лекцииПишем собственное объяснение темы и ставим ссылку на оригинал: «смотреть лекцию 3, 12:40–25:00»
Только ссылкаПлатные курсы и закрытые материалыСсылка и короткая аннотация, без копирования
ЛицензияПереводить и адаптироватьКоммерческое использованиеЧто обязательноПримеры
MIT, Apache-2.0дадаСохранить копирайт и текст лицензии; для Apache — ещё файл NOTICE и отметку об измененияхMiniMind, d2l-zh, self-llm, vLLM
CC BY 4.0дадаАвтор, ссылка, отметка об измененияхтексты llm-algo-leetcode и AI-System
CC BY-SA 4.0дадаТо же плюс производная работа под той же лицензиейтекст d2l.ai, уроки ChinaAI
CC BY-NC-SA 4.0данетТо же плюс только некоммерческое использованиепочти весь Datawhale, главы RLHF Book, mlcourse.ai
CC BY-NC-ND 4.0нет без письменного разрешениянетДелиться можно только копией без изменений, с указанием автора; в курсе — ссылка и пересказучебник ZJU Foundations-of-LLMs
Лицензии нетнетнетТолько ссылка и пересказ своими словамикурсы Ли Хунъи, dive-into-llms, InternLM Tutorial, llm-universe
  1. Отсутствие лицензии — не разрешение. Код и текст без лицензии по умолчанию защищены авторским правом.
  2. Текст и код часто лицензированы по-разному. У llm-algo-leetcode текст под CC BY 4.0, а код под Apache-2.0; у RLHF Book главы под CC BY-NC-SA, а код под MIT. Атрибуцию ведите по каждому файлу.
  3. Перевод чужого курса наследует права оригинала. llm-cookbook переводит курсы DeepLearning.AI, diy-llm адаптирует CS336, leedl-tutorial конспектирует лекции Ли Хунъи, llms-from-scratch-cn переводит книгу Рашки, math-for-ai — книгу MML. Прежде чем брать такой материал, проверьте права первоисточника.
  4. Веса моделей лицензируются отдельно от кода и туториалов. Первый релиз DeepSeek-V3 вышел под собственной DeepSeek License, а R1 — под MIT. Kimi K2 — «модифицированная MIT»: продукт, у которого больше 100 млн активных пользователей в месяц или больше 20 млн долл. выручки в месяц, должен показывать в интерфейсе «Kimi K2». У Kimi K3 условия строже: компании, которая продаёт доступ к моделям через API и зарабатывает больше 20 млн долл. за 12 месяцев, нужен отдельный договор с Moonshot. У MiniMax-01 тоже отдельная лицензия на модель. Для личной учёбы всё это неважно, но перед продуктом читайте карточку модели на Hugging Face или ModelScope.
  5. Видео и лекции — только ссылками, лучше с таймкодами.
  • В шапке каждого урока есть список sources: оригиналы, их лицензии и режим использования — translate (перевод), adapt (адаптация), paraphrase (пересказ) или link (только ссылка).
  • Собственные тексты уроков выходят под CC BY-SA 4.0. Если урок адаптирует материал под CC BY-NC-SA (например, Datawhale), он выходит под CC BY-NC-SA 4.0 — это указано в поле license урока. На октябрь 2026 года таких уроков нет: книги Datawhale и RLHF Book мы пересказываем своими словами и даём ссылки.
  • Код заданий, тестов и компонентов сайта — MIT; код, производный от Apache-2.0, остаётся под Apache-2.0.