Tiny Universe: путеводитель по «белым ящикам» Datawhale

tiny-universe — открытый проект сообщества Datawhale «Руководство по сборке „белого ящика“ большой модели». Идея простая: вместо того чтобы вызывать готовые фреймворки как «чёрный ящик», собрать каждую часть LLM-системы своими руками на PyTorch и NumPy — модель, RAG, агента, систему оценки, генератор картинок — и увидеть, как всё устроено внутри. Это ровно принцип нашего курса «сначала руками, потом фреймворк», поэтому проект удобно использовать как второй, китайский взгляд на практические уроки ступеней 4–9.

Проект распространяется по лицензии CC BY-NC-SA 4.0 (некоммерческое использование, ссылка на авторов, та же лицензия у производных работ), поэтому все наши страницы по нему — под той же лицензией. Авторы — те же люди, что написали книгу Happy-LLM (наш путеводитель); несколько разделов tiny-universe — ранние версии глав этой книги.

Как устроены наши страницы

• Шесть самых полезных разделов переведены полностью (full): TinyLLM, Qwen-blog, TinyRAG, TinyAgent, TinyEval, TinyDiffusion. Переведены текст, формулы и комментарии в коде; наши пояснения отмечены как «Примечание переводчика».
• Остальные разделы (TinyTransformer, TinyGraphRAG, TinyIMGRAG, CDDRS) описаны ниже в карте: что в них и куда смотреть. TinyTransformer по структуре (разделы 1.1–3.3) совпадает с главой 2 Happy-LLM тех же авторов, у которой уже есть наш конспект.
• Эта страница — путеводитель: карта, маршрут по курсу, запуск на вашей машине и полный перевод README проекта.

Карта проекта

Раздел оригинала	О чём	Наша страница	Уроки курса	Сложность
TinyLLM (Tiny-LLM, «Tiny Llama3» в README)	свой BPE-токенизатор на TinyStories, LLaMA2-подобная модель на ~8,5 млн параметров, обучение за несколько часов в 2 ГБ видеопамяти, генерация	полный перевод	4.2.3, 4.6.2–4.6.3, 5.6.1	🟡
Qwen-blog	путь тензора через Qwen2 в Hugging Face Transformers: RMSNorm, GQA, RoPE, маска, SwiGLU	полный перевод	4.5.2–4.5.3, 5.2.1	🟡
TinyTransformer	Transformer из статьи «Attention Is All You Need» на PyTorch: внимание, маска, многоголовое внимание, энкодер и декодер, позиционное кодирование	конспект той же темы — Happy-LLM, гл. 2	4.4.1–4.4.3, 4.5.1	🟡
TinyRAG	RAG без фреймворков: эмбеддинги, нарезка, векторное хранилище на NumPy, ответ LLM	полный перевод	8.2.1	🟢
TinyAgent	агент ReAct на InternLM2 с инструментом «поиск Google»	полный перевод	8.3.1–8.3.2	🟢
TinyEval	двухэтапная оценка LLM: инференс → метрики (F1 по словам, accuracy, ROUGE), датасеты LongBench	полный перевод	7.3.1–7.3.2	🟢
TinyDiffusion (Tiny DDPM)	DDPM на CIFAR-10: формулы, U-Net, обучение на MSE, генерация, IS и FID	полный перевод	9.1.2	🟡→🔴
TinyGraphRAG	GraphRAG: извлечение сущностей и отношений LLM-ом, граф в Neo4j, иерархическая кластеризация Лейдена, сводки сообществ, локальный и глобальный поиск	в этом обзоре	8.2.2	🔴
TinyIMGRAG	ImageRAG: Stable Diffusion + проверка картинки моделью Qwen2.5-VL + переписывание промпта Qwen2.5 + поиск похожих картинок через CLIP	в этом обзоре	9.1.1–9.1.2	🔴
CDDRS (раздел «исследования»)	RAG для проверки строительной документации: смысловая нарезка, генерация проверочных вопросов, гибридный скоринг, переранжирование	в этом обзоре	8.2.2	🔴
TinyRL_LLM	заготовка про RL для LLM (GRPO, GSPO) — на момент перевода в папке только пометка «Comming soon»	—	6.4.1	—

Что взять в первую очередь

Если времени мало: TinyLLM (после урока 4.6.3), TinyRAG и TinyAgent (вместе с модулями 8.2–8.3) и TinyEval (вместе с 7.3). Qwen-blog — отличное «чтение под отладчиком» после урока 4.5.3. TinyDiffusion — для ступени 9. TinyGraphRAG, TinyIMGRAG и CDDRS — проекты повышенной сложности на потом.

Как совмещать с курсом

flowchart TB
S4["Ступень 4: язык и Transformer"] --> TT["TinyTransformer<br/>(= Happy-LLM, гл. 2)"]
TT --> QB["Qwen-blog:<br/>современный блок"]
S4 --> TL["TinyLLM:<br/>своя маленькая LLaMA"]
QB --> TL
S7["Ступень 7: оценка"] --> TE["TinyEval"]
S8["Ступень 8: RAG и агенты"] --> TR["TinyRAG"] --> TG["TinyGraphRAG,<br/>CDDRS"]
S8 --> TA["TinyAgent"]
S9["Ступень 9: мультимодальность"] --> TD["TinyDiffusion"] --> TI["TinyIMGRAG"]

Маршрут по tiny-universe вместе со ступенями курса (схема переводчика)

Когда в курсе	Что делать в tiny-universe	Зачем
после 4.6.3 «Цикл обучения»	TinyLLM: все четыре шага, короткий прогон	сравнить свой nanoGPT с LLaMA-подобной моделью и SentencePiece
после 4.5.3 «Современный блок» и 5.2.1	Qwen-blog с открытым modeling_qwen2.py	увидеть RMSNorm, RoPE, GQA в промышленном коде
вместе с 7.3.1	TinyEval на маленькой модели	понять, как считаются метрики на генеративных ответах
вместе с 8.2.1	TinyRAG на своих конспектах	RAG без LangChain и векторных БД
вместе с 8.3.1	TinyAgent + доработка до полного цикла	понять формат ReAct и разбор ответа модели
вместе с 9.1.2	TinyDiffusion, 10–20 эпох	связать формулы DDPM с кодом

Как запускать на своей машине

🖥 На вашей машине (4×GPU)

• Почти всё в проекте рассчитано на одну видеокарту: TinyLLM — около 2 ГБ, TinyDiffusion — одна карта уровня RTX 4090, RAG/агент/оценка — модель 7B в float16 (~15 ГБ). На 4× RTX 4080 32 ГБ можно запускать несколько проектов параллельно, назначая каждому свою карту через CUDA_VISIBLE_DEVICES=1 python ....
• В requirements.txt разных разделов закреплены версии 2024 года (например, torch==2.0.1 в TinyLLM). Делайте отдельное окружение на раздел (python -m venv, урок 0.1.2).
• Модели в примерах — InternLM2-chat-7B/20B (2024). Их можно заменить на любую современную модель из self-llm, подняв её через vLLM и подключив как OpenAI-совместимый API.
• TinyGraphRAG требует сервера Neo4j; TinyIMGRAG авторы запускали на одной RTX 3090 24 ГБ (Stable Diffusion, Qwen2.5-VL и CLIP локально, без API).

Скачать проект:

git clone https://github.com/datawhalechina/tiny-universe.git
cd tiny-universe/content/TinyLLM   # каждый раздел — отдельная папка со своим README и requirements.txt

Обзор непереведённых разделов

TinyGraphRAG

Мотивация авторов: обычный RAG режет текст на куски и теряет связи между ними. Пример из README: в одном куске «дедушку Сяомина зовут Лаомин», в другом — сведения о Лаомине; на вопрос, связывающий оба факта, обычный поиск по кускам вернёт только половину. GraphRAG превращает документы в тройки «сущность — отношение — сущность» и строит граф знаний, так что всё про одну сущность собирается в одном месте.

Что реализовано: модули LLM и эмбеддингов, работа с графовой БД Neo4j; извлечение сущностей и отношений по промптам (в README приведены сами промпты); кластеризация графа иерархическим алгоритмом Лейдена в «сообщества» и генерация их текстовых сводок; два вида поиска — локальный (вопрос о конкретной сущности: берём её и соседей) и глобальный (вопрос «обо всём»: отвечаем по сводкам сообществ). Это упрощённая версия идеи Microsoft GraphRAG; когда она нужна и чем дорога — в уроке 8.2.2.

TinyIMGRAG

Генерация картинок с поиском: Stable Diffusion рисует картинку по промпту, визуально-языковая модель Qwen2.5-VL проверяет, совпадает ли картинка с промптом, и называет недостающие понятия; Qwen2.5 переписывает их в поисковые описания; CLIP находит в базе похожие картинки; затем изображение генерируется заново с найденными картинками как подсказкой. Основа — статья «ImageRAG: Dynamic Image Retrieval for Reference-Guided Image Generation» (2025). Всё работает локально на одной карте 24 ГБ. К урокам 9.1.1 и 9.1.2.

CDDRS

Раздел «исследования»: воспроизведение научной работы о RAG для проверки строительной документации на соответствие нормам (в README проекта — пометка ADVEI25). Интересен как пример «RAG под узкую область»: нарезка по смыслу вместо фиксированных кусков, генерация проверочных вопросов к документу, поиск, ведомый знаниями, оценка фрагментов по нескольким признакам (редкость и важность терминов, связность), переранжирование и генерация рекомендаций по исправлению.

---

Перевод: README проекта

Ниже — полный перевод файла README.md репозитория (без картинок и QR-кода).

«Руководство по сборке „белого ящика“ большой модели»

Этот проект — руководство по сборке большой модели «своими руками», идущее от принципов, ориентированное на «белый ящик» и охватывающее всю цепочку работы с большой моделью. Его цель — помочь читателям с базой в традиционном глубоком обучении, начиная с низкоуровневых принципов, «чисто руками» собрать понятную и работающую систему большой модели: саму модель, фреймворк RAG, систему агента (Agent) и систему оценки модели. Проект идёт от основ, подробно разбирает каждый технический момент и даёт полную реализацию в коде; подробные объяснения и комментарии к коду помогают читателю самостоятельно воспроизвести ключевые части большой модели и в процессе глубоко её понять.

Проект стремится построить для широкого круга учащихся понятный, работающий и воспроизводимый мир больших моделей, чтобы каждый заинтересованный мог сам, вручную собрать свою Tiny LLM Universe.

Основное содержание проекта:

Основная часть

Основная часть — реализации классических технологий с нуля; цель — глубоко освоить детали реализации классических работ:

1. Генеративная модель изображений своими руками — Tiny Diffusion
2. Глубокий разбор устройства большой модели — Qwen Blog
3. Пошаговое предобучение самодельной большой модели — Tiny Llama3
4. Как оценить свою большую модель — Tiny Eval
5. Фреймворк RAG вручную — Tiny RAG
6. Минимальная система агента своими руками — Tiny Agent
7. Глубокое понимание основ больших моделей — Tiny Transformer
8. Базовая система GraphRAG своими руками — Tiny GraphRAG

Исследовательская часть

В исследовательской части с нуля воспроизводятся новые научные работы и производственные решения; цель — дать почувствовать путь от «умею повторить» к «умею придумать новое»:

1. Метод поиска для RAG, усиленный тонкими смысловыми элементами, — CDDRS (ADVEI25)

Зачем этот проект

«Война ста моделей» не утихает: открытые и закрытые большие модели постоянно поднимают планку возможностей, приближая великое будущее AGI. С ростом возможностей моделей снижается и порог для их дообучения и разработки приложений на их основе; большие модели всё глубже проникают во все отрасли, наделяя производство и жизнь интеллектом. Стремительно зреющая экосистема приносит всё больше открытых и закрытых фреймворков и API, а бесчисленные учебники позволяют всё большему числу разработчиков быстро и удобно делать приложения на больших моделях. Но чем зрелее экосистема, тем важнее глубоко понимать детали внутри фреймворков и уметь разрабатывать без них. Только если идти от базовых принципов, по возможности отказаться от фреймворков и собрать систему большой модели «чисто руками», можно по-настоящему понять её главные возможности и ключевые части, свободно менять и применять фреймворки и как угодно приспосабливать большие модели к любым отраслям и задачам.

Сейчас большинство учебников учат разработчиков быстро и удобно разрабатывать и обучать на сильно «обёрнутых» API и открытых фреймворках. Это хорошо для новичков, но упускается важность понимания принципов модели и внутреннего устройства фреймворков. И для самой большой модели, и для систем на её основе — RAG и Agent, — и для необходимой при разработке системы оценки есть множество руководств по готовым инструментам, из-за чего многие учащиеся «знают, что так, но не знают почему» и умеют лишь механически пользоваться инструментами, а не свободно переделывать их, исходя из принципов. Этот проект отказывается от сильно обёрнутых инструментов и API и, начиная с нижнего уровня (уровня PyTorch), «чисто руками» собирает систему большой модели и решает задачи RAG, Agent и Eval, — чтобы учащиеся с некоторой базой в больших моделях глубже освоили их устройство и вошли в более свободный, богатый и увлекательный мир больших моделей.

Для кого

Проект подойдёт, если вы:

• освоили базовое применение больших моделей и хотите изучить, как они устроены, но не знаете, с чего начать;
• очень любопытны и жадны до знаний, у вас есть желание учиться;
• интересуетесь задачами RAG, Agent, Eval для больших моделей и хотите понять их на уровне принципов;
• любите практику и писать код, хотите с нуля написать RAG, Agent и Eval для большой модели;
• хотите понять глубинное устройство больших моделей и поднять свой технический уровень.

Мы надеемся, что проект даст широкому кругу учащихся возможность практики с большими моделями, которую можно увидеть, до которой можно дотянуться и за которой можно успеть. Учитесь на практике и постоянно растите технически.

Мы надеемся открыть волшебный мир LLM большему числу учащихся и, с настроем «знать не только что, но и почему», построить собственную „Tiny LLM Universe“.

Особенности проекта

• Весь процесс — с нуля своими руками.
• Проект охватывает весь цикл LLM — от модели (Model) до RAG, Agent и Eval; это учебник по всему стеку LLM.
• В отличие от больших пакетов алгоритмов, код проекта проще и понятнее для начинающих разработчиков, больше похож на «белый ящик».
• Проект будет и дальше развиваться: например, появятся обучение своими руками Tiny-llama3, сбор датасета для узкой области и т. д.
• Приглашаем всех участвовать и вместе строить лучшую экосистему LLM!

Новости

• 2025.8.12: вышел TinyGraphRAG — GraphRAG с нуля!
• 2024.12.25: выпуск TinyDiffusion — Diffusion с нуля! Предобучение генератора изображений за два часа!
• 2024.10.28: TinyLlama3 — от предобучения Llama с нуля до загрузки модели и инференса, хватит 2 ГБ видеопамяти!
• 2024.6.26: дополнительный материал — оценка на математике гаокао (вступительный экзамен в вузы КНР): TinyEval теперь умеет оценивать задачи гаокао!
• 2024.5.20: дополнительный материал — Tiny Transformer: Transformer, собранный полностью вручную.
• 2024.5.1: выпуск Tiny-Universe V1 — подарок к Первомаю!

Структура проекта

TinyGraphRAG

GraphRAG — новая в последние годы технология генерации, дополненной поиском (RAG): она соединяет графовые структуры с большими языковыми моделями и сильна в рассуждениях о сложных связях и поиске связанных знаний. Но для начинающих система понятий GraphRAG громоздка: графовые БД, векторный поиск, графовые алгоритмы, взаимодействие с LLM — от принципов до реализации высокий порог понимания.

Проект вручную собирает максимально упрощённую систему GraphRAG: от формул и схемы архитектуры — к конкретному коду построения графа, поиска, рассуждения и генерации. Цель — помочь интуитивно понять, как работает GraphRAG, и освоить весь путь: подготовка данных, обработка запроса, сборка ответа.

(Рисунок: схема работы TinyGraphRAG.)

TinyDiffusion

Диффузионные модели — самые популярные сегодня модели генерации изображений: отличное качество и стабильное обучение сделали их основным решением в этой области. Но для новичков формулы диффузионных моделей слишком сложны, и непонятно, как перейти от формул к коду.

Проект вручную собирает максимально упрощённую модель DDPM: от формул статьи — к конкретному коду обучения и генерации. Цель — помочь лучше понять устройство диффузионных моделей и освоить весь цикл: обучение, инференс, оценка.

(Рисунок: схема DDPM.)

Qwen-Blog (видеоразбор)

Начинающие, изучая LLM, часто «бледнеют при виде кода» — огромного и с кучей обёрток.

Но на самом деле архитектура LLM не так сложна, как кажется! На примере Qwen2 проект проводит вас внутрь структуры модели — глазами входного тензора, через каждый операционный блок модели, — и «зажигает свет» в чёрном ящике LLM.

Кроме самой модели, подробно разобраны механизмы внутри неё — GQA, RoPE, маска внимания (Attention Mask), — чтобы понимание LLM было полным!

(Рисунок: общая схема Qwen2.)

TinyRAG (видеоразбор)

LLM порождают вводящие в заблуждение «галлюцинации», опираются на возможно устаревшую информацию, неэффективны со специальными знаниями, не имеют глубокого понимания профессиональных областей и слабоваты в рассуждениях.

Именно на этом фоне появилась генерация, дополненная поиском (Retrieval-Augmented Generation, RAG), — одна из главных тенденций эпохи ИИ.

Прежде чем языковая модель сгенерирует ответ, RAG находит релевантную информацию в обширной базе документов и использует её, чтобы направлять генерацию; это сильно повышает точность и уместность ответа. RAG заметно ослабляет галлюцинации, ускоряет обновление знаний и делает происхождение текста проверяемым — большие языковые модели становятся практичнее и надёжнее.

RAG стал важной частью приложений LLM, но другие RAG-проекты строятся на обёрнутых фреймворках: пользоваться ими легко, но они прячут устройство RAG, и их трудно свободно переделывать и улучшать. Этот проект отказывается от сильно обёрнутых RAG-фреймворков и собирает RAG с нуля, чтобы лучше понять его принципы.

Зеркало: https://www.codewithgpu.com/i/datawhalechina/tiny-universe/tiny-universe-tiny-rag

(Рисунок: схема RAG.)

TinyAgent (записи пока нет — ищите в видеоканале Datawhale «Строим минимальную систему агента»)

Большие модели обладают удивительно сильными способностями, но у них есть и постоянные слабости: логические рассуждения, текущие события, узкопрофессиональные области. Поэтому важное направление развития — давать модели целевые инструменты, «рычаг», чтобы она сверяла детали с реальным миром, — так получаются более умные, профессиональные и всесторонние приложения. На этой идее и построен Agent: LLM превращается в агента, который самостоятельно понимает задачу, планирует, принимает решения и выполняет сложные задачи, а богатый набор профессиональных инструментов позволяет большой модели по-настоящему войти в реальную жизнь.

Проект на основе подхода ReAct вручную делает минимальную структуру агента (на деле это скорее вызов инструментов): шаг за шагом пишем Agent, чтобы читатель лучше понял его состав и работу и потом мог свободно строить своих агентов. Летом попробуем переделать структуру ReAct в структуру SOP — присоединяйтесь!

(Рисунок: схема ReAct.)

TinyEval (видеоразбор)

С распространением LLM всё больше людей знакомы с дообучением (SFT), но как оценить результат дообучения — в частности, как разные модели справляются с текущим датасетом, — всё ещё открытый вопрос. И как объективно оценить качество генерации для разных задач — с выбором ответа, дискриминативных, генеративных — тоже нужно прояснить.

Чтобы ответить на эти вопросы, мы собрали и описали целостную систему оценки: она научит подбирать метрики под свою задачу и объективно оценивать по ним модель, давая точные количественные данные о её возможностях!

(Рисунок: схема процесса оценки.)

TinyLLM

Цель проекта — реализовать простую большую языковую модель: от обучения токенизатора к обучению модели и генерации текста. Простую LLM можно обучить, используя только NumPy и PyTorch, видеопамяти уходит около 2 ГБ.

Ресурсов для обучения нужно совсем немного: хватит одной видеокарты, видеопамяти — около 2 ГБ. Обучение недолгое — несколько часов.

(Рисунок: пример генерации обученной модели.)

TinyTransformer

Сегодня почти все LLM основаны на механизме внимания (Attention), предложенном в Transformer; чтобы глубоко понять устройство и структуру LLM, обязательно нужно глубоко и полно понять Transformer.

По классической статье «Attention is All You Need» мы вручную собрали на уровне PyTorch полную, воспроизводимую и работающую модель Transformer, чтобы помочь глубже понять её устройство и заложить прочную базу для LLM.

Благодарности

Руководители проекта

• Сяо Хунжу — руководитель проекта (участник Datawhale, Университет Тунцзи)
• Сун Чжисюэ — руководитель проекта (участник Datawhale, Китайский горно-технологический университет, Пекин)
• Цзоу Юйхэн — руководитель проекта (участник Datawhale, Университет международного бизнеса и экономики)

Участники

• Лю Сяоюй — основной участник (Хуачжунский университет науки и технологии)
• Пань Дуи — основной участник (Гонконгский университет науки и технологии, Гуанчжоу)
• Гэ Цзицянь (Университет Тунцзи)

Прочее

• Особая благодарность @Sm1les за помощь и поддержку проекта.
• Если есть идеи — пишите нам; Datawhale будет рад вашим issue.
• Особая благодарность всем, кто внёс вклад в учебник!

Подписывайтесь на нас

Datawhale — учебное сообщество в области ИИ. Изначальная идея — for the learner, расти вместе с учащимися. Сейчас в учебных группах уже тысячи человек; организованы занятия по машинному обучению, глубокому обучению, анализу данных, добыче данных, веб-скрейпингу, программированию, статистике, MySQL, соревнованиям по данным и другим темам. Присоединиться можно через официальный аккаунт Datawhale в WeChat.

Лицензия

Работа распространяется по лицензии Creative Commons «Атрибуция — Некоммерческое использование — На тех же условиях» 4.0 Международная (CC BY-NC-SA 4.0).

---

Что читать дальше

• Happy-LLM — книга тех же авторов: то же самое, но связной книгой, с главами о дообучении и RL для агентов.
• self-llm — как запустить и дообучить современные открытые модели, чтобы подставить их в TinyRAG и TinyAgent.
• nanoGPT и llama2.c Андрея Карпатого — на llama2.c основан TinyLLM.

Словарик

Русский	Пояснение
«белый ящик» (white box)	система, устройство которой видно и понятно
«своими руками», с нуля	жаргон: написать самому, без готовых библиотек
весь цикл, «вся цепочка»	от модели до приложения и оценки
генерация, дополненная поиском (RAG)	урок 8.2.1
агент (Agent)	урок 8.3.1
оценка (Eval)	урок 7.3.1
граф знаний (knowledge graph)	основа GraphRAG
поиск сообществ (community detection)	кластеризация узлов графа
«переделать под себя»	жаргон: сильно модифицировать код