self-llm: путеводитель по «Руководству по употреблению открытых моделей»

self-llm — сборник Datawhale «Руководство по употреблению открытых больших моделей» (в названии шутливое «употреблять в пищу» — то есть «как это есть»). Это не учебник, а поваренная книга: для каждой открытой модели — Qwen, GLM, DeepSeek, Kimi, MiniMax, InternLM, Gemma, Llama и десятков других — даны пошаговые рецепты: как поставить окружение, скачать веса, поднять модель как сервис (vLLM, SGLang, FastAPI, LM Studio, Ollama), прикрутить веб-интерфейс или LangChain, оценить её и дообучить (LoRA, полное дообучение, GRPO, DPO) с графиками в SwanLab.

Репозиторий распространяется по лицензии Apache-2.0 — переводить и пересказывать можно свободно, с указанием источника; эта страница и переводы рецептов — тоже под Apache-2.0.

Как устроены наши страницы по self-llm

• Эта страница — путеводитель: что в сборнике, какие рецепты брать на вашей машине, к каким урокам они относятся. В конце — полный перевод вводной части README и общей инструкции «Скачивание моделей».
• Полностью переведены два ключевых рецепта: Qwen3-8B: развёртывание и вызов через vLLM и Qwen3-8B: LoRA-дообучение и графики в SwanLab. Остальные рецепты устроены так же — по этим двум легко читать любые другие (а китайский текст рецептов хорошо переводит любой онлайн-переводчик: в них в основном код и команды).

Что внутри

flowchart LR
G["General-Setting:<br/>зеркала pip/conda,<br/>скачивание моделей,<br/>порты AutoDL"] --> M
M["models/МОДЕЛЬ/<br/>01 … 10 рецептов"] --> D["Развёртывание:<br/>vLLM, SGLang, FastAPI,<br/>WebDemo, LM Studio, Ollama"]
M --> E["Оценка:<br/>EvalScope"]
M --> F["Дообучение:<br/>LoRA, полное, GRPO, DPO<br/>+ SwanLab"]
M --> A["Приложения:<br/>LangChain, Docker-образы"]
X["examples/:<br/>Chat-Huanhuan, Tianji,<br/>AMChat, «Цифровая жизнь»"] --> F

Устройство репозитория self-llm (схема переводчика)

Часть репозитория	Что там	Зачем вам
models/General-Setting/	смена зеркал pip/conda (для Китая), открытие портов на облаке AutoDL, скачивание моделей (HF, зеркало, ModelScope, git-lfs)	скачивание пригодится всем; перевод — ниже
models/<Модель>/	50+ папок, в каждой 2–11 пронумерованных рецептов: разбор архитектуры, развёртывание, оценка, дообучение	основной материал: берите модель → открывайте рецепт
support_model.md	полный список моделей и рецептов с авторами	оглавление сборника
examples/	учебные проекты целиком: Chat-Huanhuan (LoRA под стиль героини сериала «Легенда о Чжэнь Хуань»), Tianji («Тяньцзи», агент для «житейских» социальных ситуаций: промпты, агенты, сбор данных, дообучение, RAG), AMChat (высшая математика на InternLM2-Math-7B через XTuner), «Цифровая жизнь» (дообучение модели «под себя» по своим перепискам)	пример полного цикла «данные → дообучение → приложение»
dataset/	учебные датасеты, например huanhuan.json — 3729 реплик Чжэнь Хуань	данные для первых LoRA
models_amd/, models_ascend/, models_mlx/	рецепты для AMD ROCm, китайских NPU Ascend, Apple Silicon (MLX)	вам не нужны — у вас NVIDIA

Типы рецептов

Рецепт (название в оригинале, в переводе)	Что делаете	Урок курса
Blog: разбор архитектуры модели	читаете, как устроена модель (MoE, внимание, «думающий» режим)	4.5.3, 5.3.1
FastApi: развёртывание и вызов	пишете свой маленький HTTP-сервис вокруг transformers	8.4.3
vLLM / SGLang: развёртывание и вызов	поднимаете быстрый OpenAI-совместимый сервер	7.1.2
WebDemo / LMStudio / ollama + open-webui	чат в браузере, локальная модель «для себя»	7.2.2
Langchain: подключение	модель как «мозг» приложения	8.1.1, 8.2.1
EvalScope: оценка IQ и EQ / оценка под параллельной нагрузкой	оценка «интеллекта и эмпатии» и нагрузочный тест сервера	7.3.1
Lora: дообучение (+ графики в SwanLab)	LoRA-дообучение с графиками обучения	6.2.1–6.2.2
полное дообучение / распределённое полное дообучение	полное дообучение, DeepSpeed	6.1.2, 5.4.3
GRPO: дообучение / DPO: дообучение	обучение рассуждению и по предпочтениям	6.4.5, 6.3.3
Docker: образ	готовый образ окружения на облаке AutoDL	—

Какие рецепты брать на вашей машине

🖥 На вашей машине (4×GPU)

Правило для оценки: веса в bfloat16 занимают ≈2 ГБ на миллиард параметров, в 4-битной квантовке — ≈0,5–0,6 ГБ. Сверху нужен запас на KV-кэш (vLLM по умолчанию забирает 90 % памяти карты) или на активации при обучении. У вас 4 карты по 32 ГБ, связанные только PCIe — поэтому модель, которая помещается на одну карту, запускайте на одной; делите на 2–4 карты (--tensor-parallel-size) только то, что не влезает.

Задача	Что брать из self-llm	Сколько GPU	Примечание
первое знакомство, быстрые опыты	Qwen3-0.6B / 1.7B / 4B, MiniCPM5-1B, Qwen3.5-4B, gemma-3-4b-it	1	десятки моделей можно гонять параллельно на разных картах
основная «рабочая лошадка»: сервис + RAG/агент	Qwen3-8B vLLM (перевод), DeepSeek-R1-Distill-Qwen-7B, gpt-oss-20b vLLM	1	8B в bf16 ≈ 16 ГБ; gpt-oss-20b поставляется в 4-битном формате MXFP4
первое LoRA-дообучение	Qwen3-8B LoRA (перевод), Qwen3-1.7B (медицинские рассуждения), Qwen3.5-4B LoRA, MiniCPM5-1B LoRA	1	с gradient_checkpointing 8B помещается на одну 32-ГБ карту
модели 14–32B	Qwen3-14B, Qwen3-30B-A3B (MoE: 30 млрд параметров, 3 млрд активных) — развёртывание и LoRA	2–4	30B в bf16 ≈ 61 ГБ → --tensor-parallel-size 2 или 4
RL для рассуждений	Qwen3-8B GRPO, DeepSeek-R1-0528-Qwen3-8B-GRPO	1–4	см. урок 6.4.5
большие MoE (GLM-4.5-Air, MiniMax-M2.x, Kimi-K2.5, DeepSeek-V4-Flash)	только читать рецепты	—	сотни ГБ весов: даже 4-битные версии на пределе или не помещаются в 128 ГБ

Китайская специфика рецептов

• Рецепты написаны для облака AutoDL (диск /root/autodl-tmp, порт 6006) и для китайских зеркал (pypi.tuna.tsinghua.edu.cn, ModelScope, hf-mirror.com). У вас локальная машина: пути замените на свои, а зеркала pip можно не настраивать.
• Модели в рецептах качаются с ModelScope (китайский аналог Hugging Face). Из России обычно удобнее Hugging Face — те же модели лежат там под теми же именами (Qwen/Qwen3-8B); как качать — в переводе инструкции ниже.
• Версии библиотек в рецептах закреплены на момент написания (например, transformers==4.51.3 для Qwen3). Если рецепт не запускается на свежих версиях — первым делом поставьте ровно те версии в отдельном окружении.

Маршрут по курсу

Когда в курсе	Рецепт self-llm	Что получите
после 6.2.1 «LoRA»	Qwen3-8B LoRA (или Qwen3-1.7B для скорости)	своя первая дообученная модель — «Чжэнь Хуань»
вместе с 6.2.2 «Практика дообучения»	любой LoRA-рецепт под свой датасет + SwanLab	навык читать кривые обучения и сравнивать запуски
после 7.1.2 «Сервинг»	Qwen3-8B vLLM	локальный OpenAI-совместимый сервер для всех заданий ступени 8
вместе с 7.2.2 «Локальные LLM»	LM Studio / Ollama + open-webui	«ChatGPT у себя на компьютере»
вместе с 7.3.1 «Бенчмарки»	Qwen3-8B EvalScope	оценка своей и чужой модели одним инструментом
вместе с 6.4.5 «GRPO на практике»	Qwen3-8B GRPO	RL с проверяемой наградой на реальной модели

---

Перевод: вводная часть README

«Руководство по употреблению открытых больших моделей»

Этот проект — учебник по большим моделям «специально для китайских малышей»: он построен вокруг открытых больших моделей, рассчитан на начинающих из Китая и работает на платформе Linux. Для самых разных открытых моделей он даёт сквозные инструкции — настройка окружения, локальное развёртывание, эффективное дообучение, — упрощает развёртывание, использование и применение открытых моделей, чтобы больше обычных студентов и исследователей могли ими пользоваться и чтобы открытые, свободные большие модели быстрее входили в жизнь обычных учащихся.

Основное содержание проекта:

1. Руководство по настройке окружения для открытых LLM на Linux — с подробными шагами под требования разных моделей;
2. Учебники по развёртыванию и использованию основных открытых LLM, китайских и зарубежных: LLaMA, ChatGLM, InternLM и др.;
3. Инструкции по применению развёрнутых открытых LLM: вызов из командной строки, онлайн-демо, интеграция с фреймворком LangChain и др.;
4. Методы полного и эффективного дообучения открытых LLM: распределённое полное дообучение, LoRA, p-tuning и др.

Главное содержание проекта — учебники, чтобы больше студентов и будущих специалистов узнали, как «употреблять» открытые большие модели! Любой может открыть issue или прислать PR и вместе строить и поддерживать проект.

Кто хочет участвовать глубже — свяжитесь с нами, мы добавим вас в число мейнтейнеров.

Совет по изучению: сначала изучите настройку окружения, затем развёртывание и использование моделей, и в конце — дообучение. Окружение — это основа, развёртывание и использование — тоже основа, дообучение — продвинутый уровень. Новичкам лучше начать с моделей Qwen1.5, InternLM2, MiniCPM и т. п.

Рекомендация для продолжения: если после этого проекта вы хотите глубже понять устройство больших языковых моделей и своими руками обучить свою модель с нуля, очень советуем другой открытый проект Datawhale — Happy-LLM: принципы и практика LLM с нуля. Он поведёт вас вглубь механизмов больших моделей и научит полному процессу обучения.

Примечание: кто хочет понять, из чего состоит большая модель, и с нуля написать RAG, Agent и Eval, может изучить другой проект Datawhale — Tiny-Universe. Большие модели — горячая тема глубокого обучения, но большинство учебников учат лишь вызывать API, и мало кто объясняет на уровне принципов устройство модели, RAG, Agent и Eval. Поэтому там всё написано вручную, без вызова API.

Примечание: тем, кто перед этим проектом хочет изучить теорию больших моделей, глубже разобраться в теоретических основах LLM и уже на этой базе понимать и применять LLM, подойдёт курс Datawhale so-large-llm.

Примечание: тем, кто после этого курса хочет сам разрабатывать приложения на больших моделях, подойдёт курс Datawhale «Разработка приложений на больших моделях своими руками» — учебник для начинающих разработчиков: на облачном сервере Alibaba Cloud, на примере проекта «помощник по личной базе знаний», показан весь процесс разработки приложения.

Зачем этот проект

Что такое большая модель?

Большая модель (LLM) в узком смысле — модель обработки естественного языка (NLP), обученная алгоритмами глубокого обучения и применяемая в основном для понимания и генерации языка; в широком смысле сюда входят и большие модели компьютерного зрения (CV), мультимодальные модели, модели для научных вычислений.

«Война ста моделей» в разгаре, открытые LLM появляются одна за другой. В Китае и за рубежом уже есть множество отличных открытых LLM: за рубежом — LLaMA, Alpaca, в Китае — ChatGLM, BaiChuan, InternLM и другие. Открытые LLM можно развернуть у себя и дообучить на своих закрытых данных — каждый может на их основе создать свою уникальную модель.

Но сейчас, чтобы обычный студент или пользователь мог пользоваться этими моделями, нужны определённые технические навыки: развернуть модель и работать с ней. А быстро освоить применение очередной открытой LLM — каждая со своими особенностями — довольно трудная задача.

Проект ставит цель: сначала, на опыте основных участников, сделать учебники по развёртыванию, использованию и дообучению основных открытых LLM; затем — собрать как можно больше соавторов и вместе обогащать этот мир открытых LLM, создавая всё больше и всё более полных учебников по моделям с особенностями. Из отдельных искр — в море огня.

Мы хотим стать лестницей между LLM и широкой публикой и, в свободном и равноправном духе open source, обнять величественный и бескрайний мир LLM.

Для кого

Проект подойдёт, если вы:

• хотите пользоваться LLM или попробовать их, но не имеете возможности получить или использовать соответствующие API;
• хотите долго, дёшево и много применять LLM;
• интересуетесь открытыми LLM и хотите сами с ними поработать;
• изучаете NLP и хотите дальше изучать LLM;
• хотите на базе открытой LLM создать свою LLM для конкретной области;
• а также — самый широкий и самый обычный круг студентов.

---

Перевод: «Скачивание моделей» (General-Setting, файл 03)

Hugging Face

Используем официальную утилиту командной строки huggingface-cli. Установка зависимостей:

pip install -U huggingface_hub

Затем создайте файл Python со следующим кодом и запустите его.

• resume-download — докачка после обрыва;
• local-dir — локальный путь для сохранения (в Linux нужно указывать абсолютный путь).

import os

# Скачиваем модель
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')

Скачивание через зеркало Hugging Face

То же, что скачивание с Hugging Face, только нужно указать адрес зеркала. Используем официальную утилиту huggingface-cli. Установка зависимостей:

pip install -U huggingface_hub

Затем создайте файл Python со следующим кодом и запустите его.

• resume-download — докачка после обрыва;
• local-dir — локальный путь для сохранения (в Linux нужно указывать абсолютный путь).

import os

# Задаём переменную окружения
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# Скачиваем модель
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')

Подробнее о зеркале — на сайте HF Mirror.

ModelScope

Скачиваем модель функцией snapshot_download из modelscope: первый параметр — имя модели, параметр cache_dir — путь для скачивания.

Внимание: cache_dir лучше задавать абсолютным путём.

Установка зависимостей:

pip install modelscope
pip install transformers

Создайте в текущей папке файл Python со следующим кодом и запустите его.

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='your path', revision='master')

git-lfs

Скачайте установщик с сайта git-lfs и установите git-lfs. После установки выполните в терминале git lfs install — и можно качать модели через git-lfs. Правда, для этого способа нужно немного «магии» (то есть доступ к зарубежным сайтам).

git clone https://huggingface.co/internlm/internlm-7b

OpenXLab

OpenXLab позволяет скачать веса модели напрямую, указав адрес репозитория модели, имя нужного файла, место сохранения и т. д.

Для скачивания скриптом Python сначала установите зависимость: pip install -U openxlab. Затем импортируйте модель из хаба функцией download.

from openxlab.model import download
download(model_repo='OpenLMLab/InternLM-7b', model_name='InternLM-7b', output='your local path')

Примечание переводчика: как качать в 2026 году

• В новых версиях huggingface_hub команда называется hf download (старая huggingface-cli download тоже работает, но выводит предупреждение), а докачка включена по умолчанию: hf download Qwen/Qwen3-8B --local-dir ~/models/Qwen3-8B.
• Зеркало hf-mirror.com и «магия» нужны для доступа из материкового Китая; из России Hugging Face обычно доступен напрямую.
• Не используйте git clone для больших моделей без git-lfs — скачаются только указатели на файлы, а не веса.
• Модель Qwen3-8B весит около 16 ГБ; держите модели на NVMe — от этого зависит скорость загрузки в vLLM.

Что читать дальше

• Qwen3-8B: vLLM — полный перевод рецепта
• Qwen3-8B: LoRA и SwanLab — полный перевод рецепта
• Tiny Universe и Happy-LLM — те же авторы, но «изнутри»: как устроено то, что self-llm учит запускать.
• Официальная документация vLLM и PEFT — когда рецепт устарел.

Словарик

Русский	Пояснение
руководство по употреблению	шутливое «как это готовить и есть»
развёртывание (deployment)	запуск модели как сервиса
вызов	обращение к модели по API
дообучение (fine-tuning)	LoRA, полное, GRPO, DPO
полное дообучение	обновляются все веса
эффективное дообучение (PEFT)	LoRA, p-tuning и т. п.
смена зеркала	ускорение pip/conda в Китае
зеркало; образ	hf-mirror.com; Docker-образ
«магия» — доступ к зарубежным сайтам	китайский интернет-жаргон
закрытые (свои) данные	данные компании или человека