Блог Qwen: «Qwen3 — думай глубже, действуй быстрее» (конспект)

На чём основан конспект

Сайт блога из нашей сети не открывается, но его исходники в Markdown лежат в репозитории QwenLM/QwenLM.github.io (папка content/blog/qwen3). Лицензии на текст там нет, поэтому это пересказ своими словами с короткими цитатами; таблицы с параметрами моделей — факты, перенесены как есть. Посты о Qwen3.5, Qwen3.6 и Qwen3.8 (2026) выходят уже на новом сайте qwen.ai, которого в репозитории нет, — их конспекты сделать не удалось.

Коротко

• Qwen3 — восемь открытых моделей под Apache-2.0: шесть плотных (0.6B–32B) и две смесь экспертовсмесь экспертов (MoE)EN mixture of experts (MoE) — Qwen3-30B-A3B и Qwen3-235B-A22B.
• Главная новинка — гибридное мышлениегибридный режим мышленияEN hybrid thinking modeОдна модель умеет отвечать и с длинным рассуждением, и сразу. В Qwen3 режим переключается флагами /think и /no_think.: одна модель и думает пошагово, и отвечает сразу; качество растёт плавно с бюджетом размышления.
• Предобучение — ≈36 трлн токенов (вдвое больше, чем у Qwen2.5) на 119 языках, в три стадии: 4K контекста → знания и рассуждения → длинный контекст 32K.
• Пост-трейнинг — четыре этапа: холодный старт на длинных рассуждениях → RL на рассуждениях → слияние режимов → общий RL на 20+ задачах.
• Эффективность: плотные Qwen3-Base догоняют Qwen2.5-Base примерно вдвое большего размера, а MoE-модели — плотные Qwen2.5 при ~10% активных параметров.
• Вывод авторов о будущем: переход «от эпохи обучения моделей к эпохе обучения агентов».

Как читать вместе с курсом

Пост короткий и рекламный по тону, но в нём на одной странице видна вся кухня современной открытой модели. Читайте после урока 6.4.4 (режимы мышления и дистилляция): там разобрано, почему четырёхэтапная схема устроена именно так. Таблицы архитектуры удобно сверить с уроками о внимание с группами запросоввнимание с группами запросов (GQA)EN grouped-query attention (GQA)Головы запросов делятся на G групп, у каждой группы своя пара K/V. G = H — это MHA, G = 1 — MQA. Стандарт Llama 3 и Qwen (Ainslie и др., 2023). (5.2.1) и MoE (5.3.1). Раздел о бенчмарках (картинки с таблицами) можно пропустить: цифры там на момент выпуска и сравнивают с моделями, которые с тех пор обновились.

1. Линейка моделей

Плотные модели:

Модель	Слоёв	Головы (Q / KV)	Общие эмбеддинги	Контекст
Qwen3-0.6B	28	16 / 8	да	32K
Qwen3-1.7B	28	16 / 8	да	32K
Qwen3-4B	36	32 / 8	да	32K
Qwen3-8B	36	32 / 8	нет	128K
Qwen3-14B	40	40 / 8	нет	128K
Qwen3-32B	64	64 / 8	нет	128K

MoE-модели:

Модель	Слоёв	Головы (Q / KV)	Экспертов (всего / активных)	Контекст
Qwen3-30B-A3B	48	32 / 4	128 / 8	128K
Qwen3-235B-A22B	94	64 / 4	128 / 8	128K

Как читать таблицы:

• «Головы Q / KV» — это групповое вниманиевнимание с группами запросов (GQA)EN grouped-query attention (GQA)Головы запросов делятся на G групп, у каждой группы своя пара K/V. G = H — это MHA, G = 1 — MQA. Стандарт Llama 3 и Qwen (Ainslie и др., 2023).. У Qwen3-32B 64 головы запросов делят 8 пар «ключ-значение»: каждая KV-голова обслуживает $64 / 8 = 8$ голов запросов. Значит, KV-кэшKV-кэшEN KV cache в 8 раз меньше, чем при обычном многоголовом внимании. У MoE-моделей соотношение ещё жёстче: 64 / 4 = 16.
• «Общие эмбеддинги» (tie embedding) — матрица входных эмбеддингов используется и как выходной слой. У маленьких моделей словарь на ~152 тыс. токенов — заметная доля всех параметров, и экономия на второй матрице ощутима (подробнее о связывание весовсвязывание весов (общие эмбеддинги входа и выхода)EN weight tying (tied embeddings)Одна и та же матрица служит эмбеддингом токенов и LM head. Её градиент — сумма вкладов от обоих мест. В Hugging Face — флаг tie_word_embeddings. — в ступени 4).
• Эксперты 128 / 8: на каждый токен маршрутизатор выбирает 8 экспертов из 128, то есть работает 1/16 экспертной части сети. Отсюда «A3B»: из 30 млрд параметров на токен активны около 3 млрд.

Авторы подчёркивают два сравнения: Qwen3-30B-A3B обгоняет QwQ-32B, у которого активных параметров в 10 раз больше, а крошечная Qwen3-4B «может соперничать» с Qwen2.5-72B-Instruct (по их бенчмаркам).

2. Ключевые возможности

Гибридное мышление. Два режима в одной модели: «думающий» (рассуждает шаг за шагом, для сложных задач) и «недумающий» (отвечает почти мгновенно). Пост особо отмечает, что сочетание режимов даёт устойчивое управление бюджетом размышлениябюджет мышленияEN thinking budgetЛимит токенов на рассуждение; при его исчерпании рассуждение обрывают и просят модель ответить. Ручка «точность ↔ задержка».: на графике качество растёт плавно и предсказуемо вместе с числом токенов, отпущенных на рассуждение. Пользователь сам выбирает баланс «цена — качество» под задачу.

119 языков и диалектов. В посте — таблица по языковым семьям; русский в индоевропейской группе, китайский (упрощённый, традиционный, кантонский) — в сино-тибетской.

Агентные способности. Модели оптимизированы для программирования и агентов, усилена поддержка MCP.

3. Предобучение

Данных почти вдвое больше, чем у Qwen2.5: около 36 трлн токенов против 18 трлн. Откуда они:

• веб-страницы;
• PDF-подобные документы: текст из них извлекала мультимодальная Qwen2.5-VL, а качество извлечённого текста улучшала Qwen2.5;
• синтетика: Qwen2.5-Math и Qwen2.5-Coder генерировали учебники, пары «вопрос — ответ» и фрагменты кода, чтобы нарастить долю математики и программирования.

Это хороший пример того, как прошлое поколение моделей становится фабрикой данных для следующего (синтетические данныесинтетические данныеEN synthetic data).

flowchart LR
S1["S1: >30 трлн токенов<br/>контекст 4K<br/>язык и общие знания"] --> S2["S2: +5 трлн токенов<br/>больше STEM, кода,<br/>рассуждений"]
S2 --> S3["S3: длинные тексты<br/>контекст 32K"]

Три стадии предобучения Qwen3 (по посту)

Итог по качеству базовых моделей: Qwen3-1.7B / 4B / 8B / 14B / 32B-Base держатся на уровне Qwen2.5-3B / 7B / 14B / 32B / 72B-Base соответственно, а в STEM, коде и рассуждениях даже обгоняют их. MoE-версии догоняют плотные Qwen2.5 при примерно 10% активных параметров. Авторы объясняют это тремя причинами вместе: архитектура, больше данных, лучшие методы обучения — без разбивки, что дало сколько.

4. Пост-трейнинг: четыре этапа

flowchart TD
A["1. Холодный старт:<br/>SFT на длинных цепочках рассуждений"] --> B["2. RL на рассуждениях:<br/>награды по правилам"]
B --> C["3. Слияние режимов:<br/>SFT на смеси длинных CoT<br/>и обычных инструкций"]
C --> D["4. Общий RL:<br/>20+ задач — инструкции,<br/>формат, агенты"]
D --> E["Qwen3-235B-A22B, Qwen3-32B"]
E -. "дистилляция" .-> F["маленькие модели"]

Четырёхэтапный пост-трейнинг больших моделей Qwen3

1. Холодный старт на длинных рассуждениях. Дообучение на разнообразных длинных цепочках рассуждений: математика, код, логика, STEM. Цель — заложить базовую способность рассуждать (как холодный стартданные холодного стартаEN cold-start dataНебольшой набор качественных длинных рассуждений для SFT перед RL — так в DeepSeek-R1 исправили нечитаемость R1-Zero. у DeepSeek-R1).
2. RL на рассуждениях. Масштабирование вычислений на RL с наградами по правиламправиловая наградаEN rule-based rewardНаграду считает программа (сверка ответа, запуск тестов, проверка формата), а не нейросеть. Её трудно «взломать». (ответ сверяется с эталоном, код — тестами), чтобы усилить исследование и использование найденного.
3. Слияние режимов. Модель дообучают на смеси длинных рассуждений и обычных инструкций, причём эти данные сгенерировала сама модель после второго этапа. Так «недумающий» режим встраивается в думающую модель.
4. Общий RL. RL на 20+ задачах общего назначения — следование инструкциям, формату, агентные навыки — чтобы усилить общие способности и исправить нежелательное поведение.

Четыре этапа проходят флагманские модели. Маленькие, как уточняет техотчёт Qwen3 (PDF лежит в репозитории QwenLM/Qwen3), получают из больших дистилляцией «от сильной к слабой» — на ответах учителя и на собственных ответах ученика. Подробно этот путь — в уроке 6.4.4 (дистилляция «от сильной к слабой»дистилляция «от сильной к слабой»EN strong-to-weak distillationСхема Qwen3 для маленьких моделей. Сначала обучение на ответах большой модели (off-policy), затем подгонка к её логитам на собственных генерациях ученика (on-policy).).

5. Как пользоваться (раздел «Develop with Qwen3»)

Раздел повторяет то, что подробнее описано в документации (наш пересказ — часть 1 и часть 2): transformers с enable_thinking, серверы sglang>=0.4.6.post1 и vllm>=0.8.4 с парсером рассуждений, ollama run qwen3:30b-a3b для локального запуска.

Полезный пример из поста — мягкие переключатели в многоходовом диалоге. Вопрос «сколько букв r в strawberries?» (модель думает по умолчанию) → «а в blueberries? /no_think» (отвечает сразу) → «Правда? /think» (снова думает). Модель следует последней команде.

Для агентов пост рекомендует Qwen-Agent: он прячет внутри шаблоны и парсеры вызова инструментов; инструменты можно задать конфигурацией MCP, встроенными инструментами или своими (см. путеводитель по Qwen-Agent).

6. Будущее

Авторы называют Qwen3 вехой на пути к AGI и ASI и перечисляют направления: больше данных, больше модели, длиннее контекст, больше модальностей и RL с обратной связью от среды для рассуждений на длинном горизонте. Главная фраза поста — переход «от эпохи, сосредоточенной на обучении моделей, к эпохе обучения агентов». Через год это сбылось: см. урок 8.3.4 об agentic RL и урок 9.2.1 о том, куда пошли архитектуры в 2026 году.

Что сделать руками

1. Посчитайте размер KV-кэша на один токен для Qwen3-8B (36 слоёв, 8 KV-голов, размер головы 128, bf16): $2 \times 36 \times 8 \times 128 \times 2$ байта. Ответ: 147 456 байт = 144 КиБ — сверьте с числом из урока 7.1.2. Насколько больше было бы без GQA (32 KV-головы)?
2. Повторите диалог про strawberries / blueberries с /no_think и /think на Qwen3-1.7B и посмотрите, как меняется длина ответа.
3. Найдите в config.json модели Qwen3-30B-A3B поля с числом экспертов и активных экспертов и сверьте с таблицей.

Словарик

English	Русский
hybrid thinking modes	гибридное мышление
thinking budget	бюджет размышления
tie embedding	общие (связанные) эмбеддинги
long CoT cold start	холодный старт на длинных рассуждениях
thinking mode fusion	слияние режимов
general RL	общий RL
rule-based reward	награда по правилам
strong-to-weak distillation	дистилляция от сильной модели к слабой