MiniMax: «Почему M2 в итоге стала моделью с полным вниманием?» (конспект)

На чём основан конспект (прочитайте обязательно)

Сайт minimax.io и зеркало поста на Hugging Face из нашей сети не открываются, копии текста на GitHub мы не нашли. Поэтому это не пересказ оригинала «абзац за абзацем», а сводка того, что о посте надёжно известно, по источникам:

1. README и конфигурация модели в MiniMax-AI/MiniMax-M2 (лицензия MIT) — факты об архитектуре и о «перемежающемся мышлении»;
2. три независимых подробных разбора поста (английский блог Hiep Tran, корейский конспект dh5473 о гибридном внимании, китайская глава 23 открытого учебника pengqianhan/From-0-to-AGI) и обзор серии MiniMax в churuikai/llm-knowledge-base.

Мы приводим только то, в чём разборы сходятся; фразы в кавычках — цитаты из оригинала, как их приводит разбор Hiep Tran (отмечено). Наши объяснения и примеры отделены явно. Перед тем как ссылаться на детали, прочитайте оригинал — он короткий. Те же доводы позже вошли в техотчёт серии M2 (так указано в уроке 5.5.3).

Коротко

• Что случилось. MiniMax-01 (январь 2025) и MiniMax-M1 (июнь 2025) были гибридами: на 7 слоёв линейного внимания Lightning Attention — 1 слой обычного softmax-внимания. А MiniMax-M2 (октябрь 2025, MoE на 230 млрд параметров, из них 10 млрд активных) — полное внимание во всех слоях.
• Главный тезис поста (цитата по разбору Hiep Tran): в реальной системе промышленного уровня «эффективному вниманию ещё предстоит пройти путь, прежде чем оно сможет однозначно обыграть полное»; между обещанием «на бумаге» и отдачей в продакшене — «огромная разница».
• Почему — три группы причин, одинаково названные во всех разборах:
  1. качество: на большом масштабе гибрид проваливается в сложных многошаговых рассуждениях, хотя на малом масштабе и на стандартных бенчмарках выглядел не хуже;
  2. оценка: стандартные бенчмарки этих провалов не видят, а проверить по-настоящему — значит обучить большую модель;
  3. инфраструктура: реальные ядра линейного внимания упираются в память, выигрыш в скорости начинается только с длины в несколько тысяч токенов, рекуррентное состояние чувствительно к пониженной точности, неясно сочетание со спекулятивным декодированием и повторным использованием кэша.
• Это не приговор линейному вниманию, а позиция «пока нет, для наших задач». В июне 2026 года в M3 MiniMax вернулась к экономии, но через разреженное внимание.

Как читать вместе с курсом

Это лучшее «противоядие» к урокам об эффективном внимании. Сначала — 5.5.3 «Линейное внимание и гибриды» (там есть раздел «Честный разговор» по этому же посту) и 5.5.2 о разреженном внимании; для части об инфраструктуре — 7.1.1 (память против вычислений) и 7.1.2 (префикс-кэш, спекулятивное декодирование). Китайский контекст — трек 8 «Kimi, Qwen, GLM, MiniMax».

1. Отправная точка: ставка на линейное внимание

Линейное вниманиелинейное вниманиеEN linear attention заменяет растущий KV-кэшKV-кэшEN KV cache состоянием фиксированного размера: стоимость шага генерации не растёт с длиной контекста. MiniMax довела эту идею до продакшена первой: Lightning AttentionLightning AttentionEN Lightning AttentionЛинейное внимание с тайлингом — маскированная матрица внутри блока и состояние KᵀV между блоками. Основа MiniMax-01 (7 линейных слоёв на 1 softmax). в MiniMax-01 на 456 млрд параметров с контекстом до миллиона токенов. Гибрид 7:1 сохранял по одному слою полного внимания на каждые восемь — чтобы модель не теряла способность точно «доставать» факты из контекста.

M2 отказалась от этого полностью. Разборы, читавшие config.json модели, отмечают: в поле attn_type_list для всех 62 слоёв стоит 1, то есть полное softmax-внимание (с внимание с группами запросоввнимание с группами запросов (GQA)EN grouped-query attention (GQA)Головы запросов делятся на G групп, у каждой группы своя пара K/V. G = H — это MHA, G = 1 — MQA. Стандарт Llama 3 и Qwen (Ainslie и др., 2023).). Параллельно поменялась и MoE: 256 «тонких» экспертов с выбором 8 вместо 32 крупных с выбором 2 у M1.

flowchart LR
A["MiniMax-01<br/>январь 2025<br/>Lightning 7:1"] --> B["MiniMax-M1<br/>июнь 2025<br/>Lightning 7:1, рассуждения"]
B --> C["MiniMax-M2<br/>октябрь 2025<br/>полное внимание"]
C --> D["MiniMax-M3<br/>июнь 2026<br/>разреженное внимание"]

Как менялось внимание в моделях MiniMax

2. Причина первая: качество там, где не смотрели

По всем разборам: на малом масштабе гибрид и полное внимание давали почти одинаковые баллы на стандартных бенчмарках. С ростом модели вскрылись явные провалы в сложных многошаговых рассуждениях (формулировка «clear deficits in complex, multi-hop reasoning tasks» — по цитате у Hiep Tran).

Почему так (наше объяснение). Многошаговая задача — это цепочка: найти в контексте факт A, по нему найти факт B, по B — ответ. Полное внимание на каждом шаге смотрит на точные ключи и значения всех токенов. Линейный слой смотрит в сжатую сводку: состояние фиксированного размера, в которое «вмешаны» все прошлые токены. Каждый поиск по сводке немного неточен — а в цепочке ошибки складываются. Один слой полного внимания на восемь спасает задачи «найди иголку», но не цепочки «иголка ведёт к иголке».

Пример с числами: пусть один поиск по сводке находит нужный факт с вероятностью 0,95. Для одношаговой задачи это 95%, для четырёхшаговой — уже $0{,}95^4 \approx 0{,}81$, для восьмишаговой — $0{,}95^8 \approx 0{,}66$. Агентные задачи с десятками шагов особенно чувствительны к такому накоплению.

3. Причина вторая: оценка — узкое место

Корейский разбор передаёт, что MiniMax назвала бенчмарки «протекающей абстракцией» (leaky abstraction): они измеряют не то, что важно, и пропускают слабости. Стандартные тесты насыщены и в основном проверяют одношаговый поиск. Команда строила свои прокси-метрики для многошагового поиска, но нет гарантии, что на ещё большем масштабе прокси продолжат предсказывать реальные задачи — а настоящая проверка требует обучить большую модель целиком. Для решения об архитектуре флагмана такой риск слишком дорог.

4. Причина третья: инфраструктура не готова

Здесь пост, по словам разборов, особенно конкретен:

• Ядра упираются в память. Теоретически линейное внимание требует меньше операций. Но его шаг — небольшое матричное обновление состояния, которое надо прочитать и записать в память на каждом шаге; GPU простаивает в ожидании данных. Полное внимание (FlashAttention) — большие плотные матричные умножения, на которых тензорные ядра загружены. Поэтому по реальному времени линейное внимание выигрывает только начиная с длины «в несколько тысяч токенов — что не так уж много» (цитата по Hiep Tran). Разберитесь с этим через модель rooflineмодель roofline («крыша»)EN roofline modelДостижимая производительность = min(пик FLOP/с, интенсивность × пропускная способность памяти). Точка перегиба (ridge point) = пик / пропускная способность; у H100 около 295 FLOP/байт. из урока 7.1.1.
• Чувствительность к точности. Значения в KV-кэше записываются один раз и больше не меняются. Состояние линейного слоя переписывается на каждом токене — и при хранении в пониженной точности (FP8 и т. п.) ошибки округления копятся. Все разборы передают вывод MiniMax: линейное внимание заметно чувствительнее к числовой точности.
• Спекулятивное декодирование и повторное использование кэша. Ускорители продакшена построены вокруг KV-кэша: спекулятивное декодированиеспекулятивное декодированиеEN speculative decoding (черновик + проверка, откат отвергнутых токенов) и префикс-кэшпрефикс-кэш (кэширование префиксов)EN prefix cachingЕсли начало нового запроса совпадает с уже обработанным (системный промпт, история диалога), его KV-кэш берут готовым и prefill делают только для «хвоста». (общее начало разных запросов считается один раз). Для рекуррентного состояния и то и другое сложнее: состояние нельзя просто «обрезать» до нужной позиции. На момент поста, по разборам, совместимость со спекулятивным декодированием оставалась нерешённой задачей; агентам же, которые прогоняют сотни траекторий с одним и тем же длинным началом (репозиторий, инструкции), префикс-кэш критичен.

5. Отдельный эксперимент: скользящее окно

Разбор Hiep Tran пересказывает ещё один отрицательный результат поста. MiniMax пробовала и внимание со скользящим окномвнимание со скользящим окном (SWA)EN sliding window attention (SWA)Токен видит только w последних токенов. Стоимость O(n·w) вместо O(n²), KV-кэш не больше w позиций на слой. (softmax-внимание только к последним N токенам — другой способ получить линейную стоимость). Оно «показало себя крайне плохо на агентных задачах и сложных тестах длинного контекста», причём качество «заметно падало с ростом длины контекста — что неприемлемо для агентов» (цитаты по Hiep Tran).

Объяснение, которое приводит разбор: глобальные шаблоны внимания вроде «голов поиска» (retrieval heads) и индукционных головиндукционная головаEN induction headПара голов, которая находит в контексте прошлое появление текущего токена и копирует токен, шедший после него ([A][B] … [A] → [B]). Механизм in-context learning (Olsson и др., 2022). формируются рано, при предобучении, и вернуть их продолжением предобучения на архитектуре с окном не удаётся. Мораль: некоторые свойства модели — это решения времени предобучения, дообучением их не «прикрутить».

6. Что из этого следует

Пост не утверждает, что линейное внимание не нужно. Его позиция: при нынешних моделях, бенчмарках и инфраструктуре выигрыш в скорости не окупает рисков для агентных задач. Что стоит вынести инженеру:

Вопрос	Что говорит опыт M2
Сравнивать архитектуры по таблице сложности?	Нет: смотрите на реальное время на вашем железе и вашей длине контекста
Хватает ли стандартных бенчмарков?	Нет: нужны свои тесты на многошаговый поиск и агентные траектории
Можно ли починить архитектуру дообучением?	Не всегда: часть способностей закладывается при предобучении
Окончательный ли это приговор?	Нет: Qwen (Qwen3-Next, Qwen3.5) и Moonshot (Kimi Linear, Kimi K3) продолжили линию гибридов, MiniMax в M3 выбрала разреженное внимание — спор открыт

Важный практический факт из README M2 (лицензия MIT): M2 — модель с перемежающимся мышлением (interleaved thinking): рассуждение в <think>…</think> идёт между вызовами инструментов, и README требует возвращать эти блоки в истории без изменений — «не удаляйте часть <think>...</think>, иначе качество модели пострадает». Это обратное правилу Qwen3 (у Qwen старые рассуждения из истории выбрасываются, см. документацию Qwen) — хороший пример того, что «как правильно вести историю» зависит от модели.

Что сделать руками

1. Повторите эксперимент «памяти» из урока 5.5.3 с задачей в два и три шага (найти A → по A найти B). Как падает точность линейной модели по сравнению с полным вниманием?
2. Посчитайте для Qwen3-8B (см. конспект поста о Qwen3), сколько памяти занимает KV-кэш на 4 тыс. и на 128 тыс. токенов. С какой длины экономия от линейного внимания становится заметной для вашей RTX 4080?
3. Прочитайте оригинал поста (если он вам доступен) и найдите, чего не хватает в этом конспекте.

Словарик

English	Русский
full attention	полное внимание
linear attention / hybrid	линейное внимание / гибрид
multi-hop reasoning	многошаговые рассуждения
memory-bound kernel	ядро, упирающееся в память
speculative decoding	спекулятивное декодирование
prefix caching	префикс-кэш
sliding window attention	внимание со скользящим окном
interleaved thinking	перемежающееся мышление