Как читать китайские технические источники

Зачем это нужно

Статьи китайских лабораторий выходят на английском, на arXiv. Но вокруг них есть огромный пласт текстов на китайском, который почти не доходит до русскоязычного читателя:

• Разборы в день выхода. Через несколько часов после техотчёта DeepSeek или Qwen на Чжиху появляются подробные объяснения с формулами и кодом. Часть из них пишут инженеры самих лабораторий.
• Оригинальные идеи. RoPE — позиционное кодирование почти всех современных LLM — сначала было описано по-китайски, в блоге Су Цзяньлиня, и только потом в англоязычной статье (подробнее — в блоке «Китайский угол»).
• Контекст. Интервью основателей, найм, цены, «кухня» — всё это выходит в китайских СМИ и WeChat.
• Учебники и курсы. Datawhale, d2l-zh, лекции Ли Хунъи — одни из лучших открытых учебных материалов по AI (урок 5 этого трека).

Учить китайский для этого не нужно. Нужны четыре навыка: знать, где искать; читать через машинный переводмашинный переводEN machine translation с глоссарием и узнавать «ложных друзей» переводчика; проверять числа и громкие заявления по первоисточнику; уметь работать с китайскими репозиториями. В конце урока вы напишете инструмент, который сверяет машинный перевод с техотчётом, и сами отредактируете три сырых перевода.

Где искать: карта источников

Источник	Что там	Надёжность
Чжиху (Zhihu, zhihu.com)	вопросы-ответы и авторские колонки — китайский аналог Quora; разборы статей, мнения инженеров	от отличной до мусорной — смотрите профиль автора
«Научное пространство» (kexue.fm)	блог Су Цзяньлиня: математика внимания, позиционных кодирований, оптимизаторов	высокая, авторские исследования
«Цзици чжи синь» (Synced, jiqizhixin.com)	профессиональное издание об ИИ: новости, интервью, пересказы статей	хорошая для новостей
«Лянцзывэй» (QbitAI, qbitai.com)	быстрые новости, громкие заголовки	новости — да, оценки — с осторожностью
CSDN (csdn.net)	огромная блог-платформа, много копий и пересказов	низкая для теории, полезна для ошибок установки
Juejin (juejin.cn), Cnblogs (cnblogs.com)	блоги разработчиков	разная
Bilibili (bilibili.com)	видео: разборы статей Ли Му, лекции Ли Хунъи, курсы по системам ИИ	высокая у известных авторов
Официальные аккаунты в WeChat	каналы лабораторий и СМИ; анонсы часто выходят здесь первыми	официальные — высокая
Блоги и GitHub лабораторий	блог Qwen (qwenlm.github.io), документация DeepSeek (api-docs.deepseek.com), README в репозиториях	первоисточник

Статьи WeChat плохо индексируются обычными поисковиками. Ищите их через поиск Sogou по WeChat (weixin.sogou.com) или по точному заголовку. А фактам из любого вторичного источника доверяйте только после сверки с техотчётом или официальным репозиторием.

Как искать, не зная языка

Площадки ищут по-китайски, но латиница в китайских техтекстах встречается постоянно: названия моделей и методов (DeepSeek-V3, MLA, GRPO, LoRA), имена функций, тексты ошибок. Отсюда три приёма.

1. Ищите латиницей. Запрос «MLA DeepSeek» на Чжиху уже выдаст разборы. Ищете разбор кода — добавьте имя функции или класса.
2. Переведите сам запрос. Сформулируйте его по-русски, например «подробный разбор принципа MLA с реализацией с нуля», попросите переводчик или LLM перевести его на китайский и вставьте результат в поиск.
3. Ищите по жанру. У китайских техтекстов есть устойчивые жанры с узнаваемыми словами в заголовках (таблица ниже). Попросите LLM добавить к запросу слово нужного жанра — так вы отсеете новости и найдёте разборы с кодом.

Жанры: что вы найдёте

Жанр	Что внутри	Как переводчик передаст заголовок
Техотчёт	официальный документ лаборатории, часто тот же текст, что на arXiv	«технический отчёт» — первоисточник для чисел
Разбор статьи или отчёта	пересказ с комментариями, нередко в день выхода	«интерпретация», «разбор», «понять за одну статью»
Объяснение принципа	формулы, схемы, выводы	«подробное объяснение», «принцип», «объяснение в картинках»
Реализация с нуля	код без фреймворков, строка за строкой	«реализация с нуля», сленговое «порвать руками»
Разбор исходного кода	как устроены vLLM, Megatron, transformers изнутри	«анализ исходного кода»
Подробное чтение статей	медленный разбор классики; знаменитая видеосерия Ли Му на Bilibili	«тщательное чтение статьи»
Пошаговый туториал	установка и запуск для новичков	«туториал уровня няни» — то есть разжёвано до мелочей
Заметки о граблях	ошибки установки и обучения с решениями	«наступить в яму», «записки о ямах»
Отчёты о собеседованиях	какие вопросы задавали на позицию LLM-инженера в конкретной компании	«опыт собеседования»
Заученные шаблонные ответы («багу»)	сборники стандартных вопросов и ответов к собеседованиям	«восьмичленное сочинение» — так называли шаблонное экзаменационное сочинение старого Китая

Отчёты о собеседованиях — неожиданно полезный жанр: по ним видно, что реально спрашивают у LLM-инженеров в китайских компаниях. Сборники «багу» читать полезно, зубрить бессмысленно: интервьюеры как раз ищут, кто понимает, а не помнит наизусть (о собеседованиях — модуль 11.3).

Рабочий процесс: перевод + глоссарий + сверка

flowchart LR
A["Найти текст<br/>Чжиху, WeChat, блоги"] --> B["Машинный перевод<br/>по 2–5 абзацев"]
B --> C["Сверить термины<br/>по глоссарию курса"]
C --> D["Проверить числа<br/>и формулы по оригиналу"]
D --> E["Сверить факты<br/>техотчёт, GitHub"]

Пять шагов чтения китайского техтекста

Инструменты. Для обзора страницы целиком хватит встроенного перевода браузера (Chrome, Яндекс Браузер, Edge). Для отдельных фрагментов — Яндекс Переводчик, DeepL, Google Переводчик. Для плотных абзацев лучше всего LLM: китайские модели (DeepSeek, Qwen, GLM, Kimi) обучены на огромных китайских корпусах и хорошо понимают технический китайский. Главное — дать модели глоссарий и правила. Готовый промпт:

Ты — технический переводчик с китайского на русский, специалист по LLM.
Переведи текст ниже абзац за абзацем. Правила:
1. Слово, которое значит и «инференс», и «рассуждение», переводи по контексту: рядом скорость, стоимость,
   фреймворк, развёртывание — «инференс»; способность модели думать, модели-«рассуждатели» — «рассуждение».
2. «Карта» в значении вычислителя — это GPU: «8 карт» — 8 GPU, «часы карт» — GPU-часы.
3. Числа с китайскими множителями (десять тысяч, сто миллионов) переводи в международную запись — 671B, 14.8T —
   и в скобках оставляй цифры оригинала.
4. Английские термины внутри текста (loss, token, attention) оставляй как есть.
5. Сленг переводи по смыслу, а в скобках давай буквальный перевод: «обучение модели (букв. „алхимия“)».
6. Компании и модели пиши латиницей: DeepSeek, Moonshot AI, Zhipu, Qwen, Huawei Ascend. Имена людей —
   в русской транскрипции: Лян Вэньфэн, Ян Чжилинь.
7. Формулы, код и LaTeX не переводи и не меняй.
8. После перевода выпиши термины, в которых не уверен, с вариантами перевода и английским эквивалентом.

Текст:
...

Пять приёмов чтения

1. Переводите абзацами, а не предложениями. В китайском часто опускают подлежащее, а многозначные слова проясняются только по соседним фразам. Переводчик, которому дали одно предложение, гадает. Но и всю длинную статью одним запросом не отдавайте: LLM может начать сокращать и пересказывать. Удобная порция — 2–5 абзацев.
2. Сверяйте термины с глоссарием курса. Странное слово в переводе — «словарная единица», «интеллектуальное тело» — сигнал: найдите правильный термин на странице «Глоссарий» или спросите LLM, какой английский термин здесь, скорее всего, имелся в виду. Китайские авторы часто пишут английский термин в скобках после китайского — это лучшая подсказка, и в переводе она сохраняется.
3. Проверяйте числа по оригиналу. Цифры в китайских техтекстах почти всегда пишут арабскими, их видно без знания языка. Как их сверять, разберём ниже.
4. Формулы и код берите только из оригинала. Встроенный перевод страницы может перевести комментарии, строки и даже имена переменных в коде. Формулы на многих площадках — картинки, которые переводчик просто не видит. Выключите перевод и скопируйте код и LaTeX со страницы-оригинала.
5. Держите оригинал рядом. Откройте страницу в двух вкладках — с переводом и без — и сверяйтесь, когда фраза выглядит странно. Английские вставки, числа и названия моделей в оригинале видны сразу.

Как устроены китайские числа

Мы группируем разряды по три нуля: тысяча, миллион, миллиард. Китайский считает по четыре: есть отдельное слово для 10 000 («десять тысяч») и для 100 000 000 («сто миллионов»). Миллиард по-китайски — «десять сотен миллионов», триллион — «десять тысяч сотен миллионов». В тексте множитель стоит одним-двумя иероглифами сразу после цифр: 6710 и знак «сто миллионов» — это $6710 \times 10^8 = 6.71 \times 10^{11}$, то есть 671 млрд.

В оригинале: цифры и множитель	Как считать	Как пишут в статьях
12.8 и «десять тысяч» токенов	$12.8 \times 10^4$	128K
70 и «сто миллионов» параметров	$70 \times 10^8$	7B
2350 и «сто миллионов» параметров	$2350 \times 10^8$	235B
1.6 и «десять тысяч сотен миллионов» параметров	$1.6 \times 10^{12}$	1.6T
36 и «десять тысяч сотен миллионов» токенов	$36 \times 10^{12}$	36T

Хорошие переводчики пересчитывают такие числа сами, но не всегда верно: самая частая ошибка — «6710 миллиардов» вместо 671 млрд. Бывает и честная, но непривычная запись: «15,5 тысячи миллиардов» — это верные 15.5 трлн. Правило простое: возьмите цифры оригинала, умножьте на множитель и сравните с переводом и с техотчётом.

«Ложные друзья» машинного перевода

Машинный перевод с китайского обычно грамматически гладкий, поэтому ошибки в нём незаметны. Ниже — типичные ловушки. Левая колонка — что примерно выдаст переводчик, средняя — что имел в виду автор.

Переводчик пишет	Что имелось в виду	Почему так
«рассуждение» рядом со скоростью, стоимостью, фреймворком	инференсинференс, вывод моделиEN inferenceСм. «reasoning»: в китайском одно и то же слово.	одно китайское слово значит и inference, и reasoning
«большая модель»	LLM	так в Китае называют большие модели в целом, в том числе языковые
«словарная единица», «словесный элемент»	токентокенEN tokenВ разговорной речи и статьях китайцы чаще всего пишут просто «token».	китайский термин для токена дословно — «словесный элемент»
«8 карт», «кластер на десять тысяч карт»	8 GPU, кластер на 10 000 GPU	«карта» — разговорное «видеокарта»
«часы карт»	GPU-часы	то же
«взрыв видеопамяти»	нехватка видеопамяти, ошибка out of memory	разговорное выражение
«интеллектуальное тело»	агентагентEN agentВ китайском встречается и «дайли» («посредник»), но в AI-контексте стандарт — «чжинэнти» (буквально «интеллектуальное тело»).	китайский термин для AI-агента дословно так и звучит
«вычислительная сила»	вычислительные мощности (compute)	буквальный перевод
«усиленное обучение»	обучение с подкреплением (RLобучение с подкреплениемEN reinforcement learning (RL))	буквальный перевод термина
«количественная оценка», «квантификация»	квантованиеквантованиеEN quantization	то же китайское слово значит «количественный анализ» и даже «квант-трейдинг»
«гибридные эксперты», «смешанные эксперты»	смесь экспертов (MoEсмесь экспертов (MoE)EN mixture of experts (MoE))	буквальный перевод
«скрытое внимание», «скрытый вектор»	латентное внимание, латентный вектор (MLA)	«скрытый» и «латентный» — одно китайское слово
«отзыв», «коэффициент отзыва»	полнотаполнота (recall)EN recallTP / (TP + FN). Recall — буквально «отозвать, вернуть»: та же метрика recall@k в поиске и RAG.	буквальный перевод
«точность»	accuracy или precision	в китайском это два разных слова, а переводчик даёт одно — уточните по английскому термину
«открыла исходный код»	чаще всего — выложила открытые весаоткрытые весаEN open weights	см. урок 3 этого трека
«Тёмная сторона Луны», «Глубокий поиск», «Тысяча вопросов Тунъи»	Moonshot AI, DeepSeek, Qwen	названия компаний и продуктов переводчик иногда переводит буквально

Ещё две ловушки не помещаются в таблицу.

Английские слова внутри китайского. Китайские инженеры пишут вперемешку: «loss не сходится», «этот trick очень work». Переводчик иногда коверкает такие фразы — смотрите в оригинал, английские слова там видны.

Имена людей. Переводчик оставляет их в латинской записи или искажает. По-русски китайские имена пишут в транскрипции Палладия: Лян Вэньфэн, Ян Чжилинь, Су Цзяньлинь, Ли Хунъи. Ли Му известен на Западе как Mu Li — по-английски фамилию ставят после имени.

Сленг китайского AI-сообщества

Сленг — самая коварная часть: переводчик передаёт его буквально, и фраза теряет смысл. Слева — как слово звучит в русской транскрипции (так оно записано и в глоссарии курса).

Сленг	Буквально (так часто переводит машина)	Смысл
«ляньдань»	выплавлять пилюлю бессмертия, «алхимия»	обучать модель, особенно подбирая гиперпараметры наугад; «ляньдань-ши» («мастер алхимии») — ML-инженер
«тяоцань-ся»	рыцарь подкрутки параметров	тот, кто только и делает, что крутит гиперпараметры
«цзюань», «нэйцзюань»	закручиваться, «свиток»; инволюция	изматывающая гонка без выигрыша; «слишком цзюань» — «гонка зашкаливает»
«шуабан»	натирать рейтинг, «чистить список»	подгонять модель под бенчмарки
«таокэ»	надеть оболочку	выдавать чужую модель или API за свою
«бай мо дачжань»	война сотни моделей	2023–2024: десятки компаний одновременно выпускают LLM
«ця боцзы»	держать за горло	критическая технологическая зависимость
«лоди»	приземлиться	довести технологию до реального продукта
«сюаньсюэ»	мистика, метафизика	приём, который работает, но никто не знает почему
«чоука»	тянуть карту, как в гача-играх	перегенерировать ответ, пока не повезёт
«цайкэн»	наступить в яму	наткнуться на грабли; «записки о ямах» — заметки о граблях

Обратите внимание: «цзюань» пишется тем же иероглифом, что и первая половина китайского слова «свёртка» (convolution, как в CNN). Машинный перевод иногда путает их в самых неожиданных местах.

Как проверять громкие заявления

Китайские СМИ и блоги, как и любые другие, любят заголовки «X обогнала GPT», «обучили за копейки», «первая в мире». Перевод добавляет ещё один слой искажений. Прежде чем пересказывать такую новость коллегам, пройдите по списку.

1. Найдите первоисточник. Техотчёт на arXiv, официальный блог, репозиторий лаборатории, карточка модели в официальной организации на Hugging Face или ModelScope. Нет первоисточника — нет факта.
2. Проверьте, что именно утверждается. «Обогнала» — на каких бенчмарках, какую версию конкурента, в каком режиме (с рассуждением или без)? Таблица в техотчёте почти всегда скромнее заголовка.
3. Сверьте числа с конфигом. Число параметров, экспертов, длину контекста смотрите в config.json модели — так же, как в уроке 1 этого трека мы читали названия вида 235B-A22B.
4. Ищите независимую проверку. Публичные рейтинги (LMArena, OpenCompass от Shanghai AI Lab), воспроизведения в issues и на Hugging Face, свой маленький тест на собственных задачах.
5. Отличайте факт от пересказа. «По сообщениям», «по данным источников» — ещё не факт. Такие числа помечайте [?], как в уроке 9 этого трека, и не стройте на них выводы.

Классический пример — «DeepSeek обучила модель уровня GPT-4o за 6 миллионов долларов». Первоисточник, техотчёт V3, говорит другое: 5.576 млн долл. — это 2.788 млн GPU-часов H800 по условной цене аренды 2 долл. за час, и только для финального прогона. Авторы сами оговаривают, что предварительные исследования и абляции сюда не входят. Подробный разбор — в уроке 2 этого трека.

Китайские репозитории и документация на GitHub

Код китайских лабораторий почти весь на GitHub, и с ним проще, чем с блогами: код и traceback читаются без перевода.

• Ищите английский README. У многих крупных китайских проектов README на двух языках: обычно README.md и README_zh.md (или README_CN.md), иногда наоборот — китайский основной, а английский лежит в README_en.md. Ссылки на языковые версии стоят в шапке. Английская версия бывает короче и отстаёт — сравните даты последних правок.
• Документация. У сайтов документации обычно есть переключатель языка или отдельные пути вроде /en/ и /zh-cn/. Карточки китайских моделей на Hugging Face, как правило, на английском.
• Issues — главный источник решений. Ищите по тексту ошибки: traceback на английском выглядит одинаково и в китайском обсуждении. Найденное читайте через встроенный перевод браузера — на GitHub он работает. Свой вопрос смело пишите по-английски: в крупных проектах это обычная практика.
• Комментарии в коде на китайском. Попросите LLM: «Переведи на русский только комментарии и docstring, код не меняй». Сравните результат с оригиналом через diff, чтобы убедиться, что код не тронут.
• Кодировки. Старые китайские датасеты и скрипты бывают в кодировке GBK, а не UTF-8. Python тогда падает с UnicodeDecodeError или показывает кракозябрыкракозябры (mojibake)EN mojibakeНечитаемый текст из-за декодирования байтов не той кодировкой, например «РџСЂРёРІРµС‚» вместо «Привет». — то же самое, что старые русские файлы в cp1251 (о кодировках — урок 0.0.2).

# Файл из старого китайского датасета не читается как UTF-8? Укажите кодировку явно.
with open("data.txt", encoding="gb18030") as f:   # gb18030 — расширенная версия GBK
    text = f.read()

Сообщество в WeChat

README китайских проектов часто зовёт в группы WeChat по QR-коду. Без китайского номера телефона туда попасть трудно, поэтому для вопросов используйте Issues и Discussions на GitHub, а если есть — Discord проекта.

Практика 1: проверка машинного перевода

Соберём из правил урока маленький инструмент. Он берёт сырой машинный перевод, числа из первоисточника и словарь «ложных друзей» и выдаёт список замечаний — что проверить и исправить. Напишите четыре функции:

1. parse_number('2,788 миллиона') → 2788000.0 — числа в записи переводчика и в записи статей: 671B, 671 млрд, 15,5 тысячи миллиардов (множители перемножаются);
2. humanize(671e9) → '671B' — запись как в англоязычных статьях;
3. find_numbers(text) — все числа текста, при этом «V3», «H800» и «FP8» числами не считаются;
4. review(translation, reference, false_friends) — замечания: каких чисел из первоисточника нет в переводе и какие «ложные друзья» в нём встретились.

Словарь «ложных друзей» в задании ищет точные фразы из сырых переводов этого урока. В настоящем инструменте слова стоит приводить к начальной форме (лемматизация, например библиотекой pymorphy3), чтобы ловить любые падежи.

Проверка машинного перевода7 тестов

import re

# Множители в переводе: русские слова (ищем по началу слова, чтобы ловить любые падежи)
# и суффиксы, которыми числа записывают в англоязычных статьях.
WORD_UNITS = {
    "тыс": 1e3,
    "млн": 1e6,
    "миллион": 1e6,
    "млрд": 1e9,
    "миллиард": 1e9,
    "трлн": 1e12,
    "триллион": 1e12,
}
SUFFIXES = {"K": 1e3, "M": 1e6, "B": 1e9, "T": 1e12}

# Число с необязательным множителем: 671B, 14.8T, 671 млрд, 2,788 миллиона, 15,5 тысячи миллиардов, 42.
# Группа 1 — цифры, группа 2 — суффикс K/M/B/T или слова-множители (может быть пустой).
# (?<![\w.,]) — число не должно продолжать слово или другое число: «V3», «H800», «FP8» не считаются.
NUM_RE = re.compile(
    r"(?<![\w.,])(\d+(?:[.,]\d+)?)"
    r"([KMBT](?!\w)|(?:\s(?:тыс|млн|млрд|трлн|миллион|миллиард|триллион)\w*\.?)*)"
)

# «Ложные друзья» из сырых переводов урока: что выдал переводчик → что имел в виду автор.
FALSE_FRIENDS = {
    "гибридных экспертов": "смесь экспертов (MoE)",
    "словарная единица": "токен",
    "при рассуждении": "при инференсе? (проверьте контекст)",
    "скрытое внимание": "латентное внимание",
    "часов карт": "GPU-часов",
    "свиток": "изматывающая гонка (сленг «цзюань»)",
    "чистке списков": "накрутке бенчмарков (сленг «шуабан»)",
    "приземляется": "доходит до внедрения (сленг «лоди»)",
    "переплавки эликсира": "обучения модели (сленг «ляньдань»)",
    "взрыв видеопамяти": "нехватка видеопамяти (OOM)",
    "усиленное обучение": "обучение с подкреплением (RL)",
    "интеллектуальное тело": "агент",
}


def parse_number(s):
    """'671B' -> 671e9, '2,788 миллиона' -> 2.788e6, '15,5 тысячи миллиардов' -> 15.5e12, '42' -> 42.0.

    Цифры дают основу (запятая — десятичный разделитель, как в русском тексте).
    Суффикс K/M/B/T (из SUFFIXES) или КАЖДОЕ слово-множитель умножает её:
    слово-множитель — то, что начинается с ключа WORD_UNITS; «тысячи миллиардов» = 10³ · 10⁹.
    Если строка не похожа на число — ValueError.
    """
    # TODO: NUM_RE.fullmatch(...), затем цифры → float, затем множители
    ...


def humanize(n):
    """671e9 -> '671B', 14.8e12 -> '14.8T', 2.788e6 -> '2.788M', 128000 -> '128K', 42 -> '42'."""
    # TODO: выберите самую крупную подходящую единицу T/B/M/K
    ...


def find_numbers(text):
    """Все числа текста в порядке появления, уже с учётом множителей.

    'V3: 671B всего, 37 млрд активных' -> [671e9, 37e9]  («3» в «V3» — не число).
    """
    # TODO: NUM_RE.finditer + parse_number
    ...


def review(translation, reference, false_friends):
    """Замечания к машинному переводу — список строк.

    1) Для каждого числа из reference (числа берём из первоисточника — техотчёта) проверьте, есть ли
       в переводе число, равное ему с относительной точностью 1e-6. Если нет — 'нет числа 671B'
       (запись через humanize). Порядок — как в reference.
    2) Затем для каждой фразы из false_friends (в порядке словаря), которая встречается в переводе
       без учёта регистра, — '«фраза» → замена'.
    """
    # TODO
    ...


# Сырой машинный перевод абзаца о DeepSeek-V3 (составлен для курса) и числа из техотчёта (arXiv:2412.19437)
RAW = (
    "DeepSeek-V3 использует архитектуру гибридных экспертов (MoE), общее количество параметров составляет "
    "6710 миллиардов, при этом каждая словарная единица активирует всего 37 миллиардов параметров. "
    "Чтобы уменьшить занятость видеопамяти при рассуждении, модель использует многоголовое скрытое внимание (MLA), "
    "которое сжимает кэш ключей и значений в низкоразмерный скрытый вектор. Что касается обучения, команда впервые "
    "проверила осуществимость обучения со смешанной точностью FP8 на сверхкрупной модели, и всё обучение заняло "
    "всего 2,788 миллиона часов карт H800."
)
REFERENCE = [671e9, 37e9, 2.788e6]

# Проверьте себя кнопкой «Запустить»:
print(parse_number("15,5 тысячи миллиардов"), humanize(14.8e12))
print(find_numbers("V3: 671B всего, 37 млрд активных, 14.8T токенов на H800"))
print(review(RAW, REFERENCE, FALSE_FRIENDS))

ЗапуститьПроверитьПодсказкаСбросить

Практика 2: редактируем машинный перевод

Три абзаца ниже — сырые машинные переводы китайских абзацев в стиле техблогов. Они составлены для курса, но ошибки в них типичные, а факты в оригиналах верные — их можно сверить с техотчётами. Ваша задача — превратить сырой перевод в нормальный русский текст.

Разбор: абзац о DeepSeek-V3

DeepSeek-V3 использует архитектуру гибридных экспертов (MoE), общее количество параметров составляет 6710 миллиардов, при этом каждая словарная единица активирует всего 37 миллиардов параметров. Чтобы уменьшить занятость видеопамяти при рассуждении, модель использует многоголовое скрытое внимание (MLA), которое сжимает кэш ключей и значений в низкоразмерный скрытый вектор. Что касается обучения, команда впервые проверила осуществимость обучения со смешанной точностью FP8 на сверхкрупной модели, и всё обучение заняло всего 2,788 миллиона часов карт H800.

Цифры в оригинале: 6710 и 370 — с множителем «сто миллионов», 278.8 — с множителем «десять тысяч».

Шаг 1. Инструмент. Решение практики 1 с числами из техотчёта (REFERENCE = [671e9, 37e9, 2.788e6]) выдаёт:

нет числа 671B
«гибридных экспертов» → смесь экспертов (MoE)
«словарная единица» → токен
«при рассуждении» → при инференсе? (проверьте контекст)
«скрытое внимание» → латентное внимание
«часов карт» → GPU-часов

Шаг 2. Ловушки этого абзаца.

• $6710 \times 10^8 = 6.71 \times 10^{11}$ — это 671 млрд, а переводчик написал «6710 миллиардов», в 10 раз больше. А вот $370 \times 10^8$ = 37 млрд и $278.8 \times 10^4$ = 2.788 млн он пересчитал верно.
• «При рассуждении» стоит рядом с расходом видеопамяти, значит, речь об инференсе, а не о рассуждениях.
• «Кэш ключей и значений» — это KV-кэш, «скрытое» внимание — латентное (Multi-head Latent Attention).
• «Часы карт» — GPU-часы, «словарная единица» — токен.

Шаг 3. Перевод.

DeepSeek-V3 построена на архитектуре смеси экспертов (MoE): всего 671 млрд параметров, но на каждый токен активируется только 37 млрд. Чтобы снизить расход видеопамяти при инференсе, модель использует многоголовое латентное внимание (MLA): KV-кэш сжимается в один низкоразмерный латентный вектор. Что касается обучения, команда впервые подтвердила применимость обучения в смешанной точности FP8 на модели сверхбольшого масштаба. Всё обучение заняло лишь 2.788 млн GPU-часов на H800.

Сверка с первоисточником: все числа есть в техотчёте DeepSeek-V3 (arXiv:2412.19437).

Упражнение 1: абзац со сленгом

В последнее время круг больших моделей слишком свиток: модель, исходный код которой открыли только на прошлой неделе, на этой неделе уже обогнали новые модели во всех крупных списках. Некоторые пользователи сети жалуются, что многие команды заботятся только о чистке списков, а когда модель действительно приземляется, эффект оказывается средним. Но есть и те, кто считает, что именно эта ожесточённая конкуренция заставляет цены на API падать снова и снова.

Подсказка: в абзаце четыре сленговых слова и один «открытый исходный код». «Списки» здесь — рейтинги моделей.

Эталонный перевод

В мире больших моделей сейчас слишком жёсткая гонка («цзюань»): модель, веса которой выложили только на прошлой неделе, уже на этой неделе обходят новые модели во всех крупных рейтингах. Пользователи жалуются, что многие команды заняты только подгонкой под бенчмарки («шуабан»), а когда дело доходит до реального внедрения («лоди»), результат оказывается посредственным. Впрочем, есть и мнение, что именно эта ожесточённая конкуренция заставляет цены на API снижаться снова и снова.

Упражнение 2: абзац о MuonClip

Во время переплавки эликсира внезапный взлёт loss — обычное дело. MuonClip, предложенный командой Kimi, пропорционально уменьшает веса проекций query и key, когда logit внимания превышает порог, поэтому в предварительном обучении K2 на 15,5 тысячи миллиардов token не появилось ни одного пика loss.

Цифры в оригинале: 15.5 с множителем «десять тысяч сотен миллионов». Проверьте, правильно ли переводчик передал число.

Эталонный перевод

При обучении модели («ляньдань», букв. «алхимия») внезапный скачок loss — обычное дело. Предложенный командой Kimi метод MuonClip пропорционально уменьшает веса проекций query и key, когда logit внимания превышает порог. В результате за весь претрейн K2 на 15.5 трлн (15.5T) токенов не случилось ни одного всплеска loss.

Проверка: в оригинале $15.5 \times 10^{12}$, в переводе «15,5 тысячи миллиардов», то есть $15.5 \times 10^3 \times 10^9 = 1.55 \times 10^{13}$ — то же самое: переводчик не ошибся, просто записал число непривычно. Техотчёт Kimi K2 (arXiv:2507.20534) называет те же 15.5T. Подробно о Muon и QK-Clip — в модуле 5.4.

Сравните свою правку с эталонами. Если вы оставили «рассуждение» в разобранном абзаце, «свиток» в первом упражнении или «исправили» верные 15,5 тысячи миллиардов во втором — вернитесь к разделам о числах и «ложных друзьях».

Китайский угол: RoPE родился в китайском блоге

Ротационные позиционные эмбеддинги (ротационные позиционные эмбеддингиротационные позиционные эмбеддинги (RoPE)EN rotary position embedding (RoPE)RoPE предложен в Китае (Су Цзяньлинь и соавторы, компания Zhuiyi). Сейчас используется почти во всех LLM.) стоят в LLaMA, Qwen, DeepSeek, Kimi — почти во всех современных LLM. Предложил их Су Цзяньлинь, тогда исследователь шэньчжэньской компании Zhuiyi Technology. Весной 2021 года он описал идею в серии постов «Путь улучшения трансформера» в своём блоге «Научное пространство» — по-китайски. Англоязычная статья RoFormer вышла на arXiv позже, в апреле 2021 года. Впоследствии Су Цзяньлинь перешёл в Moonshot AI и стал одним из авторов статьи о масштабировании оптимизатора Muon (Moonlight), на котором потом обучили Kimi K2.

Мораль для инженера: ключевые идеи иногда появляются по-китайски раньше, чем по-английски, а блог kexue.fm до сих пор — один из лучших источников по математике внимания. Формулы там читаются без перевода, а текст вокруг них — через LLM с глоссарием. Ещё один источник — видеоразборы Ли Му в серии «Подробное чтение статей»: указатель со ссылками ведётся в репозитории mli/paper-reading.

Проверь себя

Проверь себя6 вопросов·

1 В оригинале: «общее число параметров — 2350» и множитель «сто миллионов». Сколько это миллиардов параметров?

2 Переводчик выдал: «Новый фреймворк ускорил рассуждение в 3 раза». Как правильнее перевести?

Так и оставить — «рассуждение»ИнференсОбучениеЛогический вывод в математике

3 Перевод статьи: «претрейн на 36 тысячах миллиардов токенов». Сколько это триллионов токенов?

4 Какие источники годятся, чтобы проверить число параметров новой модели?Можно выбрать несколько ответов

Техотчёт на arXivconfig.json и карточка модели в официальной организации на Hugging Face или ModelScopeЗаголовок в новостном изданииАнонимный ответ на Чжиху без ссылок

5 Машинный перевод сообщения коллеги: «Вчера всю ночь занимался алхимией, в итоге взорвалась видеопамять». Что случилось?

Он всю ночь читал статьи по химииОн всю ночь обучал модель, и в итоге не хватило видеопамяти (OOM)Он купил новую видеокарту

6 Какие приёмы снижают риск ошибки при чтении китайского текста через машинный перевод?Можно выбрать несколько ответов

Переводить по 2–5 абзацев, а не по одному предложениюСверять цифры перевода с цифрами оригиналаКопировать код со страницы с включённым переводом — так понятнее комментарииПроверять странные термины по глоссарию курсаОтдавать LLM всю длинную статью одним запросом, чтобы она видела весь контекст

Проверить ответы

Итоги

• Китайские источники дают то, чего нет в статьях на arXiv: разборы в день выхода, оригинальные идеи (RoPE), интервью и контекст. Навигация: Чжиху, kexue.fm, «Цзици чжи синь», «Лянцзывэй», Bilibili, WeChat, блоги лабораторий. Ищите латиницей, переводом запроса и по жанру — от техотчётов до отчётов о собеседованиях.
• Рабочий процесс: машинный перевод по 2–5 абзацев (лучше LLM с глоссарием) → сверка терминов → проверка чисел и формул по оригиналу → сверка фактов с первоисточником.
• Главные «ложные друзья»: «рассуждение» вместо инференса, «карта» вместо GPU, разряды по четыре нуля, буквально переведённые сленг и названия компаний.
• Громкое заявление проверяйте по техотчёту, config.json и независимым рейтингам; в китайских репозиториях ищите английский README и решения в issues по тексту ошибки.
• Вы написали инструмент, который сверяет машинный перевод с числами первоисточника и словарём «ложных друзей».

Дальше: образовательная экосистема Китая — Datawhale, d2l-zh, курсы Ли Хунъи, MiniMind и InternLM Camp.