Перейти к содержимому

Глоссарий RU · EN

Глоссарий терминов AI/LLM на русском и английском с пояснениями и сленгом китайского AI-сообщества в русской транскрипции.

Глоссарий задаёт единую терминологию курса: русский термин, английский вариант, который встретится в статьях и коде, и короткое пояснение. В уроках термины подчёркнуты пунктиром — наведите курсор, чтобы увидеть перевод. Все термины глоссария также попадают в карточки для повторения.

1355 терминов

РусскийEnglishСтупень
«ИИ + X» (междисциплинарная подготовка)
Модель из плана Госсовета 2017 года — ИИ изучают в связке с другой областью (математикой, биологией, правом, финансами). Сейчас по ней строятся вузовские программы.
AI+X (AI plus another discipline)ступень 0
«на тех же условиях» (SA)
Перевод или адаптация обязаны выйти под той же лицензией, что и оригинал.
share-alike (SA)ступень 0
алгоритм
Точная последовательность шагов для решения задачи — как рецепт. Программа — это алгоритм, записанный на языке программирования.
algorithmступень 0
аргументы командной строки
Слова после имени скрипта: в python habits.py done python это done и python. В Python доступны через sys.argv.
command-line argumentsступень 0
байт
8 бит, 256 возможных значений (от 0 до 255). В байтах измеряют размер файлов, памяти и моделей.
byteступень 0
без производных произведений (ND)
Копировать без изменений можно, переводить и адаптировать нельзя. Перевод считается производным произведением.
no derivatives (ND)ступень 0
бесконечный цикл
Цикл, условие выхода из которого никогда не выполняется. Остановить программу — Ctrl+C.
infinite loopступень 0
бит
Наименьшая единица информации — 0 или 1.
bitступень 0
большая языковая модель (БЯМ, LLM)
В китайском «большая модель» («да мосин») — разговорное общее название для LLM и вообще foundation models.
large language model (LLM)ступень 0
булева маска
Массив True/False той же формы. Выбирает или зануляет элементы; в трансформере так устроены attention- и padding-маски.
boolean maskступень 0
векторизация
Замена циклов Python операциями над целыми массивами, которые выполняются в скомпилированном коде.
vectorizationступень 0
весаweightsступень 0
ветка
Независимая линия коммитов. Позволяет экспериментировать, не ломая основную версию.
branchступень 0
видеопамять (VRAM)
Собственная память видеокарты. Веса модели и промежуточные данные должны поместиться сюда, иначе GPU не сможет их быстро обрабатывать.
video memory (VRAM)ступень 0
виртуальное окружение
Отдельная папка со своим Python и своими библиотеками для одного проекта.
virtual environment (venv)ступень 0
воспроизводимость
Возможность получить тот же результат, повторно запустив тот же код на тех же данных.
reproducibilityступень 0
выражение
Запись из значений, имён и операторов, которую Python вычисляет до одного значения, например 17 // 5 + 1.
expressionступень 0
вычислительные мощностиcomputeступень 0
гаокао (единый вступительный экзамен в вузы)
Главный экзамен китайского школьника, в 2025 году — более 13 млн участников. Экзамен после 9 класса называется «чжункао».
gaokao (National College Entrance Examination)ступень 0
генеративный ИИ
ИИ, который создаёт новый контент (текст, картинки, звук, код), а не только классифицирует готовый. В китайских документах часто пишут сокращённо — «генеративный AI», с английской аббревиатурой.
generative AIступень 0
генератор (ленивый итератор)
Функция с yield или выражение в круглых скобках; выдаёт значения по одному и не держит всё в памяти. Не путать с генератором списка.
generatorступень 0
генератор списка (списковое включение)
Запись вида [f(x) for x in xs if cond]. В популярном китайском учебнике Python Ляо Сюэфэна это называется «выражение, порождающее список».
list comprehensionступень 0
гистограмма
Диапазон значений делят на корзины (bins) и считают, сколько значений попало в каждую.
histogramступень 0
глубокое обучениеdeep learningступень 0
графический процессор (GPU, видеокарта)
Тысячи простых вычислительных ядер. Идеально подходит для матричных умножений, поэтому на GPU обучают нейросети.
graphics processing unit (GPU)ступень 0
групповое обучение, учебная когорта
Формат Datawhale — группа проходит открытый курс по расписанию 2–4 недели, с заданиями и ежедневной отметкой о занятиях.
study group, learning cohortступень 0
дата среза знаний
Момент, на котором закончились обучающие данные модели. О более поздних событиях модель не знает, если ей не дать поиск.
knowledge cutoffступень 0
датакласс (класс данных)
Декоратор @dataclass из стандартной библиотеки сам пишет __init__, __repr__ и __eq__. Удобен для конфигов моделей.
dataclassступень 0
декомпозиция задачи
Разбиение большой задачи на шаги, каждый из которых решает отдельная небольшая функция.
problem decompositionступень 0
декоратор
Строка вида @имя над def или class: оборачивает функцию или класс и меняет поведение. Примеры — @property, @classmethod, @dataclass.
decoratorступень 0
диск, постоянная память (SSD, HDD)
Хранит файлы, пока компьютер выключен. Больше и дешевле оперативной памяти, но медленнее.
storage, disk driveступень 0
закон Ципфа
Частота слова примерно обратно пропорциональна его месту в частотном списке, поэтому немногие частые слова покрывают большую часть любого текста.
Zipf's lawступень 0
закрытая (проприетарная) модель
Веса не публикуются, доступ только через API или приложение.
closed-source / proprietary modelступень 0
замыкание
Внутренняя функция, которая запоминает переменные внешней функции и после её завершения. Так устроены планировщики learning rate.
closureступень 0
изменяемость (mutable / immutable)
Изменяемые: list, dict, set. Неизменяемые: int, float, str, tuple. От этого зависят «эффекты» при копировании и аргументы по умолчанию.
mutabilityступень 0
ИИ-грамотность
Умение понимать, применять и критически оценивать ИИ. Китайское руководство 2025 года делит её на знания, навыки, мышление и ценности.
AI literacyступень 0
ИИ-напарник по учёбе
ИИ-помощник, который сопровождает ученика — объясняет, задаёт вопросы, подбирает задачи. Упомянут в «Мнениях Госсовета о действии „ИИ+“» (2025).
AI study companionступень 0
индексация массивом индексов (fancy indexing)
E[ids] — выбрать строки по списку индексов. Именно так работает таблица эмбеддингов.
fancy indexingступень 0
интерактивный режим (REPL)
Read–Eval–Print Loop: Python читает строку, вычисляет и сразу показывает результат. Приглашение — >>>.
REPL, interactive modeступень 0
интервальное повторение
Повторять материал через растущие промежутки времени — прямо перед тем, как он забылся бы. На сайте — карточки на странице «Повторение» (алгоритм FSRS).
spaced repetitionступень 0
интерпретатор
Программа, которая читает код и сразу выполняет его строку за строкой. Python — интерпретируемый язык.
interpreterступень 0
исключениеexceptionступень 0
искусственный интеллект (ИИ)artificial intelligence (AI)ступень 0
класс
Шаблон для создания объектов. Любая модель в PyTorch — класс-наследник nn.Module.
classступень 0
кодировка (символов)
Способ записать символы байтами. UTF-8: латиница — 1 байт, кириллица — 2, китайские иероглифы — 3.
character encodingступень 0
комментарий
Текст после
commentступень 0
коммит
Снимок состояния файлов с сообщением, автором и датой.
commitступень 0
компилятор
Программа, которая заранее переводит весь код в машинный. Так работают C, C++, Rust, CUDA.
compilerступень 0
конвейер (пайп)
Символ | передаёт вывод одной команды на вход следующей.
pipeступень 0
кортеж
Неизменяемая последовательность. Формы тензоров (shape) в NumPy и PyTorch — кортежи.
tupleступень 0
краевой случай
Необычный вход на границе допустимого — пустой список, ноль, пустая строка. Именно на них чаще всего ломается код.
edge caseступень 0
кракозябры (mojibake)
Нечитаемый текст из-за декодирования байтов не той кодировкой, например «РџСЂРёРІРµС‚» вместо «Привет».
mojibakeступень 0
лицензии Creative Commons (CC)
Семейство лицензий для текстов и картинок. Условия складываются из блоков BY, NC, SA, ND.
Creative Commons licensesступень 0
логическая ошибка
Программа работает без сообщений об ошибках, но результат неверный. Ловится только проверками и тестами.
logic errorступень 0
лямбда-функцияlambda (anonymous function)ступень 0
магический метод (dunder-метод)
Методы вида __add__, __len__, __call__: Python вызывает их сам, когда вы пишете a + b, len(a), a(x).
special method, magic methodступень 0
массив NumPy (ndarray)
Непрерывный блок чисел одного типа плюс описание формы (shape) и шагов (strides).
N-dimensional array (ndarray)ступень 0
машинное обучениеmachine learning (ML)ступень 0
машинный код
Инструкции в виде чисел — единственное, что процессор понимает напрямую.
machine codeступень 0
менеджер пакетов
pip, uv, conda — устанавливают библиотеки вместе с их зависимостями.
package managerступень 0
метод
Функция, привязанная к объекту и вызываемая через точку: s.upper(), tokens.append(x).
methodступень 0
метод резиновой уточки
Объяснить код вслух строка за строкой (хоть игрушечной уточке) — и заметить, где ваше объяснение расходится с кодом. Термин из книги «Программист-прагматик».
rubber duck debuggingступень 0
множество
Неупорядоченный набор уникальных элементов. Пустое множество — set(), а {} — пустой словарь.
setступень 0
модельmodelступень 0
модуль
Файл .py, который можно импортировать. Не называйте свои файлы как модули стандартной библиотеки (json.py, random.py).
moduleступень 0
модульный тест (юнит-тест)
Маленькая функция, которая вызывает ваш код и проверяет результат через assert.
unit testступень 0
набор данных, датасетdatasetступень 0
наследованиеinheritanceступень 0
Национальная олимпиада по информатике (NOI)
Проводится с 1984 года Китайской компьютерной федерацией (CCF). Лестница CSP-J/S → NOIP → NOI → сборная на IOI.
National Olympiad in Informatics (NOI)ступень 0
некоммерческое использование (NC)
Под этим условием выпущена большая часть материалов Datawhale (CC BY-NC-SA 4.0).
non-commercial (NC)ступень 0
обучениеtrainingступень 0
обучение до уровня мастерства
Идея Бенджамина Блума — переходить к следующей теме, только когда текущая освоена до порога. В курсе порог — квиз от 60 % и уровень Medium в домашней работе.
mastery learningступень 0
объект, экземплярobject, instanceступень 0
оперативная память (ОЗУ, RAM)
Быстрая память для данных работающих программ. При выключении питания стирается.
random-access memory (RAM)ступень 0
оператор
Знак действия: + - * / // % ** и другие.
operatorступень 0
ось (измерение массива)
Агрегация по оси axis=k «съедает» эту ось, если не указать keepdims=True.
axisступень 0
открытые весаopen weightsступень 0
открытый исходный код
Китайские СМИ часто называют открытыми («кайюань») и модели с открытыми весами, даже без открытого кода и данных обучения.
open sourceступень 0
отладка
Поиск и исправление ошибок в программе. Саму ошибку в программе и русские, и китайские разработчики обычно называют просто «баг» (bug).
debuggingступень 0
отладчик
Программа, которая останавливает ваш код в нужном месте и показывает значения всех переменных. В Python — pdb, в VS Code — встроенный.
debuggerступень 0
отметка о занятиях
Буквально «пробить карточку». В учебных сообществах — публикация конспекта или решения в срок как подтверждение, что вы занимаетесь.
check-in (daily study log)ступень 0
ошибка выполнения
Запись верна, но действие невыполнимо (деление на ноль, нет ключа). Программа падает на этой строке с traceback.
runtime errorступень 0
ошибка на единицу
Цикл или срез делает на один шаг больше или меньше нужного, например range(1, n) вместо range(1, n + 1).
off-by-one errorступень 0
пакет
Папка с модулями (обычно с файлом __init__.py). Так же называют дистрибутивы, устанавливаемые через pip.
packageступень 0
параметрparameterступень 0
перегрузка операторовoperator overloadingступень 0
переменная
В Python переменная — это имя, привязанное к объекту, а не «коробка» с фиксированным типом.
variableступень 0
политика «двойного снижения»
Реформа 2021 года — снизить нагрузку домашними заданиями и внешкольным репетиторством. Запрещает «механические, повторяющиеся и карательные» домашние задания.
Double Reduction policyступень 0
практика извлечения
Вспоминать ответ самому, без подсказки, вместо того чтобы перечитывать. Одна из самых надёжных учебных техник; на ней стоят квизы, карточки и повторы тетради ошибок.
retrieval practiceступень 0
предварительное знакомство с уроком
Короткая подготовка до урока — пробежать глазами цели, попробовать ответить на пару вопросов. Цикл китайской школы — подготовка до урока → урок → повторение после урока.
pre-study, lesson previewступень 0
предсказание следующего токена
Главная задача языковой модели — по началу текста оценить вероятности следующего токена. Ответ чат-бота собирается из таких шагов по одному токену.
next-token predictionступень 0
приведение (преобразование) типов
int("42"), float("36.6"), str(42). Ответ input() — всегда строка, поэтому его приводят к числу.
type conversionступень 0
приоритет операций
Порядок вычисления: скобки, затем , затем * / // %, затем + -. Поэтому -2 2 = -4.
operator precedenceступень 0
программа
Последовательность инструкций для компьютера, записанная в файле.
programступень 0
прорешивание задач
Буквально «чистить задачи» — решать много однотипных задач до беглости. Крайность называют «тихай чжаньшу» — «тактика моря задач».
problem drillingступень 0
путь к файлу
Адрес файла в дереве папок, например /home/mei/ChinaAI/README.md (Linux, macOS) или C:\Users\Mei\ChinaAI\README.md (Windows).
file pathступень 0
регрессионный тест
Тест, написанный на уже исправленный баг, чтобы он не вернулся незаметно.
regression testступень 0
рекурсияrecursionступень 0
репозиторий
Папка проекта вместе со всей историей изменений (скрытая подпапка .git).
repository (repo)ступень 0
сид генератора случайных чисел
Начальное значение генератора. Один и тот же сид даёт ту же последовательность «случайных» чисел.
random seedступень 0
синтаксическая ошибка
Python не понял запись (скобка, кавычка, двоеточие, отступ). Программа не выполняет ни одной строки.
syntax errorступень 0
система контроля версий
Хранит историю изменений файлов. Самая популярная — Git.
version control system (VCS)ступень 0
словарь
Отображение «ключ → значение» на хеш-таблице; поиск по ключу в среднем O(1). С Python 3.7 сохраняет порядок вставки.
dictionary (dict)ступень 0
сложность алгоритма (O-нотация)
Как растёт время работы с размером данных n. O(n) — пропорционально n (поиск в list), O(1) — не зависит от n (поиск в dict и set).
time complexity, big-O notationступень 0
спиральная программа
Темы возвращаются несколько раз, и каждый раз — на более глубоком уровне. Так устроены китайские школьные программы и этот курс.
spiral curriculumступень 0
список
Изменяемая упорядоченная последовательность. Проверка x in list перебирает элементы — O(n).
listступень 0
срез
Выборка вида a[start:stop:step]. В NumPy срез — это view: он смотрит на те же данные, без копирования.
slicingступень 0
стек вызовов
Цепочка функций, которые вызвали друг друга и ещё не завершились. Traceback — это снимок стека в момент ошибки.
call stackступень 0
стоп-слова
Самые частые служебные слова («и», «в», «на», «же»), которые убирают при подсчёте частот, чтобы увидеть содержательные слова.
stop wordsступень 0
строка
В Python 3 строка — неизменяемая последовательность символов Юникода; длина считается в символах, а не в байтах.
string (str)ступень 0
тензор
В ML — просто многомерный массив чисел. torch.Tensor устроен как np.ndarray, но умеет работать на GPU и считать градиенты.
tensorступень 0
терминал (командная строка)
Окно, где команды вводятся текстом. Исполняет их оболочка (shell) — bash или zsh.
terminal / command lineступень 0
тетрадь ошибок
Китайская школьная практика — переписывать каждую ошибку с правильным решением и регулярно к ней возвращаться. На сайте это страница «Тетрадь ошибок», куда сами попадают ошибки из квизов.
mistake notebookступень 0
тип элементов массива (dtype)
float32, float16, int64, bool… Определяет точность и сколько байт занимает каждое число.
data type (dtype)ступень 0
точка останова
Строка, перед выполнением которой отладчик ставит программу на паузу. В коде — функция breakpoint().
breakpointступень 0
трассировка ошибки (traceback)
Сообщение Python об ошибке — цепочка вызовов, которая к ней привела. Читается снизу вверх.
tracebackступень 0
утверждение (assert)
assert условие, "сообщение" — проверка, которая падает с AssertionError, если условие ложно. Отключается флагом python -O.
assertionступень 0
форма массива
Кортеж размеров по осям, например (batch, seq_len, d_model).
shapeступень 0
функция
В Python функция — обычный объект, её можно передать как аргумент или вернуть из другой функции.
functionступень 0
функция высшего порядка
Функция, которая принимает или возвращает другие функции. Примеры — sorted с key, map, filter.
higher-order functionступень 0
хеш-таблица
Структура данных, на которой построены dict и set; ключи должны быть хешируемыми (неизменяемыми).
hash tableступень 0
центральный процессор (CPU)
Универсальный «мозг» компьютера — от нескольких до десятков мощных ядер; каждое быстро выполняет любые инструкции одну за другой.
central processing unit (CPU)ступень 0
чат-бот, ИИ-ассистент
Программа, с которой разговаривают текстом. Современные чат-боты (ChatGPT, DeepSeek, Qwen Chat, Kimi) построены на LLM.
chatbot, AI assistantступень 0
число с плавающей точкой (float)
Способ хранить дробные числа как «мантисса × 2 в степени». Форматы: FP32 (4 байта), FP16 и BF16 (2 байта), FP8 (1 байт).
floating-point numberступень 0
чистая функция
Результат зависит только от аргументов, а сама функция ничего не печатает, не читает с клавиатуры и не меняет внешние данные. Такие функции легко тестировать.
pure functionступень 0
Юникод
Единая таблица символов всех письменностей; каждому символу соответствует номер (code point), например «я» = U+044F, «λ» = U+03BB.
Unicodeступень 0
язык программированияprogramming languageступень 0
broadcasting (растягивание форм)
Правило, по которому NumPy и PyTorch выполняют операции над массивами разных форм без копирования данных.
broadcastingступень 0
einsum (нотация Эйнштейна)
Запись тензорных операций строкой индексов, например 'bhqd,bhkd->bhqk'.
Einstein summation (einsum)ступень 0
Jupyter-ноутбук
Документ из ячеек с кодом, текстом и графиками (.ipynb). Состояние живёт в ядре, пока оно запущено.
Jupyter notebookступень 0
апостериорная вероятность (posterior)
Вероятность гипотезы после наблюдения данных — результат формулы Байеса.
posterior probabilityступень 1
априорная вероятность (prior)
Вероятность гипотезы до наблюдения данных.
prior probabilityступень 1
биномиальное распределение
Число успехов в n независимых испытаниях Бернулли; P(k) = C(n, k)·pᵏ·(1 − p)ⁿ⁻ᵏ.
binomial distributionступень 1
вектор
Упорядоченный список чисел; его же можно видеть как точку или как стрелку (направление + длина). Китайский термин буквально означает «направленная величина».
vectorступень 1
внешнее произведение
Столбец на строку — u vᵀ, матрица ранга 1. В китайских текстах «внешним произведением» иногда называют векторное произведение (cross product), смотрите по контексту.
outer productступень 1
выборка
Часть генеральной совокупности, которую мы реально наблюдаем: бенчмарк из n вопросов. Метрика на выборке — оценка истинной величины с шумом.
sampleступень 1
выпуклая функция
«Чаша» без ложных ям — любой локальный минимум глобальный. Отрезок между двумя точками графика лежит не ниже графика.
convex functionступень 1
вычислительный граф
Схема вычисления — узлы-операции и рёбра-значения. По нему идёт прямой проход (значения) и обратный (градиенты).
computational graphступень 1
генеральная совокупность
Все объекты, о которых хотим сделать вывод, — например, все возможные вопросы данного типа. Истинная точность модели — доля верных ответов на всей совокупности; её оценивают по выборке.
populationступень 1
гиперболический тангенс
tanh x = (eˣ − e⁻ˣ)/(eˣ + e⁻ˣ) — «сигмоида» со значениями от −1 до 1. Производная 1 − tanh² x.
hyperbolic tangent (tanh)ступень 1
градиент
Вектор всех частных производных ∇f. Указывает направление наискорейшего роста функции; его длина — крутизна склона.
gradientступень 1
градиентный спускgradient descentступень 1
график функции
Все точки (x, f(x)). Таблица значений и график — два способа увидеть одну и ту же функцию.
graph of a functionступень 1
дисперсия
Var[X] = E[(X − E[X])²] — средний квадрат отклонения от матожидания.
varianceступень 1
евклидово расстояние
L2-норма разности двух векторов ‖a − b‖₂ — обычное расстояние «по прямой».
Euclidean distanceступень 1
единичная матрица
Квадратная матрица I с единицами на диагонали и нулями вне её; Ix = x. В NumPy — np.eye(n).
identity matrixступень 1
единичная окружность
Окружность радиуса 1 с центром в (0, 0). Точка под углом α на ней имеет координаты (cos α, sin α).
unit circleступень 1
единичный вектор
Вектор длины 1. Любой ненулевой вектор v превращается в единичный делением на его длину ‖v‖ (нормировка).
unit vectorступень 1
закон больших чисел
При большом числе независимых повторений среднее (и частота) приближается к матожиданию (и вероятности).
law of large numbersступень 1
затухание весов (weight decay)
На каждом шаге веса умножаются на (1 − ηλ) — «притягиваются» к нулю. Для обычного SGD равносильно L2-регуляризации, для Adam — нет.
weight decayступень 1
знак произведения (Π)
Π_{i=1}^{n} x_i — «перемножить все x_i»; накопление начинается с 1.
product notation (capital pi)ступень 1
знак суммы (Σ)
Σ_{i=1}^{n} x_i — «сложить x_i для i от 1 до n»; в коде — цикл for с накоплением суммы от 0.
summation notation (sigma notation)ступень 1
импульс (momentum)
Шаг делается по накопленной «скорости» v = βv + g, а не по текущему градиенту. Гасит зигзаги и разгоняет движение вдоль оврага.
momentumступень 1
категориальное распределение
Распределение на K исходах с вероятностями p₁…p_K. Выход softmax в LLM — категориальное распределение на словаре. Не путать с мультиномиальным (multinomial) — это число исходов каждого типа за n бросков.
categorical distributionступень 1
квадратичная функция
График — парабола. Квадратичные функции потерь (MSE) похожи на «чашу» с одним дном.
quadratic functionступень 1
квадратный корень
√a = a^(1/2). В ML — √d_k в attention, стандартное отклонение, RMSNorm.
square rootступень 1
классическая вероятность
Когда все исходы равновероятны, P(A) = |A| / |Ω| — доля подходящих исходов среди всех.
classical probabilityступень 1
композиция функций
f(g(x)) — сначала g, потом f. Нейросеть — композиция слоёв.
function compositionступень 1
косинус
cos α — координата x точки на единичной окружности под углом α. Для единичных векторов скалярное произведение равно косинусу угла между ними.
cosineступень 1
косинусное затухание learning rate
После разогрева learning rate плавно спадает от пика до минимума по половине косинусоиды.
cosine decay (cosine annealing)ступень 1
кусочная функция
Разные формулы на разных участках оси. ReLU = max(0, x) — самая известная кусочная функция в ML.
piecewise functionступень 1
линейная функция
y = kx + b. В ML её пишут y = wx + b (w — вес, b — смещение). В китайской школе — тоже y = kx + b.
linear functionступень 1
линейное преобразование
Функция f, для которой f(a + b) = f(a) + f(b) и f(c·a) = c·f(a). Каждое такое преобразование — умножение на матрицу.
linear map (linear transformation)ступень 1
линейный (полносвязный) слой
y = xWᵀ + b. В PyTorch nn.Linear(in, out) хранит weight формы (out, in) — частый источник путаницы.
linear layer (fully connected layer)ступень 1
логарифм
log_b x — в какую степень возвести b, чтобы получить x. Превращает произведение в сумму.
logarithmступень 1
логарифмическая шкала
Равные отрезки означают умножение (×10), а не прибавление. Степенные законы на ней — прямые линии.
logarithmic scaleступень 1
локальный минимум
Точка, рядом с которой нет точек ниже, — дно «ямы». Глобальный минимум (global minimum) — самая низкая точка вообще.
local minimumступень 1
математическое ожидание (матожидание)
E[X] = Σ x·p(x) — среднее значение «в долгую», центр тяжести распределения.
expected value (expectation)ступень 1
матрица
Прямоугольная таблица чисел размера m×n. Задаёт линейное преобразование из n-мерного пространства в m-мерное.
matrixступень 1
матрица Якоби (якобиан)
Таблица всех частных производных векторной функции — ∂yᵢ/∂xⱼ. Для y = Wx якобиан равен самой матрице W.
Jacobian matrixступень 1
матричное умножение
(m×n)·(n×k) → (m×k), элемент cᵢⱼ = Σₜ aᵢₜbₜⱼ. Соответствует композиции преобразований. Стоит ≈ 2·m·n·k операций.
matrix multiplication (matmul)ступень 1
мини-батч
Небольшая случайная порция примеров, по которой считается одна оценка градиента и делается один шаг.
mini-batchступень 1
множественные сравнения
Чем больше проверок, тем больше ложных «открытий»: среди 20 бесполезных идей хотя бы одна окажется «значимой» на уровне 5% с вероятностью ≈ 64%. Лечат заранее зафиксированным протоколом, перепроверкой и поправками (Бонферрони).
multiple comparisonsступень 1
модуль (абсолютная величина)
Расстояние от числа до нуля, |−3| = 3. В Python — abs(). Основа MAE и нормы L1.
absolute valueступень 1
мощность эксперимента
Вероятность, что эксперимент обнаружит эффект, если он действительно есть. Обычно планируют 80%; для этого считают нужный размер выборки до эксперимента.
statistical powerступень 1
наклон (угловой коэффициент)
На сколько меняется y, когда x растёт на 1. По двум точкам k = (y₂ − y₁) / (x₂ − x₁).
slopeступень 1
натуральный логарифм
ln x = log_e x. В статьях по ML «log» без основания почти всегда означает ln; в Python — math.log.
natural logarithmступень 1
научная (экспоненциальная) запись
3e-4 = 3·10⁻⁴ = 0.0003; 6.71e11 = 671 млрд.
scientific notationступень 1
независимость (случайных событий и величин)
P(A ∩ B) = P(A)·P(B) — знание одного не меняет вероятность другого. Токены в тексте зависимы.
statistical independenceступень 1
нижний индекс
x_i — i-й элемент. В формулах счёт обычно с 1, в Python — с 0. Индекс бывает и просто названием, как k в d_k.
subscript (index)ступень 1
низкоранговое приближение
Замена матрицы ближайшей матрицей ранга r. По теореме Эккарта — Янга лучшая получается, если оставить r старших слагаемых SVD.
low-rank approximationступень 1
норма вектора
«Размер» вектора. L2-норма — длина по Пифагору √(Σ vᵢ²), L1-норма — сумма модулей Σ |vᵢ|.
vector normступень 1
норма Фробениуса
Корень из суммы квадратов всех элементов матрицы — «L2-норма матрицы, вытянутой в вектор». Равна √(Σ σᵢ²).
Frobenius normступень 1
нормальное (гауссовское) распределение
«Колокол» N(μ, σ²). Правило 68–95–99.7 — доля значений в пределах 1, 2 и 3 σ от среднего.
normal (Gaussian) distributionступень 1
нулевая гипотеза
Предположение «эффекта нет» (модели одинаковы), относительно которого считают p-value. Обозначается H₀.
null hypothesisступень 1
обратная KL-дивергенция (reverse KL)
KL(q ‖ p), где q — модель, p — цель. «Ищет моду» — модель концентрируется на одном пике цели. Прямая KL(p ‖ q) «покрывает» все пики.
reverse KL divergenceступень 1
объединение множеств
A ∪ B — элементы, которые есть хотя бы в одном из множеств. В Python: A | B.
unionступень 1
ортогональные (перпендикулярные) векторы
Векторы, скалярное произведение которых равно нулю. Ортогональная матрица — та, у которой столбцы единичные и попарно ортогональны.
orthogonal vectorsступень 1
парное сравнение (парный тест)
Сравнение двух вариантов на одних и тех же примерах через разность по каждому примеру (например, парный бутстрэп). Убирает общий шум лёгких и трудных вопросов, поэтому точнее сравнения двух независимых оценок.
paired testступень 1
перекрёстная энтропияcross-entropyступень 1
переобучениеoverfittingступень 1
пересечение множеств
A ∩ B — элементы, которые есть в обоих множествах. В Python: A & B.
intersectionступень 1
перестановка
Упорядочивание набора предметов; перестановок n предметов n!. Упорядоченный выбор k из n (размещение) — n!/(n − k)! способов.
permutationступень 1
периодическая функция
Функция, значения которой повторяются через период T: f(x + T) = f(x). У sin(θ·x) период 2π/θ.
periodic functionступень 1
плотность вероятности
Для непрерывных величин — «вероятность на единицу длины». Вероятность интервала — площадь под кривой; сама плотность может быть больше 1.
probability density function (PDF)ступень 1
подмножество
A ⊆ B — каждый элемент A есть и в B. В Python: A <= B. У множества из n элементов 2ⁿ подмножеств.
subsetступень 1
поправка смещения (bias correction)
Деление EMA на (1 − βᵗ) в Adam; исправляет занижение средних на первых шагах, когда m и v стартуют с нуля.
bias correctionступень 1
правило произведения
Если первый выбор можно сделать a способами, а второй — b способами, то пару выборов — a·b способами. Отсюда Vᵀ последовательностей из T токенов.
rule of productступень 1
предел
Значение, к которому сколь угодно близко подходит выражение, когда аргумент стремится к заданному числу.
limitступень 1
проверка градиента
Сравнение аналитического градиента с численным (центральные разности) по относительной ошибке. Главный способ найти баг в backward.
gradient checkступень 1
производная
Мгновенная скорость изменения функции — f′(x) = lim (f(x+h) − f(x))/h при h → 0. Геометрически — наклон касательной.
derivativeступень 1
производная по направлению
Скорость изменения функции при движении в направлении единичного вектора u — равна скалярному произведению ∇f · u.
directional derivativeступень 1
прямой проход
Вычисление выхода и loss по графу от входов к выходу с запоминанием промежуточных значений для обратного прохода.
forward passступень 1
равномерное распределение
Все значения на отрезке (или все K исходов) равновероятны. U[0, 1) — то, что возвращает random().
uniform distributionступень 1
радиан
Угол, при котором длина дуги равна радиусу. Полный оборот — 2π ≈ 6.283 радиана (360°), 1 радиан ≈ 57.3°. Все библиотеки (math, NumPy, PyTorch) ждут углы в радианах.
radianступень 1
размер батча
Число примеров (у LLM — часто число токенов) на один шаг оптимизатора. Больше батч — меньше шум градиента, но дороже шаг.
batch sizeступень 1
разность множеств
A ∖ B — элементы A, которых нет в B. В Python: A - B.
set differenceступень 1
разогрев learning rate (warmup)
Первые сотни–тысячи шагов learning rate линейно растёт от нуля до пика, пока статистики Adam не накопились.
learning rate warmupступень 1
расписание learning rate
Правило, по которому learning rate меняется по ходу обучения — разогрев, плато, спад.
learning rate scheduleступень 1
расписание WSD (warmup — stable — decay)
Разогрев, длинное плато с постоянным learning rate и короткий спад в конце. Популяризовано MiniCPM (OpenBMB и Университет Цинхуа, 2024).
warmup-stable-decay (WSD) scheduleступень 1
распределение Бернулли
Величина принимает 1 с вероятностью p и 0 с вероятностью 1 − p. Пример — награда «верно/неверно».
Bernoulli distributionступень 1
распределение вероятностей
Все значения случайной величины с их вероятностями (или плотностью). Сумма вероятностей равна 1.
probability distributionступень 1
регуляризацияregularizationступень 1
седловая точка
Градиент равен нулю, но по одним направлениям функция растёт, по другим — убывает. В многомерных нейросетях встречается гораздо чаще локальных минимумов.
saddle pointступень 1
сингулярное разложение (SVD)
A = UΣVᵀ — любую матрицу можно разложить на поворот, растяжение вдоль осей и ещё один поворот. Эквивалентно сумме слоёв ранга 1 σᵢuᵢvᵢᵀ.
singular value decomposition (SVD)ступень 1
сингулярное число
Коэффициенты растяжения σ₁ ≥ σ₂ ≥ … ≥ 0 из SVD. Сколько из них ненулевые — таков ранг матрицы.
singular valueступень 1
синус
sin α — координата y точки на единичной окружности под углом α. Значения от −1 до 1, период 2π.
sineступень 1
скаляр
Одиночное число — в отличие от вектора, матрицы или тензора.
scalarступень 1
скалярное произведение
a · b = Σ aᵢbᵢ = ‖a‖‖b‖cos θ. Основа нейрона, внимания (q · k) и выходного слоя LLM.
dot product (inner product)ступень 1
скорость обученияlearning rateступень 1
случайная величина
Число (или токен), значение которого определяется случаем. Обозначают заглавной буквой — X, Y.
random variableступень 1
смещение (bias)
Свободный член b в y = Wx + b. Не путать с «предвзятостью» модели (bias в смысле fairness) и со смещением в bias–variance.
biasступень 1
собственная информация («удивление»)
I(x) = −log p(x). Чем менее вероятно событие, тем больше информации оно несёт. В битах при log₂, в натах при ln.
self-information (surprisal)ступень 1
собственное число
Число λ, для которого Av = λv при некотором ненулевом v. Показывает, во сколько раз матрица растягивает «свои» направления.
eigenvalueступень 1
собственный вектор
Ненулевой вектор v, который матрица только растягивает, не поворачивая — Av = λv.
eigenvectorступень 1
совместная вероятность
P(A ∩ B) или P(A, B) — вероятность того, что произошли оба события.
joint probabilityступень 1
спектральная норма
Наибольшее сингулярное число σ₁ — во сколько раз матрица максимально может растянуть вектор.
spectral normступень 1
стандартное отклонение
Корень из дисперсии; измеряется в тех же единицах, что и сама величина.
standard deviationступень 1
степень
aⁿ — a, умноженное само на себя n раз. В Python — a ** n (не a ^ n, это XOR!).
power (exponentiation)ступень 1
стохастический градиентный спуск (SGD)
Градиент считают не по всем данным, а по случайному примеру или мини-батчу. В PyTorch torch.optim.SGD — это просто «шаг против градиента», какой бы батч вы ни подали.
stochastic gradient descent (SGD)ступень 1
транспонирование
Строки становятся столбцами — Aᵀ. Полезное правило — (AB)ᵀ = BᵀAᵀ. В NumPy и PyTorch — A.T.
transposeступень 1
угловая частота
На сколько радиан поворачивается точка за единицу времени или за один шаг (токен). Связь с частотой f в герцах: ω = 2πf; период T = 2π/ω.
angular frequencyступень 1
условная вероятность
P(A | B) = P(A ∩ B) / P(B) — вероятность A, если известно, что B произошло. В общем случае P(A | B) ≠ P(B | A).
conditional probabilityступень 1
факториал
n! = 1·2·…·n — число способов выстроить n предметов в ряд; 0! = 1. Растёт быстрее любой экспоненты: 20! ≈ 2.4·10¹⁸.
factorialступень 1
формула (теорема) Байеса
P(H | E) = P(E | H)·P(H) / P(E) — переворачивает условие. Апостериорная ∝ правдоподобие × априорная.
Bayes' theoremступень 1
функция потерьloss functionступень 1
функция распределения (CDF)
F(x) = P(X ≤ x); для дискретной величины — накопленные суммы вероятностей. Через неё сэмплируют методом обратной функции.
cumulative distribution function (CDF)ступень 1
центральная предельная теорема (ЦПТ)
Среднее многих независимых одинаково распределённых величин распределено почти нормально со стандартным отклонением σ/√n — каким бы ни было исходное распределение. Отсюда интервал ± 1.96·SE.
central limit theorem (CLT)ступень 1
цепное правило
Производная композиции — произведение производных звеньев — (f(g(x)))′ = f′(g(x))·g′(x). Математическая основа backprop.
chain ruleступень 1
частная производная
∂f/∂x — производная функции многих переменных по одной из них, когда остальные заморожены.
partial derivativeступень 1
численная производная (конечные разности)
Приближение производной по значениям функции. Центральная разность (f(x+h) − f(x−h))/2h точнее прямой (f(x+h) − f(x))/h.
numerical derivative (finite differences)ступень 1
число обусловленности
Отношение самой большой кривизны к самой маленькой. Большое число обусловленности — вытянутый «овраг», где градиентный спуск зигзагует.
condition numberступень 1
число сочетаний (биномиальный коэффициент)
C(n, k) = n! / (k!(n − k)!) — сколькими способами выбрать k предметов из n без учёта порядка. В Python: math.comb(n, k).
binomial coefficient, "n choose k"ступень 1
число e (число Эйлера)
e ≈ 2.71828 — предел (1 + 1/n)ⁿ. Основание экспоненты и натурального логарифма.
Euler's number eступень 1
экспонента (показательная функция)
eˣ — всегда положительна, растёт взрывообразно. Внутри softmax и сигмоиды.
exponential functionступень 1
экспоненциальное скользящее среднее (EMA)
m ← βm + (1 − β)x. Помнит примерно последние 1/(1 − β) значений; при β = 0.9 — около 10.
exponential moving average (EMA)ступень 1
энтропия (информационная)
H(p) = −Σ p log p — среднее «удивление», мера неопределённости распределения. Максимальна у равномерного распределения.
(Shannon) entropyступень 1
эпоха
Один полный проход по обучающим данным. LLM на претрейне часто не делают и одной эпохи.
epochступень 1
Adam
Momentum + RMSProp + поправка смещения. Стандартный оптимизатор нейросетей с 2015 года.
Adam (adaptive moment estimation)ступень 1
AdamW
Adam, в котором затухание весов применяется отдельно от адаптивного шага. Оптимизатор по умолчанию для обучения LLM.
AdamW (Adam with decoupled weight decay)ступень 1
KL-дивергенция (дивергенция Кульбака — Лейблера)
KL(p ‖ q) = Σ p log(p / q) = H(p, q) − H(p) ≥ 0. Несимметрична, поэтому не настоящее расстояние.
Kullback–Leibler divergenceступень 1
p-value (p-значение)
Как часто случай дал бы результат не менее экстремальный, чем наблюдаемый, если бы эффекта не было. Не вероятность того, что эффекта нет, и не размер эффекта. Порог «значимости» по соглашению — 0.05.
p-valueступень 1
RMSProp
Делит шаг каждого параметра на корень из EMA квадратов его градиентов — адаптивный learning rate по координатам. Предложен Хинтоном в курсе лекций, без статьи.
RMSProp (root mean square propagation)ступень 1
ансамблевое обучение, ансамбль моделейensemble learningступень 2
базовое решение, бейзлайн
Простейшая модель (среднее, самый частый класс), с которой сравнивают всё остальное.
baselineступень 2
бинарная перекрёстная энтропия (BCE)binary cross-entropy (BCE), log lossступень 2
бутстрэп (выборка с возвращением)
Основа бэггинга (bagging) и случайного леса.
bootstrap samplingступень 2
важность признаков
Split — число разбиений по признаку, gain — суммарное уменьшение потери, permutation — рост ошибки на валидации при перемешивании признака. Описывает модель, а не причинность.
feature importanceступень 2
валидационная выборка (val, dev)
Нужна для выбора гиперпараметров и ранней остановки. Тест при этом не трогаем.
validation setступень 2
вложенная кросс-валидация
Внешний цикл оценивает качество, внутренний на каждой train-части заново подбирает гиперпараметры — честная оценка всей процедуры подбора.
nested cross-validationступень 2
гиперпараметр
Настройка, которую не учат градиентом, а выбирают по валидации — степень полинома, λ, learning rate, число слоёв.
hyperparameterступень 2
градиентный бустинг
Реализации — XGBoost, LightGBM, CatBoost.
gradient boosting (GBDT)ступень 2
граница решенияdecision boundaryступень 2
гребневая регрессия (ridge), L2-регуляризация
Штраф λ‖w‖² к функции потерь. В нейросетях та же идея называется weight decay.
ridge regressionступень 2
группировка (groupby)
Разбить строки на группы по ключу, посчитать сводку в каждой (agg) или вернуть значение каждой строке (transform), собрать результат.
group by / split-apply-combineступень 2
групповая кросс-валидация (GroupKFold)
Все строки одной группы (клиента, пациента, компании) попадают в один фолд. Нужна, когда в будущем модель увидит новые группы.
group k-foldступень 2
двойной спускdouble descentступень 2
дерево решенийdecision treeступень 2
дисбаланс классовclass imbalanceступень 2
доля правильных ответов (accuracy)
По-русски accuracy иногда тоже называют «точностью» — из-за этого её путают с precision. Безопаснее писать «accuracy».
accuracyступень 2
загрязнение данных (утечка бенчмарка в обучение)
Задачи из тестового бенчмарка попали в обучающий корпус LLM — оценка становится завышенной. Родственное явление — «шуабан», подгонка модели под лидерборд.
data contaminationступень 2
индекс Джини (неопределённость Джини)
Критерий разбиения в CART. Не путать с коэффициентом Джини из экономики.
Gini impurityступень 2
индуктивное смещение (априорные предпочтения модели)
Какие решения модель «предпочитает» при прочих равных. В «арбузной книге» Чжоу Чжихуа — «индуктивное предпочтение».
inductive biasступень 2
калибровка вероятностей
Среди объектов с прогнозом p событие происходит примерно в доле p случаев. Проверяют кривой калибровки и Brier score; чинят изотонической регрессией или сигмоидой Платта.
probability calibrationступень 2
классификация
Задача выбора одного класса из конечного набора. Предсказание следующего токена — классификация на V классов.
classificationступень 2
кластеризацияclusteringступень 2
кодирование средним целевой переменной (target encoding)
Категория → среднее цели по ней. Без out-of-fold и сглаживания протекает целевой переменной: у редких категорий кодировка почти равна метке.
target encodingступень 2
компромисс смещения и разбросаbias–variance tradeoffступень 2
конвейер (Pipeline)
Препроцессинг и модель как один объект с fit/predict. В кросс-валидации все шаги обучаются только на train-части фолда — утечки через предобработку исключены.
ML pipeline (scikit-learn Pipeline)ступень 2
конструирование признаков (feature engineering)
Превращение сырых столбцов в признаки для модели: масштабирование, логарифм, кодирование категорий, признаки из дат и текста.
feature engineeringступень 2
корреляция (коэффициент Пирсона)
Число от −1 до 1 — сила ЛИНЕЙНОЙ связи двух признаков; косинус угла между центрированными векторами. Корреляция Спирмена — то же по рангам.
correlation (Pearson coefficient)ступень 2
кривая обученияlearning curveступень 2
кросс-валидация для временных рядов
Обучение на прошлом, валидация на следующем отрезке времени; модель никогда не видит будущего.
time series split (forward chaining)ступень 2
кросс-валидация, перекрёстная проверка
Самый частый вариант — k-кратная кросс-валидация (k-fold cross-validation).
cross-validationступень 2
линейная регрессияlinear regressionступень 2
логистическая регрессия
Несмотря на название, это метод классификации. У Чжоу Чжихуа («арбузная книга») — «регрессия логарифма шансов», у Ли Хана («Методы статистического обучения») — фонетическая запись английского слова logistic.
logistic regressionступень 2
логит
Строго — логарифм шансов log(p / (1 − p)). В нейросетях логитами называют любые выходы до softmax или сигмоиды.
logitступень 2
матрица ошибокconfusion matrixступень 2
метка, целевая переменная, таргетlabel / targetступень 2
метод главных компонент (PCA)principal component analysis (PCA)ступень 2
метод Ньютона
Шаг оптимизации с учётом кривизны: приблизить функцию параболой g·w + ½·h·w² и прыгнуть в её минимум w = −g/h. В бустинге так считают значения листьев.
Newton's methodступень 2
метод k ближайших соседей (kNN)k-nearest neighbors (kNN)ступень 2
метод k-средних (k-means)k-meansступень 2
минимизация эмпирического риска
Подбор параметров, минимизирующих средний loss на обучающей выборке. В учебнике Ли Хана — «стратегия», одна из трёх составляющих метода.
empirical risk minimization (ERM)ступень 2
недообучениеunderfittingступень 2
нейронная сетьneural networkступень 2
нормальное уравнение
XᵀXw = Xᵀy — условие минимума MSE. Его решение называют аналитическим решением (closed-form solution).
normal equationступень 2
обобщение, обобщающая способностьgeneralizationступень 2
обратное распространение ошибкиbackpropagationступень 2
обучающая выборка (train)training setступень 2
обучение без учителя
Меток нет; ищем структуру в данных — кластеры, главные направления, плотность.
unsupervised learningступень 2
обучение с учителем
Для каждого примера известен правильный ответ (метка). SFT в LLM — тоже обучение с учителем.
supervised learningступень 2
оптимизаторoptimizerступень 2
парадокс Симпсона
Связь в каждой группе направлена в одну сторону, а в объединённых данных — в другую из-за разного состава групп.
Simpson's paradoxступень 2
перцептрон
Модель Фрэнка Розенблатта (1958) — линейный классификатор с пороговой активацией, предок нейросетей.
perceptronступень 2
полнота (recall)
TP / (TP + FN). Recall — буквально «отозвать, вернуть»: та же метрика recall@k в поиске и RAG.
recallступень 2
порог классификацииclassification thresholdступень 2
признак
Одно измеримое свойство объекта, вход модели. «Feature engineering» — конструирование признаков.
featureступень 2
прирост информации
Критерий разбиения в алгоритме ID3 — насколько разбиение уменьшает энтропию меток.
information gainступень 2
проклятие размерностиcurse of dimensionalityступень 2
пропуск (пропущенное значение)
Клетка без значения; в pandas — NaN (для дат — NaT). Агрегаты вроде mean пропуски пропускают.
missing value (NaN)ступень 2
разведочный анализ данных (EDA)
Систематический первый взгляд на данные до модели — распределения, выбросы, связи, утечки, дубликаты.
exploratory data analysis (EDA)ступень 2
ранняя остановкаearly stoppingступень 2
регрессия
Задача предсказания числа (цены, температуры, времени).
regressionступень 2
рекуррентная нейросетьrecurrent neural network (RNN)ступень 2
рост дерева по листьям
Стратегия LightGBM: каждый раз делить один лист с наибольшим выигрышем. Альтернатива — рост по уровням (XGBoost по умолчанию).
leaf-wise tree growthступень 2
самообучение, самоконтролируемое обучение
Метки берутся из самих данных (например, следующий токен текста). Так идёт предобучение LLM.
self-supervised learningступень 2
свёрточная нейросетьconvolutional neural network (CNN)ступень 2
сигмоида (логистическая функция)
σ(z) = 1 / (1 + e^(−z)) — превращает любое число в вероятность от 0 до 1.
sigmoid (logistic function)ступень 2
случайный лесrandom forestступень 2
снижение размерностиdimensionality reductionступень 2
соединение таблиц (merge, join)
Склеить строки двух таблиц по общему ключу. Типы: inner, left, right, outer. Дубликат ключа в справочнике размножает строки.
join / mergeступень 2
среднеквадратичная ошибка (MSE)
Корень из MSE — RMSE (root mean squared error), измеряется в тех же единицах, что и целевая переменная.
mean squared error (MSE)ступень 2
средняя абсолютная ошибка (MAE)mean absolute error (MAE)ступень 2
стандартизация признаков
(x − μ)/σ. Не путайте с нормализацией (normalization) — обычно это min-max масштабирование в [0, 1]; в китайских текстах эти термины иногда смешивают.
feature standardization (z-score)ступень 2
стратифицированная кросс-валидация
Каждый фолд сохраняет доли классов всей выборки; стандарт для классификации, особенно при дисбалансе.
stratified k-foldступень 2
табличные данныеtabular dataступень 2
тестовая выборка (test)
Смотрим на неё один раз — в самом конце, чтобы честно оценить качество.
test setступень 2
точность (precision)
TP / (TP + FP). У Чжоу Чжихуа термин буквально означает «доля точных среди найденного».
precisionступень 2
утечка данныхdata leakageступень 2
функция активацииactivation functionступень 2
центроидcentroidступень 2
цепочка методов
Запись преобразований таблицы подряд через точку: df.query(...).assign(...).groupby(...).agg(...).
method chainingступень 2
ящик с усами (boxplot)
Ящик — от Q1 до Q3 с линией медианы; усы — до Q1 − 1.5·IQR и Q3 + 1.5·IQR; точки за усами — кандидаты в выбросы.
box plotступень 2
DataFrame (таблица pandas)
Таблица из столбцов-Series с общим индексом; у каждого столбца свой тип.
DataFrameступень 2
F1-мера
Гармоническое среднее precision и recall.
F1 scoreступень 2
Parquet
Двоичный колоночный формат таблиц со сжатием и сохранением типов. Можно читать только нужные столбцы.
Apache Parquetступень 2
ROC-AUC (площадь под ROC-кривой)
Вероятность того, что случайный положительный пример получит скор выше случайного отрицательного.
ROC AUC (area under the ROC curve)ступень 2
Series (столбец pandas)
Одномерный массив NumPy плюс индекс — подписи строк. Арифметика выравнивает значения по подписям.
pandas Seriesступень 2
SHAP (значения Шепли)
Вклад каждого признака в конкретный прогноз по теории игр: базовое значение плюс сумма вкладов равно прогнозу. Для деревьев — точный алгоритм TreeSHAP.
SHAP (Shapley additive explanations)ступень 2
softmax-регрессия (многоклассовая логистическая регрессия)softmax regression (multinomial logistic regression)ступень 2
t-SNE (стохастическое вложение соседей)
Метод визуализации, сохраняющий соседство точек. Размеры кластеров и расстояния между далёкими кластерами на картинке t-SNE почти ничего не значат.
t-distributed stochastic neighbor embedding (t-SNE)ступень 2
«алхимия» («ляньдань») — сленг для обучения моделей
Буквально «выплавлять пилюлю бессмертия». Обучение нейросети, особенно подбор гиперпараметров на ощупь. «Ляньдань-ши» («мастер алхимии») — ML-инженер, «ляньдань-лу» («алхимическая печь») — сервер с GPU.
alchemy (Chinese ML slang for training models)ступень 3
автоматическое дифференцирование (автоград)
Программа записывает операции в граф и сама считает производные по цепному правилу. Для loss → параметры используют обратный режим (reverse mode) — это и есть backprop.
automatic differentiation (autograd)ступень 3
аугментация данных
Случайные преобразования обучающих примеров, которые не меняют ответ: сдвиг, отражение, изменение цвета. Дают модели «бесплатные» новые примеры и снижают переобучение. Применяют только к обучающей выборке.
data augmentationступень 3
блок-«бутылочное горлышко» (bottleneck)
Остаточный блок ResNet-50 и глубже: свёртка 1×1 сужает каналы в 4 раза, свёртка 3×3 работает на узком тензоре, свёртка 1×1 расширяет обратно.
bottleneck blockступень 3
взрыв градиентов
Обратная ситуация: множители больше 1, градиенты растут экспоненциально (1.1⁵⁰ ≈ 117), loss становится nan. Лечат инициализацией, нормализацией и gradient clipping.
exploding gradientsступень 3
всплеск loss
Резкий скачок функции потерь во время обучения. В больших моделях может испортить многодневный прогон, поэтому техотчёты отдельно сообщают об их отсутствии.
loss spikeступень 3
гейт (вентиль)
Вектор из чисел от 0 до 1 (через сигмоиду), который поэлементно решает, какую долю сигнала пропустить. Из LSTM гейты перешли в SwiGLU, gated attention и Gated DeltaNet.
gate, gatingступень 3
глобальный средний пулинг
Усредняет каждую карту признаков целиком в одно число: (N, C, H, W) → (N, C). Стоит перед классификатором в ResNet и позволяет подавать картинки любого размера.
global average pooling (GAP)ступень 3
детекция объектов
Найти на картинке все объекты: для каждого — рамку и класс. Семейства моделей: двухстадийные (Faster R-CNN), одностадийные (YOLO), трансформерные (DETR).
object detectionступень 3
детерминизм (детерминированность)
Одинаковый вход и код всегда дают побитово одинаковый результат. Seed фиксирует случайность, но на GPU ещё нужны детерминированные алгоритмы (torch.use_deterministic_algorithms(True)).
determinismступень 3
динамический граф (define-by-run)
Граф строится заново при каждом выполнении кода, поэтому работают обычные if и for. Так устроены micrograd и PyTorch; противоположность — статический граф (static graph), который сначала описывают, потом запускают.
dynamic computational graph (define-by-run)ступень 3
дополнение (padding)
Рамка из нулей вокруг входа, чтобы свёртка не уменьшала размер: для ядра 3×3 и шага 1 нужна рамка шириной 1.
paddingступень 3
дропаут (dropout)
На обучении каждая активация обнуляется с вероятностью p, остальные умножаются на 1/(1 − p); на инференсе слой ничего не делает. В претрейне современных LLM обычно p = 0.
dropoutступень 3
загрузчик данных (DataLoader)
Берёт Dataset и выдаёт батчи: перемешивает, склеивает примеры в тензоры, может грузить данные в нескольких процессах.
data loaderступень 3
затухание градиентов
Градиент первых слоёв — произведение множителей всех слоёв выше; если они меньше 1, он экспоненциально уменьшается с глубиной (0.9⁵⁰ ≈ 0.005), и нижние слои перестают учиться.
vanishing gradientsступень 3
инициализация весов
Выбор начальных значений весов; главное — дисперсия, при которой сигнал не затухает и не взрывается от слоя к слою.
weight initializationступень 3
инициализация Kaiming (He)
Var(w) = 2 / n_in (He и соавт., MSRA, 2015). Двойка компенсирует то, что ReLU обнуляет половину входов. В PyTorch — nn.init.kaiming_normal_.
Kaiming / He initializationступень 3
инициализация Xavier (Glorot)
Var(w) = 2 / (n_in + n_out) (Glorot, Bengio, 2010): компромисс между условиями прямого и обратного прохода. Рассчитана на активации, которые около нуля ведут себя как тождество (tanh, линейные слои); с ReLU сигнал затухает — там нужна Kaiming.
Xavier / Glorot initializationступень 3
карта признаков
Выход одного ядра свёртки — двумерная «картинка» откликов. Слой с C_out ядрами выдаёт C_out карт признаков (каналов).
feature map (activation map)ступень 3
контекстное окноcontext windowступень 3
линейный зонд (linear probing)
Вариант переноса обучения: веса предобученной сети заморожены, обучается только новый линейный слой поверх её признаков. Быстро и устойчиво на маленьких данных.
linear probingступень 3
листовой тензор
Тензор, созданный пользователем, а не операцией (is_leaf == True). Обычно это параметры модели и входы. Только у листьев с requires_grad после backward() заполняется .grad.
leaf tensorступень 3
механизм вниманияattentionступень 3
многоголовое вниманиеmulti-head attention (MHA)ступень 3
многослойный перцептрон (MLP)
Чередование линейных слоёв и нелинейных активаций. FFN в блоке трансформера — это MLP с одним скрытым слоем.
multilayer perceptron (MLP)ступень 3
модуль (nn.Module)
Базовый класс всех слоёв и моделей PyTorch. Сам находит параметры во вложенных модулях, переносит их на устройство, сохраняет и загружает. В d2l-zh называется «блоком».
module (nn.Module)ступень 3
накопление градиентов
Градиенты складываются (+=), а не перезаписываются. Внутри графа так учитываются все пути к узлу; на уровне обучения — шаг оптимизатора делают раз в несколько микробатчей.
gradient accumulationступень 3
нейрон (искусственный нейрон)
Взвешенная сумма входов плюс сдвиг, пропущенная через нелинейность: a = f(w·x + b).
neuron (artificial neuron, unit)ступень 3
норма градиента
Длина вектора всех градиентов модели (обычно L2). Главный «пульс» обучения: резкий рост предвещает всплеск loss.
gradient normступень 3
нормализация слояlayer normalizationступень 3
обратное распространение во времени (BPTT)
Backprop по развёрнутой во времени RNN. Градиент к ранним шагам проходит через одну и ту же матрицу много раз, отсюда затухание и взрыв.
backpropagation through time (BPTT)ступень 3
обрезка градиента (gradient clipping)
Если норма градиента больше порога, градиент масштабируют до порога: clip_grad_norm_(params, 1.0). Стандарт в обучении LLM.
gradient clippingступень 3
ограничивающая рамка
Прямоугольник вокруг объекта, обычно (x1, y1, x2, y2) — левый верхний и правый нижний углы.
bounding boxступень 3
операция «на месте» (in-place)
Меняет тензор, а не создаёт новый: x += 1, x.zero_(), x.add_(y). В PyTorch такие методы оканчиваются на _.
in-place operationступень 3
основа сети (backbone)
Часть сети, которая извлекает признаки (например, ResNet без последнего линейного слоя). К ней приставляют «голову» под конкретную задачу: классификацию, детекцию, сегментацию.
backboneступень 3
остаточная связьresidual connectionступень 3
пакетная нормализация (BatchNorm)
Нормирует каждый признак по примерам батча, хранит скользящие статистики для инференса (Ioffe, Szegedy, 2015). Стандарт CNN; в LLM не используется.
batch normalizationступень 3
перенос обучения
Берём модель, обученную на большой задаче (ImageNet), и дообучаем на своей маленькой. Признаки нижних слоёв (края, текстуры) универсальны и переносятся.
transfer learningступень 3
перплексияperplexityступень 3
подавление немаксимумов (NMS)
Чистка дублей в детекции: берём рамку с наибольшей уверенностью, выкидываем все рамки, которые перекрываются с ней сильнее порога IoU, повторяем.
non-maximum suppression (NMS)ступень 3
подбор гиперпараметров
Поиск learning rate, размера батча, ширины сети и т. п. «Тяоцань-ся» — «рыцарь подкрутки параметров».
hyperparameter tuningступень 3
позиционное кодированиеpositional encodingступень 3
поканальная (depthwise) свёртка
Свой фильтр k×k для каждого канала, каналы не смешиваются (groups = C в PyTorch). Параметров C · k² вместо C² · k².
depthwise convolutionступень 3
полносвязный блок (FFN)feed-forward network (FFN)ступень 3
причинная свёртка
Одномерная свёртка по времени, которая видит только текущий и прошлые шаги: рамку из нулей добавляют только слева (k − 1 нулей). Так устроены WaveNet и короткие свёртки в слоях линейного внимания.
causal convolutionступень 3
проблема деградации
Более глубокая обычная сеть показывает БОЛЬШУЮ ошибку даже на обучающих данных, чем мелкая. Это трудность оптимизации, а не переобучение; её решили остаточные связи.
degradation problemступень 3
пулинг (субдискретизация)
Сжатие карты признаков — максимум (max pooling) или среднее по окну, например 2×2. Обучаемых параметров нет.
poolingступень 3
разделение весов
Одни и те же параметры применяются в разных местах — ядро свёртки во всех позициях картинки, матрицы RNN на всех шагах времени.
weight sharingступень 3
разделимая (depthwise separable) свёртка
Поканальная свёртка k×k, за ней свёртка 1×1. Основа MobileNet и Xception: при C = 256 и k = 3 параметров в 8.7 раза меньше, чем у обычной свёртки.
depthwise separable convolutionступень 3
расширенная («дырявая») свёртка
Ядро с промежутками: при dilation = d между соседними элементами ядра d − 1 пропущенных пикселей. Ядро 3×3 с d = 2 охватывает окно 5×5 без новых параметров.
dilated (atrous) convolutionступень 3
рецептивное поле
Область входа, от которой зависит один нейрон. Две свёртки 3×3 подряд видят 5×5, три — 7×7: глубина расширяет «взгляд».
receptive fieldступень 3
ротационные позиционные эмбеддинги (RoPE)
RoPE предложен в Китае (Су Цзяньлинь и соавторы, компания Zhuiyi). Сейчас используется почти во всех LLM.
rotary position embedding (RoPE)ступень 3
самовниманиеself-attentionступень 3
свёртка
Маленькое окно весов скользит по входу; в каждой позиции считается скалярное произведение окна и фрагмента входа. В нейросетях это формально взаимная корреляция (cross-correlation).
convolutionступень 3
свёртка 1×1 (pointwise)
Ядро 1×1 смешивает каналы в каждом пикселе независимо — это линейный слой, применённый к каждому пикселю. Параметров C_in · C_out.
pointwise (1×1) convolutionступень 3
связывание весов (общие эмбеддинги входа и выхода)
Одна и та же матрица служит эмбеддингом токенов и LM head. Её градиент — сумма вкладов от обоих мест. В Hugging Face — флаг tie_word_embeddings.
weight tying (tied embeddings)ступень 3
семантическая сегментация
Классификация каждого пикселя: выход сети — карта классов того же размера, что картинка. Классическая архитектура — U-Net.
semantic segmentationступень 3
скрытое состояние
Вектор h_t, в котором RNN хранит «память» о прочитанном: h_t = f(h_{t−1}, x_t). Его размер фиксирован, сколько бы токенов ни прошло.
hidden stateступень 3
скрытый слой
Слой между входом и выходом. Его значения никто не размечал — сеть сама решает, какие признаки в нём строить.
hidden layerступень 3
словарь состояния (state_dict)
Словарь «имя → тензор» со всеми параметрами и буферами модуля (или с состоянием оптимизатора). Именно его сохраняют через torch.save.
state dictступень 3
теорема об универсальной аппроксимации
Сеть с одним скрытым слоем и неполиномиальной активацией приближает любую непрерывную функцию на ограниченной области. Ничего не говорит о числе нейронов, обучении и обобщении.
universal approximation theoremступень 3
токен
В разговорной речи и статьях китайцы чаще всего пишут просто «token».
tokenступень 3
токенизаторtokenizerступень 3
топологическая сортировка
Порядок узлов ориентированного графа без циклов, в котором каждый узел идёт после всех, от кого зависит. backward() обходит его в обратную сторону.
topological sortступень 3
транспонированная свёртка
Операция, которая увеличивает карту признаков (например, 16×16 → 32×32). Математически это обратный проход обычной свёртки по входу; в PyTorch — nn.ConvTranspose2d. Встречается в декодере U-Net.
transposed convolutionступень 3
устройство (device)
Где хранится тензор и где выполняются операции с ним: "cpu", "cuda", "mps" (Apple), "npu" (Huawei Ascend через плагин torch_npu). Операнды одной операции должны быть на одном устройстве.
deviceступень 3
фреймворк глубокого обучения
Библиотека, которая даёт тензоры, автоматическое дифференцирование, слои и оптимизаторы и умеет считать на GPU: PyTorch, JAX, TensorFlow; в Китае — PaddlePaddle, MindSpore, Jittor.
deep learning frameworkступень 3
цикл обучения
Повторять: прямой проход и loss → обнуление градиентов → backward → шаг оптимизатора.
training loopступень 3
чекпоинт (контрольная точка)
Сохранённое состояние обучения: веса модели, состояние оптимизатора, номер шага. Позволяет продолжить обучение после сбоя.
checkpointступень 3
шаг свёртки (stride)
На сколько позиций сдвигается окно свёртки; при шаге 2 выход вдвое меньше по каждой оси.
strideступень 3
эквивариантность к сдвигу
Сдвинули вход — выход свёртки сдвинулся так же. Это индуктивное смещение CNN; d2l-zh говорит о близком свойстве — инвариантности к сдвигу.
translation equivarianceступень 3
эмбеддинг, векторное представлениеembeddingступень 3
ядро свёртки (фильтр)
Обучаемая матрица весов свёртки, например 3×3; одна и та же во всех позициях входа.
convolution kernel (filter)ступень 3
CUDA
Платформа NVIDIA для вычислений на видеокартах. В PyTorch видеокарта NVIDIA — это устройство "cuda" ("cuda:0", "cuda:1"…).
CUDA (Compute Unified Device Architecture)ступень 3
GELU
GELU(z) = z·Φ(z), где Φ — функция распределения N(0, 1). Гладкая активация BERT и GPT-2 (в GPT-2 — tanh-приближение).
Gaussian error linear unit (GELU)ступень 3
GEMM (общее матричное умножение)
Операция C = αAB + βC из библиотек BLAS. Самая оптимизированная операция на CPU и GPU; к ней сводят свёртки, линейные слои и внимание.
general matrix multiplication (GEMM)ступень 3
Grad-CAM (карта внимания по градиентам)
Тепловая карта «куда смотрела сеть»: карты признаков последнего свёрточного слоя складываются с весами — средними градиентами логита класса по каждой карте (Selvaraju et al., 2017).
Gradient-weighted Class Activation Mapping (Grad-CAM)ступень 3
GRU (управляемый рекуррентный блок)
Упрощённая LSTM с двумя гейтами и без отдельной ячейки памяти (Cho и соавт., 2014).
gated recurrent unit (GRU)ступень 3
im2col (развёртка окон в матрицу)
Каждое окно свёртки вытягивают в строку матрицы, и свёртка превращается в одно матричное умножение. Так считал свёртку Caffe; cuDNN делает то же без явной матрицы (implicit GEMM).
im2col (image to column)ступень 3
IoU (пересечение на объединение)
Площадь пересечения двух рамок, делённая на площадь их объединения: 1 — рамки совпадают, 0 — не пересекаются. Предсказание обычно считают верным при IoU ≥ 0.5.
intersection over union (IoU)ступень 3
LSTM (долгая краткосрочная память)
RNN с ячейкой памяти c_t и тремя гейтами (Hochreiter, Schmidhuber, 1997). Ячейка обновляется сложением c_t = f·c_{t−1} + i·g — «остаточная связь во времени».
long short-term memory (LSTM)ступень 3
MNIST (рукописные цифры)
70 000 изображений рукописных цифр 28×28 (60 000 обучающих и 10 000 тестовых). «Hello, world» глубокого обучения.
MNISTступень 3
ReLU (выпрямитель)
ReLU(z) = max(0, z). Дешёвая, не насыщается при z > 0; минус — «мёртвые» нейроны, у которых z < 0 на всех примерах.
rectified linear unit (ReLU)ступень 3
ResNet (остаточная сеть)
Сеть из блоков x + F(x) (He, Zhang, Ren, Sun, MSRA, 2015). 152 слоя, победа на ILSVRC 2015; остаточная связь из ResNet стоит в каждом трансформере.
residual network (ResNet)ступень 3
SiLU (Swish)
SiLU(z) = z·σ(z). Внутри SwiGLU — в FFN Llama, Qwen, DeepSeek. Минимум ≈ −0.278 при z ≈ −1.28.
sigmoid linear unit (SiLU), Swishступень 3
абсолютное позиционное кодирование
Каждый токен получает метку своего номера в тексте (синусоиды, обучаемая таблица). Расстояние между токенами модель должна вывести сама.
absolute positional encodingступень 4
авторегрессионная модель (авторегрессия)
Генерирует последовательность по одному элементу, подавая каждый сгенерированный токен обратно на вход. Так работают GPT, Qwen, DeepSeek.
autoregressive modelступень 4
аддитивное внимание (внимание Bahdanau)
Оценка сходства маленькой сетью v^T tanh(W q + U k). Предложено Bahdanau, Cho, Bengio (2014) для перевода.
additive attention (Bahdanau attention)ступень 4
аналогии слов (векторная арифметика)
Задача «a относится к b, как c к ?», решается поиском слова, ближайшего к вектору b − a + c.
word analogyступень 4
базовая модельbase modelступень 4
байтовый откат
Приём SentencePiece (Llama 2) — символ, которого нет в словаре, кодируется своими байтами вида <0xE9> вместо <unk>.
byte fallbackступень 4
байтовый BPE (byte-level BPE)
BPE, у которого базовый словарь — 256 байтов UTF-8. Любой текст кодируется без <unk>. Используется в GPT-2, GPT-4o, Llama 3, Qwen, DeepSeek.
byte-level BPE (BBPE)ступень 4
балансировка нагрузкиload balancingступень 4
биграмма
Пара соседних токенов. Биграммная модель оценивает P(x_t | x_{t−1}) — таблица V × V.
bigramступень 4
блок трансформера
Внимание + FFN, каждое с остаточной связью и нормализацией. Вход и выход — матрица (T, d), поэтому блоки складываются в стопку (12 у GPT-2 small, 36 у Qwen3-8B, 61 у DeepSeek-V3).
Transformer block (layer)ступень 4
бутылочное горлышко seq2seq
В seq2seq без внимания энкодер сжимает весь вход в одно состояние фиксированного размера. Короткий вход в нём помещается, длинный — нет, и качество падает с длиной. Лечится вниманием к состояниям энкодера (Bahdanau, 2014).
seq2seq bottleneck (fixed-size context vector)ступень 4
веса внимания
Результат softmax от оценок внимания. Неотрицательны, в сумме по ключам дают 1; показывают, «куда смотрит» запрос.
attention weightsступень 4
выравнивание слов (в переводе)
Соответствие «слово перевода ↔ слово оригинала». Модель с вниманием выучивает его сама — его видно в таблице весов внимания.
word alignmentступень 4
выходная проекция (W_O)
Матрица, которая смешивает склеенные выходы голов и возвращает вектор размера d_model. Эквивалентно сумме вкладов голов, у каждой — свой блок W_O.
output projectionступень 4
голова внимания
Одна независимая копия внимания со своими проекциями размера d_h = d_model / H. Головы работают параллельно и смотрят на разные отношения между токенами.
attention headступень 4
голова классификации
Небольшой слой (обычно линейный) поверх предобученного энкодера, который превращает вектор [CLS] в логиты классов. Инициализируется случайно и обучается при дообучении.
classification headступень 4
дистрибутивная гипотеза
Слова, которые встречаются в похожих контекстах, имеют похожий смысл (Harris, 1954; Firth, 1957).
distributional hypothesisступень 4
длинный контекстlong contextступень 4
жадное декодирование (greedy)
На каждом шаге берётся самый вероятный токен (argmax). Детерминировано, но склонно к повторам.
greedy decodingступень 4
законы масштабированияscaling lawsступень 4
закрепление версий зависимостей
Фиксация точных версий библиотек (numpy==2.4.6, а не numpy>=2), чтобы окружение можно было воспроизвести. Снимок текущего окружения — pip freeze > requirements.lock.txt.
dependency pinningступень 4
запрос, ключ, значение (Q, K, V)
Три роли во внимании. Запрос сравнивается с ключами, по сходству получаются веса, ответ — взвешенная сумма значений. В трансформере все три получаются из токена обучаемыми матрицами W_Q, W_K, W_V.
query, key, value (QKV)ступень 4
иерархический softmax
Слова — листья двоичного дерева (в word2vec — дерева Хаффмана). Вероятность слова — произведение log₂V бинарных решений на пути от корня, вместо суммы по всему словарю.
hierarchical softmaxступень 4
индукционная голова
Пара голов, которая находит в контексте прошлое появление текущего токена и копирует токен, шедший после него ([A][B] … [A] → [B]). Механизм in-context learning (Olsson и др., 2022).
induction headступень 4
инкрементальное декодирование
Генерация, при которой на каждом шаге модель обрабатывает только новый токен, а ключи и значения прошлых берёт из KV-кэша.
incremental decodingступень 4
квадратичная сложность внимания
Каждый из n токенов сравнивается с каждым — n² оценок на голову. При длинном контексте это главная стоимость внимания; отсюда FlashAttention, разреженное и линейное внимание.
quadratic complexity (O(n²))ступень 4
конвейерный параллелизмpipeline parallelismступень 4
корпус текстовcorpusступень 4
линейное вниманиеlinear attentionступень 4
марковское допущение
Следующий токен зависит только от n−1 предыдущих. На нём построены n-граммные модели.
Markov assumptionступень 4
маршрутизатор (роутер), гейтrouter / gating networkступень 4
маскированное языковое моделирование (MLM)
Цель обучения BERT — закрыть около 15% токенов и угадать их по контексту с обеих сторон. Сигнал дают только замаскированные позиции.
masked language modeling (MLM)ступень 4
масштабированное скалярное внимание (SDPA)
softmax(Q Kᵀ / √d_k) V — формула внимания трансформера (Vaswani и др., 2017). В PyTorch — F.scaled_dot_product_attention.
scaled dot-product attention (SDPA)ступень 4
матрица поворота
R(α) = [[cos α, −sin α], [sin α, cos α]] поворачивает вектор на плоскости на угол α, не меняя длины. Главное свойство для RoPE: R(a)ᵀR(b) = R(b − a).
rotation matrixступень 4
многоголовое латентное внимание (MLA)
Предложено DeepSeek в DeepSeek-V2 (2024).
multi-head latent attention (MLA)ступень 4
многозначность (полисемия)
Одно слово с несколькими значениями («ключ», «коса», «лук»). Статический эмбеддинг даёт им один вектор на все значения.
polysemyступень 4
негативное сэмплирование
Вместо softmax по всему словарю модель учится отличать настоящую пару (слово, контекст) от k случайных «шумовых» пар.
negative samplingступень 4
негативы из батча
В контрастивном обучении негативами для пары служат чужие примеры того же батча: батч из B пар даёт каждой паре B − 1 негатив бесплатно.
in-batch negativesступень 4
нейросетевая языковая модель
Языковая модель, в которой вероятности следующего токена считает нейросеть по эмбеддингам контекста, а не таблица счётчиков. Первая известная схема с эмбеддингами и MLP — Бенджио и соавторы, 2003.
neural language model (NNLM)ступень 4
нехватка видеопамяти (CUDA OOM)
Ошибка torch.cuda.OutOfMemoryError: веса, активации, градиенты и состояния оптимизатора не помещаются в память карты. Лечат меньшим батчем с накоплением градиентов, bf16, gradient checkpointing, LoRA, квантованием. Китайский сленг — «бао сяньцунь» («взорвать видеопамять»).
CUDA out of memory (OOM)ступень 4
нормировка по длине (в beam search)
Деление суммарной log-вероятности гипотезы на L^α, где L — её длина. Без этого beam search предпочитает короткие ответы: каждый новый токен умножает вероятность на число меньше единицы.
length normalizationступень 4
обрезанный BPTT
Длинный текст режут на окна по T шагов: состояние RNN переносят из окна в окно, а граф отрезают (detach), поэтому градиент течёт назад не дальше T шагов.
truncated backpropagation through time (truncated BPTT)ступень 4
обучаемые позиционные эмбеддинги
Таблица векторов по одному на позицию, обучается вместе с моделью (BERT — 512 позиций, GPT-2 — 1024). За пределами таблицы позиций просто нет.
learned (absolute) position embeddingsступень 4
общий эксперт
Ключевая идея DeepSeekMoE.
shared expertступень 4
остаточный поток
Вектор шириной d, который течёт сквозь все блоки. Каждый подслой читает из него и дописывает поправку, так что выход = вход + сумма всех поправок.
residual streamступень 4
относительное позиционное кодирование
Оценка внимания зависит от расстояния между токенами, а не от их номеров (Shaw и др. 2018, смещения T5, ALiBi, RoPE).
relative positional encodingступень 4
отрицательное лог-правдоподобие (NLL)
−log P(данные | модель), обычно усреднённое по токенам. Для языковой модели совпадает с cross-entropy.
negative log-likelihood (NLL)ступень 4
оценки внимания (attention scores)
Сходство запроса с каждым ключом до softmax, в трансформере — q·k / √d_k. Могут быть любыми числами; именно их маскируют значением −∞.
attention scores (logits)ступень 4
параллелизм по даннымdata parallelismступень 4
перекрёстное внимание (cross-attention)
Запросы из одной последовательности, ключи и значения — из другой (декодер смотрит на выход энкодера). Ср. self-attention, где все три из одной последовательности.
cross-attentionступень 4
подслово
Кусок слова, который токенизатор считает отдельным токеном, например «ток» + «ени» + «зация». Компромисс между символами и целыми словами.
subwordступень 4
поиск learning rate по графику (lr finder)
Короткий прогон, в котором learning rate растёт экспоненциально от шага к шагу. По графику «loss от lr» берут значение в несколько раз меньше того, где loss начинает расти.
learning rate finder (LR range test)ступень 4
посимвольная токенизация
Каждый символ — отдельный токен. Словарь крошечный (десятки–сотни), зато последовательности длинные. Удобна для учебных моделей; в LLM вместо неё byte-level BPE.
character-level tokenizationступень 4
правило слияния
Запись «пара (a, b) → новый токен» в обученном BPE. Порядок правил важен — при кодировании их применяют в порядке обучения.
merge ruleступень 4
предобучение, претрейнpretrainingступень 4
предразбиение (претокенизация)
Предварительная нарезка текста регулярным выражением на слова, числа и пунктуацию; BPE-слияния действуют только внутри кусков.
pre-tokenizationступень 4
предсказание нескольких токенов (MTP)multi-token prediction (MTP)ступень 4
предсказание следующего предложения (NSP)
Вторая цель предобучения BERT — угадать, идёт ли фрагмент B в тексте сразу после A. RoBERTa (2019) показала, что она не нужна, и от неё отказались.
next sentence prediction (NSP)ступень 4
префиксная языковая модель (Prefix LM)
Внутри префикса (например, запроса) внимание двунаправленное, дальше — причинное. UniLM, GLM, ChatGLM-6B; начиная с ChatGLM2 Zhipu перешла на причинную маску.
prefix language model (Prefix LM)ступень 4
причинная (каузальная) маска
Запрещает токену смотреть на будущие позиции — оценки выше диагонали заменяются на −∞ до softmax. Нужна, чтобы GPT-подобная модель училась предсказывать следующий токен на всех позициях сразу.
causal maskступень 4
прореживание частых слов
Перед обучением каждое вхождение слова w выбрасывают с вероятностью 1 − √(t / f(w)), где f(w) — доля слова в корпусе. «и», «в», «на» теряют большую часть вхождений, редкие слова не трогаются.
subsampling of frequent wordsступень 4
разреженное вниманиеsparse attentionступень 4
разреженность данных
Большинство возможных n-грамм ни разу не встречается в корпусе, и подсчёт даёт им вероятность 0.
data sparsityступень 4
распознавание именованных сущностей (NER)
Разметка каждого токена тегом: имя, организация, место или «не сущность». Схема BIO: B-PER — начало имени, I-PER — продолжение, O — вне сущности.
named entity recognition (NER)ступень 4
распределённое обучениеdistributed trainingступень 4
сглаживание Лапласа (add-one)
Добавить константу ко всем счётчикам, чтобы невиданные n-граммы не получали нулевую вероятность. Классический вариант — +1 (add-one), с произвольным α > 0 — сглаживание Лидстоуна (add-α); силу α подбирают на валидации.
Laplace (add-one) smoothingступень 4
сегментация слов (в китайском тексте)
В китайском письме нет пробелов, поэтому границы слов приходится находить алгоритмом. Поэтому по-китайски токенизатор часто так и называют — «сегментатор слов».
word segmentationступень 4
синусоидальное позиционное кодирование
Из статьи 2017 года: PE(pos, 2i) = sin(pos·θ_i), PE(pos, 2i+1) = cos(pos·θ_i), θ_i = 10000^(−2i/d). Прибавляется к эмбеддингам один раз на входе.
sinusoidal positional encodingступень 4
словарь (токенизатора)
Множество всех токенов с их номерами (id). Размер словаря V задаёт размер матрицы эмбеддингов и выходного слоя (V × d).
vocabulary (vocab)ступень 4
слово вне словаря (OOV)
Слово, которого нет в словаре; словарный токенизатор заменяет его на <unk>. Byte-level BPE этой проблемы не имеет.
out-of-vocabulary word (OOV)ступень 4
слой эмбеддингов (таблица эмбеддингов)
Матрица V × d; по номеру токена возвращает его строку. Эквивалентно one-hot × матрица. В PyTorch — nn.Embedding.
embedding layerступень 4
смесь экспертов (MoE)mixture of experts (MoE)ступень 4
смешанная точностьmixed precisionступень 4
специальный токен (спецтокен)
Управляющий токен, а не кусок текста — начало/конец текста (BOS/EOS), заполнитель для батча (PAD), разметка ролей в чате (например, <|im_start|> у Qwen).
special tokenступень 4
степень сжатия токенизатора
Сколько символов (или байтов) текста приходится в среднем на один токен. Чем выше — тем «дешевле» язык для модели.
compression ratio (characters per token)ступень 4
стратегия декодирования
Правило, по которому из распределения следующего токена выбирается сам токен (greedy, beam search, сэмплирование с температурой, top-k, top-p).
decoding strategyступень 4
ступенчатое расписание learning rate
После разогрева lr держится постоянным и падает скачками в заданные моменты. В DeepSeek LLM (2024) — до 31.6% после 80% токенов и до 10% после 90%.
multi-step learning rate scheduleступень 4
сэмплирование (выборка)
Случайный выбор токена пропорционально вероятностям модели.
samplingступень 4
температура (сэмплирования)
Логиты делятся на T перед softmax. T < 1 — распределение острее, T > 1 — площе, T → 0 — greedy.
temperatureступень 4
тензорный параллелизмtensor parallelismступень 4
токен [CLS]
Спецтокен в начале входа BERT. Через внимание собирает информацию со всего текста; его итоговый вектор используют для классификации и как эмбеддинг текста (BGE). Фрагменты разделяет и закрывает токен [SEP].
[CLS] tokenступень 4
точечная взаимная информация (PMI)
PMI(w, c) = log P(w, c) / (P(w) P(c)) — во сколько раз чаще слова встречаются вместе, чем если бы были независимы. Skip-gram с негативным сэмплированием неявно приближает PMI − log k.
pointwise mutual information (PMI)ступень 4
трансформер
Архитектура из статьи «Attention Is All You Need» (2017) — стопка одинаковых блоков из внимания и FFN без рекуррентности. В китайских текстах название обычно не переводят.
Transformerступень 4
трудные негативы
Негативы, похожие на правильный ответ (фрагмент на ту же тему, но не отвечающий на вопрос). Учат тонким различиям; ими дообучают эмбеддинг-модели для поиска.
hard negativesступень 4
усреднение векторов (mean pooling)
Вектор текста как среднее векторов его токенов. Дёшево, но теряет порядок слов: «собака укусила почтальона» и «почтальон укусил собаку» из одних и тех же слов дают один вектор.
mean poolingступень 4
цепное правило вероятности
P(x₁, …, x_T) = ∏ P(x_t | x₁, …, x_{t−1}). Точное тождество, а не приближение.
chain rule of probabilityступень 4
штраф за повторение
Понижение логитов токенов, которые уже встречались в тексте (CTRL, presence/frequency penalty в API).
repetition penaltyступень 4
шумо-контрастная оценка (NCE)
Обучение модели отличать настоящие данные от выборки из известного шумового распределения (Gutmann, Hyvärinen, 2010). Негативное сэмплирование word2vec — её упрощение.
noise-contrastive estimation (NCE)ступень 4
шумовое распределение
Распределение, из которого берут негативы. В word2vec — частоты слов в степени 3/4: частые слова берутся реже, чем пропорционально частоте, редкие — чаще.
noise distributionступень 4
эквивариантность к перестановкам
Переставили входные токены — выходы переставились так же: Attn(PX) = P·Attn(X). Без позиций внимание видит текст как мешок токенов («собака кусает человека» = «человек кусает собаку»).
permutation equivarianceступень 4
эмбеддинг предложения
Один вектор на целое предложение или абзац, такой что близкие по смыслу тексты дают близкие векторы. Простейший вариант — среднее векторов слов; современный — трансформер, обученный контрастивно.
sentence embeddingступень 4
эмерджентные способностиemergent abilitiesступень 4
энкодер–декодер
Двунаправленный энкодер читает вход, причинный декодер генерирует выход и смотрит на энкодер через cross-attention (исходный Transformer, T5, Whisper).
encoder-decoder architectureступень 4
эффективный размер батча
Сколько примеров (или токенов) приходится на один шаг оптимизатора: микробатч × шаги накопления градиентов × число GPU.
effective batch sizeступень 4
ядерная регрессия Надарая–Ватсона
Статистический метод 1964 года — предсказание как взвешенное среднее известных ответов с весами по близости. Необучаемый прообраз внимания; с гауссовым ядром веса — это softmax.
Nadaraya–Watson kernel regressionступень 4
языковая модель
Распределение вероятностей над последовательностями токенов. На практике — функция «контекст → вероятности следующего токена».
language model (LM)ступень 4
accelerate (библиотека Hugging Face)
Библиотека, которая раскладывает модель и вычисления по устройствам: device_map="auto", смешанная точность, запуск на нескольких GPU (accelerate launch), интеграция с DeepSpeed и FSDP. Используется внутри Trainer и TRL.
Hugging Face Accelerateступень 4
ALiBi (линейные смещения внимания)
К оценке внимания прибавляется штраф, линейно растущий с расстоянием, свой наклон у каждой головы (Press и др., 2021). Использовался в BLOOM и MPT; позже уступил RoPE.
Attention with Linear Biases (ALiBi)ступень 4
Auto-классы transformers
Классы библиотеки transformers, которые читают config.json модели и сами создают нужную архитектуру: AutoTokenizer, AutoModel, AutoModelForSequenceClassification, AutoModelForCausalLM и др.
Auto classes (AutoTokenizer, AutoModel)ступень 4
BERT
Энкодерный трансформер Google (2018) с двунаправленной маской, предобученный на MLM. Основа классификаторов, NER, эмбеддеров и реранкеров (BGE, multilingual-e5 — его потомки).
BERT (Bidirectional Encoder Representations from Transformers)ступень 4
BLEU
Метрика машинного перевода (Papineni и соавт., 2002): среднее геометрическое обрезанных точностей n-грамм (n = 1…4), умноженное на штраф за краткость. От 0 до 1, в статьях — от 0 до 100.
BLEU (bilingual evaluation understudy)ступень 4
BPE, кодирование пар байтов
Алгоритм токенизации — многократно сливает самую частую пару соседних токенов в новый токен. Изначально (Gage, 1994) — алгоритм сжатия данных.
Byte Pair Encoding (BPE)ступень 4
CBOW (непрерывный мешок слов)
Вариант word2vec — по словам контекста предсказывается центральное слово.
continuous bag of words (CBOW)ступень 4
chat-шаблон
Правило (обычно Jinja в tokenizer_config.json), которое превращает список сообщений с ролями в одну строку со спецтокенами.
chat templateступень 4
CUDA_VISIBLE_DEVICES
Переменная окружения, которая ограничивает, какие видеокарты видит процесс. Внутри процесса видимые карты нумеруются заново с нуля: при CUDA_VISIBLE_DEVICES=2,3 это cuda:0 и cuda:1.
CUDA_VISIBLE_DEVICESступень 4
decoder-only (только декодер)
Одна стопка блоков с причинной маской, цель — следующий токен. Архитектура GPT, Llama, Qwen, DeepSeek, Kimi, GLM-4.5.
decoder-only architectureступень 4
encoder-only (только энкодер)
Двунаправленное внимание, обучение через маскированное языковое моделирование (BERT, RoBERTa). Сегодня — модели эмбеддингов, реранкеры, классификаторы.
encoder-only architectureступень 4
GLU (вентильный линейный блок)
Две параллельные проекции, одна из которых через нелинейность работает «вентилем» для другой: f(xW)·(xV). Варианты: ReGLU, GEGLU, SwiGLU.
gated linear unit (GLU)ступень 4
llama.cpp
Движок инференса на C/C++ с минимумом зависимостей: работает на CPU, GPU и их смеси, использует квантованные веса в формате GGUF; сервер llama-server с OpenAI-совместимым API (порт 8080).
llama.cppступень 4
LM-голова (языковая голова)
Последний линейный слой GPT: превращает вектор ширины d в V логитов, по одному на токен словаря. Часто делит матрицу с эмбеддингами (weight tying).
LM head (language modeling head)ступень 4
n-грамма
Последовательность из n подряд идущих токенов. В d2l-zh — буквально «одноэлементная», «двухэлементная» и «трёхэлементная грамматика» (unigram, bigram, trigram).
n-gramступень 4
Ollama
Программа для запуска LLM одной командой (ollama run qwen3:8b): своя библиотека моделей в формате GGUF, работа на CPU и GPU, OpenAI-совместимый API на порту 11434.
Ollamaступень 4
one-hot кодирование (унитарный код)
Вектор длины V из нулей с единицей в позиции номера токена. Все one-hot векторы попарно ортогональны.
one-hot encodingступень 4
Post-Norm (нормализация после сложения)
Norm(x + F(x)), как в исходном трансформере 2017 года и BERT. Без разогрева learning rate нестабилен на глубине.
post-normalization (Post-LN)ступень 4
Pre-Norm (нормализация на входе подслоя)
x + F(Norm(x)): нормализуется только вход ветки, остаточный путь чистый. Стандарт с GPT-2 (2019); требует финальной нормализации перед LM-головой.
pre-normalization (Pre-LN)ступень 4
RMSNorm (нормализация по среднеквадратичному)
x / sqrt(mean(x²) + ε) · g — LayerNorm без вычитания среднего и без сдвига β (Zhang, Sennrich, 2019). Стандарт Llama, Qwen, DeepSeek, MiniMind.
root mean square layer normalization (RMSNorm)ступень 4
scatter-add (сложение по индексам)
Операция «разложить значения по строкам массива, складывая совпадающие индексы». Так собирается градиент таблицы эмбеддингов. В NumPy — np.add.at, в PyTorch — index_add_; запись dC[X] += dE в NumPy теряет повторы.
scatter-addступень 4
seq2seq (последовательность в последовательность)
Схема «энкодер читает вход, декодер генерирует выход» (Sutskever и др.; Cho и др., 2014). Без внимания всё входное предложение сжимается в один вектор контекста.
sequence-to-sequence (seq2seq)ступень 4
SGLang
Движок инференса от LMSYS: RadixAttention (переиспользование общего префикса запросов), быстрый структурированный вывод, ранняя поддержка новых DeepSeek и Qwen; OpenAI-совместимый сервер на порту 30000.
SGLangступень 4
skip-gram
Вариант word2vec — по центральному слову предсказываются слова контекста. В старых китайских текстах — «модель пропуска слов».
skip-gramступень 4
SwiGLU
FFN современных LLM: down(SiLU(gate(x)) · up(x)), три матрицы без смещений; скрытый размер обычно ≈ 8d/3 и больше (Shazeer, 2020).
SwiGLU (Swish-gated linear unit)ступень 4
teacher forcing (обучение на верном префиксе)
При обучении модель на каждом шаге видит настоящий текст, а не свои предсказания. Поэтому все позиции можно обучать параллельно.
teacher forcingступень 4
tmux (терминальный мультиплексор)
Программа, которая держит терминальные сессии на сервере: обучение продолжается, если закрыть окно или оборвётся SSH. tmux new -s имя, отцепиться — Ctrl+b затем d, вернуться — tmux attach -t имя.
tmux (terminal multiplexer)ступень 4
top-k сэмплирование
Сэмплирование только из k самых вероятных токенов (остальные получают вероятность 0).
top-k samplingступень 4
top-p (ядерное) сэмплирование
Сэмплирование из минимального набора самых вероятных токенов с суммарной вероятностью ≥ p. Holtzman et al., 2019.
top-p (nucleus) samplingступень 4
vLLM
Открытый движок инференса LLM (UC Berkeley): PagedAttention, continuous batching, тензорный параллелизм, OpenAI-совместимый сервер (vllm serve, порт 8000). Стандарт для сервисов и генерации в RL.
vLLMступень 4
WordPiece
Подсловный токенизатор BERT, родственник BPE. Продолжение слова помечается «##»: playing → play ##ing. Словарь BERT — около 30 тысяч подслов.
WordPieceступень 4
zero-shot (без примеров)
Решение задачи без обучающих примеров и без дообучения — только по описанию задачи в промпте. С несколькими примерами в промпте — few-shot.
zero-shotступень 4
«момент озарения»
Эффект из статьи DeepSeek-R1: модель при RL-обучении сама начинает перепроверять свои рассуждения.
aha momentступень 5
«сток» внимания (attention sink)
Первые токены получают аномально большой вес внимания независимо от смысла — туда softmax «сливает» лишнюю массу. Не путайте со сходным китайским термином из d2l-zh («схождение внимания»): там так переведено attention pooling (взвешенное усреднение значений).
attention sinkступень 5
активные параметры
Сколько параметров MoE-модели реально участвует в обработке одного токена. «A22B» в названии Qwen3-235B-A22B — 22 млрд активных из 235 млрд.
activated (active) parametersступень 5
база RoPE
Число b в частотах RoPE θ_i = b^(−2i/d). Классическое значение 10 000; в длинноконтекстных моделях его увеличивают (Llama 3 — 500 000, Qwen2.5 — 1 000 000).
RoPE base (rope_theta)ступень 5
балансировка без вспомогательного лосса
Метод DeepSeek (arXiv:2408.15664, использован в V3) — к оценкам роутера прибавляется смещение b_i, влияющее только на выбор экспертов; после каждого шага b_i сдвигается на ±γ по загрузке.
auxiliary-loss-free load balancingступень 5
бит на байт (BPB)
Loss, пересчитанный на байт исходного текста; в отличие от perplexity, его можно сравнивать между моделями с разными токенизаторами.
bits per byte (BPB)ступень 5
блок потоков
До 1024 потоков, которые выполняются на одном SM и делят его shared memory. Ядро запускается сеткой (grid) из многих блоков.
thread block (CTA)ступень 5
блочно-разреженное внимание
Запрос выбирает не отдельные токены, а целые блоки ключей (например, по 64). Так удобнее GPU — память читается непрерывными кусками.
block-sparse attentionступень 5
варп
Группа из 32 потоков GPU NVIDIA, которые выполняют одну и ту же инструкцию одновременно, каждый над своими данными. Если потоки варпа расходятся по разным веткам if, ветки выполняются по очереди.
warpступень 5
внимание с выходным гейтом (gated attention)
После softmax-внимания выход каждой головы поэлементно умножается на сигмоидный гейт σ(xW). Убирает attention sink; работа Qwen — лучшая статья NeurIPS 2025.
gated attentionступень 5
внимание с группами запросов (GQA)
Головы запросов делятся на G групп, у каждой группы своя пара K/V. G = H — это MHA, G = 1 — MQA. Стандарт Llama 3 и Qwen (Ainslie и др., 2023).
grouped-query attention (GQA)ступень 5
внимание со скользящим окном (SWA)
Токен видит только w последних токенов. Стоимость O(n·w) вместо O(n²), KV-кэш не больше w позиций на слой.
sliding window attention (SWA)ступень 5
вспомогательный лосс балансировки (aux loss)
Добавка к основному лоссу, штрафующая неравномерную загрузку экспертов. Классическая форма из Switch Transformer — α·N·Σ f_i·P_i.
auxiliary load-balancing lossступень 5
выравнивание (alignment)alignmentступень 5
вычислительно-оптимальное обучение
Такое деление бюджета между размером модели и числом токенов, при котором loss минимален; по Chinchilla — около 20 токенов на параметр.
compute-optimal trainingступень 5
гибридное внимание
Архитектура, где большинство слоёв — дешёвые (линейные или со скользящим окном), а каждый k-й слой — полное внимание.
hybrid attentionступень 5
дедупликацияdeduplicationступень 5
дельта-правило
Обновление памяти S ← S + β(v − S k)kᵀ — сначала читаем, что уже записано по ключу k, и записываем только поправку. Старое значение по тому же ключу стирается.
delta ruleступень 5
дистилляция(knowledge) distillationступень 5
доля принятых черновых токенов (acceptance rate)
В спекулятивном декодировании — какая доля токенов-черновиков совпала с выбором основной модели. У MTP-модуля DeepSeek-V3 — 85–90%.
acceptance rateступень 5
дообучение, тонкая настройка, файнтюнингfine-tuningступень 5
инструктивное дообучениеinstruction tuningступень 5
интерполяция позиций (PI)
Позиции делятся на коэффициент растяжения s, и все углы RoPE остаются в обученном диапазоне. В китайских текстах — дословный перевод того же термина.
position interpolation (PI)ступень 5
итерации Ньютона–Шульца
Многочлен от матрицы X ← aX + b(XXᵀ)X + c(XXᵀ)²X, который подтягивает все сингулярные числа к 1. Заменяет дорогое SVD одними матричными умножениями.
Newton–Schulz iterationступень 5
классификатор качества
Модель (часто fastText или маленький трансформер), которая оценивает «полезность» документа для обучения LLM.
quality classifierступень 5
коллапс маршрутизации
Роутер отправляет почти все токены к нескольким экспертам, остальные не обучаются. Механизм «богатые богатеют» — выбранный эксперт учится лучше и выбирается ещё чаще.
routing collapseступень 5
коллапс модели
Деградация моделей, которые поколение за поколением учатся на текстах, сгенерированных предыдущими моделями.
model collapseступень 5
коэффициент ёмкости
Сколько токенов может принять эксперт относительно идеально ровной раскладки. Лишние токены отбрасываются (token dropping) и проходят только по residual-связи.
capacity factorступень 5
локально-чувствительное хеширование (LSH)locality-sensitive hashing (LSH)ступень 5
мастер-веса
Копия весов в FP32, к которой применяется шаг оптимизатора. Для вычислений с неё делают копию в BF16/FP8. Без мастер-весов маленькие обновления «поглощаются» при округлении.
master weightsступень 5
масштабирование loss (loss scaling)
Loss умножают на большое число S перед обратным проходом, чтобы маленькие градиенты не обнулились в FP16, а перед шагом оптимизатора делят на S в FP32. Для BF16 не нужно.
loss scalingступень 5
мелкозернистое (поблочное) квантование
Свой масштаб у каждой маленькой группы чисел, а не у всего тензора. В DeepSeek-V3: тайлы 1×128 для активаций и блоки 128×128 для весов. Выброс портит только свою группу.
fine-grained quantizationступень 5
мелкозернистые эксперты
Идея DeepSeekMoE — разрезать каждого эксперта на m маленьких и активировать в m раз больше. Параметры и FLOPs те же, а комбинаций экспертов на порядки больше.
fine-grained expertsступень 5
микробатч
Часть батча, которая проходит по конвейеру как единое целое. Чем больше микробатчей, тем меньше доля простоя конвейера.
micro-batchступень 5
многозапросное внимание (MQA)
Все головы запросов делят одну голову ключей и одну голову значений. KV-кэш меньше в H раз, но качество заметно падает (Shazeer, 2019).
multi-query attention (MQA)ступень 5
модель вознагражденияreward modelступень 5
модель пространства состояний (SSM)
Семейство рекуррентных моделей с линейным обновлением состояния (S4, Mamba). Близкий родственник линейного внимания.
state space model (SSM)ступень 5
молниеносный индексатор (lightning indexer)
Маленький модуль внимания в DSA (несколько голов, FP8, ReLU вместо softmax), который оценивает все прошлые токены, чтобы выбрать top-k.
lightning indexerступень 5
неустранимый loss
Часть loss, которую нельзя убрать никаким масштабом, — непредсказуемость самого текста (слагаемое E в формуле Chinchilla).
irreducible lossступень 5
низкоранговое сжатие
Замена большой матрицы произведением двух узких (через «бутылочное горлышко» малой размерности). В MLA так сжимают ключи и значения в латентный вектор c_KV.
low-rank compressionступень 5
обучение с подкреплениемreinforcement learning (RL)ступень 5
обучение с подкреплением на основе отзывов людей (RLHF)reinforcement learning from human feedback (RLHF)ступень 5
обучение с учётом квантования (QAT)
В прямом проходе модель видит уже округлённые (например, 4-битные) веса и учится быть к этому устойчивой. Так получены INT4-веса Kimi K2 Thinking.
quantization-aware training (QAT)ступень 5
обучение с учителем на инструкциях (SFT)supervised fine-tuning (SFT)ступень 5
определение языкаlanguage identification (LID)ступень 5
ортогонализация матрицы
Замена матрицы G = UΣVᵀ на UVᵀ — все сингулярные числа становятся равными 1, а «направления» матрицы сохраняются.
matrix orthogonalizationступень 5
отечественный (китайский) чип
Связано с курсом на импортозамещение («гочань тидай», буквально «замена отечественным»); главный пример — ускорители Huawei Ascend.
domestic chipступень 5
отжиг (финальная фаза обучения)
Конец предобучения, когда learning rate снижают и подмешивают больше самых качественных данных.
annealingступень 5
отображение признаков (feature map)
Функция φ, которая переводит запрос или ключ в неотрицательные признаки, например φ(x) = elu(x) + 1.
feature mapступень 5
параллелизм экспертов
Разные эксперты MoE-слоя живут на разных GPU; токены пересылаются к своим экспертам и обратно через all-to-all-обмен.
expert parallelism (EP)ступень 5
перевычисление активаций (activation checkpointing)
Не хранить часть активаций прямого прохода, а пересчитать их при обратном. Экономит память ценой дополнительных вычислений.
activation checkpointing (recomputation)ступень 5
перекармливание данными, обучение сверх оптимума
Не путать с переобучением (overfitting). Модель обучают на гораздо большем числе токенов, чем советует Chinchilla, чтобы она была меньше и дешевле на инференсе.
overtrainingступень 5
перекрытие вычислений и коммуникаций
Пока GPU считает один кусок работы, по сети пересылаются данные другого. Если пересылка короче вычислений, она становится «бесплатной».
computation-communication overlapступень 5
персональные данные (PII)personally identifiable information (PII)ступень 5
поглощение матриц
Перестановка скобок в произведении матриц на инференсе MLA — W_UK переносится в запрос, W_UV в выходную проекцию, и внимание считается прямо по латентному кэшу без восстановления K и V.
matrix absorption (weight absorption)ступень 5
политика (стратегия агента)policyступень 5
пост-трейнинг, дообучение после претрейнаpost-trainingступень 5
потоковый мультипроцессор (SM)
Основной «цех» GPU NVIDIA: свои CUDA-ядра, тензорные ядра, регистры и shared memory. У RTX 4080 их 76, у H100 и H800 — 132. Блок потоков целиком выполняется на одном SM.
streaming multiprocessor (SM)ступень 5
почти-дубликатnear-duplicateступень 5
проверяемое вознаграждениеverifiable reward (RLVR)ступень 5
пропускная способность межсоединения
Скорость обмена данными между GPU — NVLink внутри узла, InfiniBand между узлами. У H800 урезана по сравнению с H100.
interconnect bandwidthступень 5
профайлер
Инструмент, который записывает, сколько времени заняла каждая операция и каждое ядро. Для PyTorch — torch.profiler (таблица и трасса для Perfetto), для всей программы — NVIDIA Nsight Systems (nsys).
profilerступень 5
пузырь конвейера
Время, когда стадии конвейера простаивают в ожидании данных. У GPipe и 1F1B доля пузыря — (p − 1) / (m + p − 1) при p стадиях и m микробатчах.
pipeline bubbleступень 5
развязанный RoPE
Приём MLA — позиционная информация идёт через отдельную небольшую часть запроса и ключа (64 измерения в DeepSeek-V2/V3), а сжатая «контентная» часть остаётся без RoPE, чтобы работало поглощение матриц.
decoupled RoPEступень 5
разреженная активация
На каждый токен работает лишь малая часть параметров модели. У DeepSeek-V3 — около 5.5% (37B активных из 671B).
sparse activationступень 5
ранг процесса
Номер процесса в распределённом запуске, от 0 до world_size − 1. LOCAL_RANK — номер на своей машине, по нему выбирают GPU. Ранг 0 обычно печатает логи и сохраняет чекпоинты.
rankступень 5
распределённый чекпоинт (DCP)
Сохранение состояния модели и оптимизатора, при котором каждый ранг пишет свой шард параллельно. Позволяет загрузить чекпоинт и на другом числе GPU. Нужен для FSDP, где ни у одного ранга нет полной модели.
distributed checkpoint (torch.distributed.checkpoint)ступень 5
рассуждение
⚠️ В китайском одно слово («туйли») означает и «рассуждение» (reasoning), и «инференс» (inference). Смысл определяется по контексту. «Модель туйли» — reasoning-модель, «ускорение туйли» — ускорение инференса.
reasoningступень 5
синтетические данныеsynthetic dataступень 5
слияние операций (kernel fusion)
Выполнение нескольких операций одним ядром: промежуточные результаты остаются в регистрах или SRAM, в видеопамять пишется только итог. Главный способ ускорить memory-bound операции. Автоматически это делает torch.compile.
kernel fusionступень 5
смесь данных
Доли источников (веб, код, математика, книги, языки) в обучающем потоке токенов.
data mixtureступень 5
стена данных
Предел роста за счёт новых человеческих текстов — качественных данных в интернете конечное количество.
data wallступень 5
степенной закон
Зависимость вида y = a·x^(−α); в логарифмических осях — прямая.
power lawступень 5
сходство Жаккара
|A ∩ B| / |A ∪ B| — доля общих элементов двух множеств.
Jaccard similarityступень 5
тайлинг (разбиение на блоки)
Приём быстрых ядер: данные режутся на тайлы, которые помещаются в быструю память, и каждый тайл используется многократно. Тайловый матмул с тайлом t читает из медленной памяти в t раз меньше, чем наивный.
tilingступень 5
тензорное ядро
Блок GPU, который за одну инструкцию умножает маленькие матрицы и прибавляет результат: D = AB + C. Работает в форматах TF32, BF16, FP16, FP8, INT8. У RTX 4080 их 304 (по 4 на SM), пик в BF16 — 97.5 TFLOPS против 48.7 у FP32 на CUDA-ядрах.
Tensor Coreступень 5
тест «иголка в стоге сена»
В длинный посторонний текст вставляют факт («иголку») и спрашивают о нём. Проверяет поиск по контексту, но не рассуждение.
needle in a haystack (NIAH)ступень 5
упаковка последовательностей
Документы склеивают в один поток токенов через разделитель и режут на окна фиксированной длины — без паддинга.
sequence packingступень 5
утилизация FLOPs модели (MFU)
Доля пиковой производительности железа, которая уходит на полезные вычисления модели. Для больших распределённых обучений типичны 30–50 %.
model FLOPs utilization (MFU)ступень 5
фильтрация по качествуquality filteringступень 5
цепочка рассужденийchain of thought (CoT)ступень 5
чанковая (блочно-параллельная) форма
Последовательность режут на блоки — внутри блока внимание считается матрицами (как при обучении), между блоками передаётся рекуррентное состояние. Так устроены Lightning Attention и ядра fla.
chunkwise parallel formступень 5
эксперт (в MoE)
Один из параллельных FFN-блоков MoE-слоя. Каждый токен обрабатывают лишь несколько экспертов, выбранных роутером.
expertступень 5
экспортный контроль
Ограничения США на поставку в Китай передовых GPU и оборудования для их производства (с октября 2022 г.).
export controlsступень 5
экстраполяция по длине
Способность модели работать на последовательностях длиннее тех, на которых её обучали. В китайском сообществе так называют всю тему расширения контекста.
length extrapolationступень 5
эффективность масштабирования
Скорость на N GPU, делённая на N скоростей одной GPU. 100% — идеальное ускорение в N раз; потери дают коммуникации, не спрятанные за вычислениями, и неравномерная загрузка.
scaling efficiencyступень 5
ядерный трюк
Замена функции сходства sim(q, k) скалярным произведением признаков φ(q)·φ(k). В линейном внимании это позволяет переставить скобки и получить O(n) вместо O(n²).
kernel trickступень 5
ядро GPU (kernel)
Функция, которая запускается на GPU сразу во множестве потоков. Каждая операция PyTorch на видеокарте — запуск одного или нескольких ядер. Не путать с ядрами процессора и с CUDA-ядрами (арифметическими блоками).
GPU kernelступень 5
all-gather
Коллективная операция: каждый GPU отдаёт свой кусок тензора и получает склейку кусков всех GPU. FSDP собирает так веса слоя перед вычислением.
all-gatherступень 5
all-reduce (суммирование со всех на все)
Коллективная операция — каждый GPU отдаёт свой тензор и получает сумму (или среднее) тензоров всех GPU. Так DDP усредняет градиенты.
all-reduceступень 5
BF16 (bfloat16)
16-битный формат: 1 бит знака, 8 бит порядка (как у FP32), 7 бит мантиссы. Диапазон как у FP32, точность — 2–3 значащие цифры. Стандарт обучения LLM.
bfloat16 (brain floating point)ступень 5
DeepSeek Sparse Attention (DSA)
Разреженное внимание DeepSeek-V3.2 — дешёвый индексатор выбирает 2048 прошлых токенов для каждого запроса, полное MLA считается только по ним. Позже взято в GLM-5.
DeepSeek Sparse Attention (DSA)ступень 5
DualPipe (двунаправленный конвейер)
Расписание конвейера из DeepSeek-V3 — микробатчи подаются с обоих концов, а прямой и обратный проходы разных микробатчей перекрываются так, что коммуникация прячется за вычислениями.
DualPipeступень 5
FlashAttention
Точный алгоритм внимания (Tri Dao и соавт., 2022), который не хранит матрицу n×n в видеопамяти: Q, K, V обрабатываются блоками в SRAM с online softmax, а в обратном проходе блоки пересчитываются. Память — O(n) вместо O(n²). Версии 2 и 3 улучшают параллелизм и используют возможности Hopper.
FlashAttentionступень 5
FLOPs, число операций с плавающей точкой
Не путайте FLOPs (сколько операций нужно сделать) и FLOP/s, FLOPS (сколько операций железо делает в секунду).
floating-point operations (FLOPs)ступень 5
FP8 (8-битное число с плавающей точкой)
Два варианта: E4M3 (точнее, максимум 448) и E5M2 (грубее, максимум 57 344). Требует масштабирования тензоров. DeepSeek-V3 обучалась в FP8 с поблочными масштабами.
FP8 (8-bit floating point)ступень 5
FSDP (полностью шардированный параллелизм по данным)
Реализация идеи ZeRO-3 в PyTorch. Веса слоя собираются со всех GPU прямо перед его вычислением и сразу освобождаются.
Fully Sharded Data Parallel (FSDP)ступень 5
Gated DeltaNet (GDN)
Дельта-правило плюс зависящее от входа затухание состояния α_t. Основа Qwen3-Next и Qwen3.5 (три слоя GDN на один слой внимания).
Gated DeltaNetступень 5
GPU-часы
Число ускорителей × часы работы. 2048 GPU за сутки — 49 152 GPU-часа.
GPU hoursступень 5
HBM, видеопамять
Основная память серверных GPU (A100, H100, H800) — микросхемы в одном корпусе с чипом. У GeForce вместо неё GDDR6X с той же ролью: большой объём, но в десятки раз медленнее SRAM. В литературе «HBM» часто означает просто видеопамять.
HBM (high-bandwidth memory)ступень 5
Kimi Delta Attention (KDA)
Вариант Gated DeltaNet от Moonshot с поканальным (а не скалярным) затуханием. Kimi Linear чередует 3 слоя KDA с 1 слоем MLA.
Kimi Delta Attention (KDA)ступень 5
Lightning Attention
Линейное внимание с тайлингом — маскированная матрица внутри блока и состояние KᵀV между блоками. Основа MiniMax-01 (7 линейных слоёв на 1 softmax).
Lightning Attentionступень 5
LoRA (низкоранговая адаптация)low-rank adaptation (LoRA)ступень 5
MinHash
Короткая подпись множества; доля совпавших позиций двух подписей — оценка сходства Жаккара.
MinHashступень 5
Muon (оптимизатор)
Оптимизатор для матриц весов (Келлер Джордан, 2024) — momentum, затем ортогонализация обновления итерациями Ньютона–Шульца. Moonshot масштабировала его до Kimi K2.
Muon optimizerступень 5
Native Sparse Attention (NSA)
Разреженное внимание DeepSeek (2025) — три ветви (сжатые блоки, отобранные top-n блоки, скользящее окно), смешанные гейтом; обучается с нуля.
Native Sparse Attention (NSA)ступень 5
NCCL
Библиотека NVIDIA для коллективных операций между GPU (all-reduce, all-gather, reduce-scatter): сама выбирает путь — NVLink, PCIe напрямую (P2P), через память CPU или по сети. Бэкенд torch.distributed для видеокарт.
NCCL (NVIDIA Collective Communications Library)ступень 5
NTK-aware масштабирование RoPE
Вместо позиций увеличивают базу RoPE в s^(d/(d−2)) раз — быстрые частоты почти не меняются, медленные интерполируются.
NTK-aware scaled RoPEступень 5
online softmax
Softmax за один проход по данным с бегущими максимумом m и суммой ℓ: при новом максимуме старая сумма умножается на e^(m_старый − m_новый). Milakov и Gimelshein (NVIDIA, 2018); основа FlashAttention.
online softmaxступень 5
QK-нормализация (QK-Norm)
Нормализация (обычно RMSNorm) запросов и ключей перед скалярным произведением. Ограничивает рост attention-логитов; используется, например, в Qwen3.
QK-Normступень 5
QK-Clip
Приём из Kimi K2 — если максимальный attention-логит головы превысил порог τ, веса W_q и W_k этой головы умножают на √(τ / max). Вместе с Muon — оптимизатор MuonClip.
QK-Clipступень 5
reduce-scatter
Коллективная операция: тензоры всех GPU суммируются, и каждый GPU получает только свой кусок суммы. Вместе с all-gather даёт all-reduce; на этой паре построены ZeRO и FSDP.
reduce-scatterступень 5
shared memory (SRAM)
Быстрая память внутри SM, общая для потоков одного блока; физически та же SRAM, что и кэш L1. На Ada — до 100 КБ на SM. В статьях о FlashAttention её называют просто SRAM.
shared memoryступень 5
top-k маршрутизация
Роутер оценивает всех экспертов и отправляет токен к k лучшим; их выходы складываются с весами роутера.
top-k routingступень 5
torch.compile
Компилятор PyTorch 2: TorchDynamo перехватывает граф операций модели, TorchInductor генерирует слитые ядра (на GPU — на Triton). Ускоряет обучение и инференс без изменения кода модели; первый вызов долгий из-за компиляции.
torch.compileступень 5
torchrun
Утилита PyTorch для запуска распределённого обучения: стартует нужное число процессов и передаёт им RANK, LOCAL_RANK, WORLD_SIZE, MASTER_ADDR и MASTER_PORT через переменные окружения. Пример: torchrun --standalone --nproc_per_node=4 train.py.
torchrunступень 5
Triton
Язык и компилятор GPU-ядер на Python (OpenAI, открытый под MIT). Программист описывает работу одного блока данных, а распределение по потокам, shared memory и тензорные ядра берёт на себя компилятор. На нём написаны ядра torch.compile, flash-linear-attention, многие ядра vLLM.
Triton (language and compiler)ступень 5
YaRN
NTK-by-parts (каждая пара частот масштабируется по числу оборотов за обучающую длину) плюс температура внимания 0.1·ln s + 1. Используется в DeepSeek-V3 и Qwen.
YaRN (Yet another RoPE extensioN)ступень 5
ZeRO (оптимизатор без избыточности)
Вместо того чтобы хранить на каждом GPU полную копию, состояние оптимизатора (ZeRO-1), градиенты (ZeRO-2) и веса (ZeRO-3) делят между GPU параллелизма по данным.
ZeRO (Zero Redundancy Optimizer)ступень 5
«передумывание» (overthinking)
Модель тратит тысячи токенов там, где хватило бы сотни. Лечат штрафом за длину, long2short, бюджетом мышления.
overthinkingступень 6
адаптерadapterступень 6
актор-критик (actor-critic)
Две сети — актор (политика) и критик (оценка V); критик даёт актору оценку преимущества.
actor-criticступень 6
асимметричный клиппинг (Clip-Higher)
Верхняя граница клиппинга больше нижней (в DAPO — 1 + 0.28 и 1 − 0.2), чтобы редкие «исследовательские» токены могли расти.
Clip-Higher (decoupled clipping range)ступень 6
базовая линия (baseline)
Число, которое вычитают из награды; не смещает градиент политики, но снижает его дисперсию.
baselineступень 6
бенчмаркbenchmarkступень 6
бутстрэп (в RL)
Обновление оценки с опорой на другую собственную оценку (V(s′) или max Q(s′, ·)), а не на полную фактическую отдачу. Не путать с бутстрэп-выборкой из статистики.
bootstrappingступень 6
буфер воспроизведения (replay buffer)
Хранилище прошлых переходов (s, a, r, s′), из которого сэмплируют случайные мини-батчи.
experience replay bufferступень 6
бюджет мышления
Лимит токенов на рассуждение; при его исчерпании рассуждение обрывают и просят модель ответить. Ручка «точность ↔ задержка».
thinking budgetступень 6
взлом награды (reward hacking)
Политика находит способ получить высокую награду, не делая того, что задумали люди.
reward hackingступень 6
внутренняя размерность
Сколько независимых «направлений» в пространстве параметров реально нужно, чтобы решить задачу. Объясняет, почему LoRA хватает малого ранга.
intrinsic dimensionступень 6
выборка по значимости (importance sampling)
Перевзвешивание сэмплов старой политики отношением π_new / π_old — основа PPO.
importance samplingступень 6
вырожденная группа
Все ответы группы получили одинаковую награду — все преимущества нулевые, градиента нет.
degenerate group (zero-variance group)ступень 6
вычисления во время инференса (test-time compute)
Больше вычислений на ответ вместо большей модели: длинное рассуждение, много сэмплов с голосованием, поиск с проверщиком.
test-time computeступень 6
гибридный режим мышления
Одна модель умеет отвечать и с длинным рассуждением, и сразу. В Qwen3 режим переключается флагами /think и /no_think.
hybrid thinking modeступень 6
гипотеза поверхностного выравнивания
Из статьи LIMA (2023): знания модель получает на претрейне, а выравнивание в основном учит формату и стилю общения.
superficial alignment hypothesisступень 6
градиент политики
∇J = E[r · ∇ log π(y|x)] — основа REINFORCE, PPO и GRPO.
policy gradientступень 6
данные предпочтений
Тройки (промпт, лучший ответ, худший ответ) — chosen / rejected.
preference dataступень 6
данные холодного старта
Небольшой набор качественных длинных рассуждений для SFT перед RL — так в DeepSeek-R1 исправили нечитаемость R1-Zero.
cold-start dataступень 6
действие (в RL)
Выбор агента на шаге. У LLM действие — следующий токен.
actionступень 6
динамический сэмплинг
Выбросить группы с точностью 0 или 1 и досэмплировать новые, пока батч не заполнится «живыми» группами.
dynamic samplingступень 6
динамическое программирование
Решение задачи через ответы на подзадачи, которые хранятся и переиспользуются. В RL — методы для случая, когда модель среды известна.
dynamic programmingступень 6
дистилляция «от сильной к слабой»
Схема Qwen3 для маленьких моделей. Сначала обучение на ответах большой модели (off-policy), затем подгонка к её логитам на собственных генерациях ученика (on-policy).
strong-to-weak distillationступень 6
закон Гудхарта
«Когда мера становится целью, она перестаёт быть хорошей мерой».
Goodhart's lawступень 6
инференс, вывод модели
См. «reasoning»: в китайском одно и то же слово.
inferenceступень 6
исследование и использование
Компромисс между «пробовать новое, чтобы узнать больше» и «делать то, что сейчас кажется лучшим».
exploration vs. exploitationступень 6
итерация по политике (policy iteration)
Чередовать оценку политики (решить уравнение Беллмана для V^π) и её жадное улучшение, пока политика не перестанет меняться.
policy iterationступень 6
итерация по ценности (value iteration)
Повторять V(s) ← max_a Σ P(s′|s,a)[R + γV(s′)] до сходимости, затем взять жадную политику.
value iterationступень 6
катастрофическое забывание
При дообучении на узкой задаче модель теряет ранее освоенные навыки.
catastrophic forgettingступень 6
квантованиеquantizationступень 6
коллапс энтропии
Энтропия политики быстро падает при RL: ответы в группе становятся почти одинаковыми, исследование прекращается, рост награды упирается в потолок.
entropy collapseступень 6
контекстный бандит
Задача RL из одного шага, но в разных ситуациях (контекстах). Ответ LLM целиком на промпт — пример такой задачи.
contextual banditступень 6
коэффициент дисконтирования
γ от 0 до 1: во сколько раз награда через шаг «дешевле» награды сейчас. Горизонт планирования ≈ 1/(1−γ).
discount factorступень 6
критик, value-модель
Сеть, предсказывающая ожидаемую награду из текущего состояния; в PPO служит baseline для каждого токена.
critic / value modelступень 6
марковский процесс принятия решений (MDP)
Пятёрка (S, A, P, R, γ): состояния, действия, вероятности переходов, награда и коэффициент дисконтирования.
Markov decision process (MDP)ступень 6
марковское свойство
Будущее зависит только от текущего состояния и действия, а не от всей предыстории.
Markov propertyступень 6
маска loss
В SFT loss считают только по токенам ответа ассистента; остальные позиции получают метку -100 (ignore_index в PyTorch).
loss maskступень 6
метод Монте-Карло (в RL)
Оценка ценности усреднением фактических отдач законченных эпизодов. Без смещения, но с большим разбросом.
Monte Carlo methodступень 6
мир-сетка (gridworld)
Учебная среда — агент ходит по клеткам поля, есть цели, ловушки и стены.
grid worldступень 6
многорукий бандит
Простейшая задача RL — K «ручек» с неизвестными средними наградами, один шаг на эпизод.
multi-armed banditступень 6
модель Брэдли–Терри
P(A ≻ B) = σ(r_A − r_B). Та же модель стоит за рейтингом Эло и лидербордом Chatbot Arena.
Bradley–Terry modelступень 6
на устройстве (on-device)on-device / edgeступень 6
награда за языковую согласованность
Доля слов целевого языка в рассуждении. В R1 её прибавляют к награде за точность.
language consistency rewardступень 6
награда, вознаграждение
Число, которым среда оценивает действие или весь ответ. У LLM обычно одна награда в конце ответа.
rewardступень 6
налог на выравнивание
Падение качества на обычных задачах после выравнивания под предпочтения.
alignment taxступень 6
неявная награда
В DPO: r(x, y) = β · log(π(y|x) / π_ref(y|x)) — награда, «спрятанная» в самой политике.
implicit rewardступень 6
обобщённая оценка преимущества (GAE)
Schulman и др., 2015. Смешивает оценки преимущества разной длины с коэффициентом λ.
generalized advantage estimation (GAE)ступень 6
обучение без модели среды (model-free RL)
Агент не знает вероятностей переходов и наград и учится только на собственном опыте.
model-free reinforcement learningступень 6
обучение в контексте
Модель решает новую задачу по примерам в промпте, без изменения весов. Ярко показано в статье о GPT-3 (2020).
in-context learning (ICL)ступень 6
обучение на временных разностях (TD)
Обновление оценки после каждого шага: V(s) ← V(s) + α[r + γV(s′) − V(s)].
temporal-difference learningступень 6
отбор с отклонением (rejection sampling)
Сгенерировать много ответов и оставить только прошедшие проверку. В пост-трейнинге — способ собрать SFT-данные из RL-модели.
rejection samplingступень 6
отдача (return)
G_t = r_t + γ r_{t+1} + γ² r_{t+2} + … — дисконтированная сумма наград от шага t до конца эпизода.
returnступень 6
оценка (эвалы)evaluation (evals)ступень 6
оценка KL «k3»
ρ − log ρ − 1, где ρ = π_ref / π_θ: несмещённая оценка KL(π_θ ‖ π_ref) по сэмплу, всегда ≥ 0. В verl — kl_loss_type=low_var_kl.
k3 KL estimatorступень 6
параметрически-эффективное дообучение (PEFT)
Обучается малая доля параметров (адаптеры, LoRA, префиксы), основная модель заморожена. Так же называется библиотека Hugging Face.
parameter-efficient fine-tuning (PEFT)ступень 6
пермиссивная (разрешительная) лицензия
MIT, Apache-2.0, BSD — разрешают коммерческое использование и изменения почти без условий, кроме сохранения уведомления об авторстве.
permissive licenseступень 6
поиск по дереву Монте-Карло (MCTS)
Алгоритм поиска, прославившийся благодаря AlphaGo. Для генерации текста пространство ходов слишком велико — ещё одна «неудачная попытка» R1.
Monte Carlo tree search (MCTS)ступень 6
полное дообучениеfull fine-tuningступень 6
правиловая награда
Награду считает программа (сверка ответа, запуск тестов, проверка формата), а не нейросеть. Её трудно «взломать».
rule-based rewardступень 6
преимущество (advantage)
A = r − b или A(s, a) = Q(s, a) − V(s): насколько действие лучше среднего в этой ситуации.
advantageступень 6
производная модель
Модель, полученная из чужой базовой — дообучением, дистилляцией, квантованием или слиянием. Наследует условия лицензии базовой модели.
derivative modelступень 6
проксимальная оптимизация политики (PPO)
Schulman и др., 2017. Ограничивает шаг обновления «клиппингом» отношения вероятностей.
proximal policy optimization (PPO)ступень 6
процессная модель вознаграждения (PRM)
Оценивает каждый шаг рассуждения, а не только итоговый ответ. В DeepSeek-R1 описана как «неудачная попытка».
process reward model (PRM)ступень 6
прямая оптимизация предпочтений (DPO)
Rafailov и др., 2023. Обучение на парах предпочтений без reward model и без RL-цикла.
direct preference optimization (DPO)ступень 6
ранг матрицы
Число линейно независимых строк (столбцов). Матрица B·A, где B размера d×r, а A — r×k, имеет ранг не больше r.
matrix rankступень 6
референсная модель
Замороженная копия модели до RL (обычно SFT-модель), к которой обучаемую политику «привязывает» KL-штраф.
reference modelступень 6
роллаут (генерация ответов для RL)
Этап RL-шага, на котором текущая политика генерирует ответы на промпты. В GRPO — самая дорогая часть.
rolloutступень 6
самосогласованность (голосование большинством)
Сгенерировать N ответов и выбрать самый частый итоговый. В отчётах — maj@k или cons@k.
self-consistency (majority voting)ступень 6
слияние весов
Для LoRA — замена W на W + (α/r)·BA; после слияния адаптер не замедляет инференс.
weight mergingступень 6
смешение языков
Модель переключается между языками внутри одного рассуждения. Типичная проблема R1-Zero.
language mixingступень 6
смещение по длине (в GRPO)
Из-за множителя 1/|o_i| короткие верные ответы поощряются сильнее, а длинные неверные наказываются слабее. Исправления — token-level loss (DAPO) и Dr. GRPO.
response-level length biasступень 6
смещение экспозиции (exposure bias)
При обучении модель видит только «правильные» префиксы, а при генерации — свои собственные, с ошибками. Отсюда накопление ошибок.
exposure biasступень 6
состояние (в RL)
Всё, что агенту нужно знать о ситуации, чтобы выбрать действие. У LLM — промпт плюс уже написанные токены.
stateступень 6
спекулятивное декодированиеspeculative decodingступень 6
угодничество (sycophancy)
Склонность модели соглашаться с пользователем и льстить ему вместо правдивого ответа — частый побочный эффект RLHF.
sycophancyступень 6
уравнение Беллмана
Ценность состояния = средняя немедленная награда + γ · средняя ценность следующего состояния.
Bellman equationступень 6
уравнение оптимальности Беллмана
То же уравнение, но вместо усреднения по политике — максимум по действиям. Его решение — V* и Q*.
Bellman optimality equationступень 6
формирование награды (reward shaping)
Добавки к основной награде, которые направляют обучение: штраф за длину, за формат, за смешение языков.
reward shapingступень 6
функция ценности действия (Q)
Q^π(s, a) — средняя отдача, если в s выбрать действие a, а дальше действовать по π.
action-value function (Q-function)ступень 6
функция ценности состояния (V)
V^π(s) — средняя отдача, если стартовать из s и дальше действовать по политике π.
state-value functionступень 6
целевая сеть (target network)
Замороженная копия Q-сети для вычисления цели r + γ max Q; её веса обновляют редко.
target networkступень 6
чат-модель, instruct-модель
Базовая модель после пост-трейнинга. На Hugging Face и ModelScope узнаётся по суффиксу -Instruct/-Chat (Qwen2.5) или по отсутствию суффикса -Base (Qwen3, DeepSeek-V3).
chat model / instruct modelступень 6
энтропийный бонус
Добавка c·H[π(·|s)] к цели — награда за «неуверенность» политики, чтобы она не схлопнулась раньше времени и продолжала исследовать.
entropy bonusступень 6
эпизод
Одна партия взаимодействия от старта до конечного состояния. У LLM — один ответ до токена конца.
episodeступень 6
CISPO
MiniMax-M1, 2025: клиппуется вес importance sampling (без градиента через него), а не само обновление — градиент получают все токены.
Clipped IS-weight Policy Optimization (CISPO)ступень 6
DAPO
ByteDance Seed и Tsinghua AIR, 2025: Clip-Higher, динамический сэмплинг, token-level loss, мягкий штраф за сверхдлинные ответы.
Decoupled Clip and Dynamic sAmpling Policy Optimization (DAPO)ступень 6
DQN (глубокая Q-сеть)
Mnih и др., 2015 — Q-learning с нейросетью, буфером воспроизведения и целевой сетью; играл в Atari по пикселям.
deep Q-network (DQN)ступень 6
GRPO (групповая относительная оптимизация политики)
PPO без критика: на промпт генерируется группа из G ответов, преимущество — (r − среднее) / std по группе. DeepSeekMath, 2024.
Group Relative Policy Optimization (GRPO)ступень 6
GSPO
Qwen, 2025: отношение вероятностей и клиппинг на уровне всего ответа, s_i = (π_θ(y)/π_old(y))^(1/|y|). Стабилизирует RL для MoE.
Group Sequence Policy Optimization (GSPO)ступень 6
KL-штраф
Слагаемое −β·KL(π ‖ π_ref) в цели RL; не даёт политике уйти далеко от референсной модели.
KL penaltyступень 6
KV-кэшKV cacheступень 6
loss на уровне токенов
Сумма по всем токенам батча, делённая на их общее число: каждый токен весит одинаково, независимо от длины ответа.
token-level policy gradient lossступень 6
NF4 (4-битный NormalFloat)
16 уровней — квантили нормального распределения, поэтому нормально распределённые веса квантуются точнее, чем равномерной сеткой INT4.
4-bit NormalFloat (NF4)ступень 6
off-policy (обучение на данных другой политики)
Политика, которую учим, отличается от той, что собирала данные. Пример — Q-learning; в PPO и GRPO — поправка π/π_old.
off-policyступень 6
on-policy (обучение на данных текущей политики)
Противоположность — off-policy, обучение на данных другой политики.
on-policyступень 6
on-policy дистилляция (OPD)
Ученик сам генерирует ответы, учитель оценивает каждый токен; минимизируется обратная KL(π_ученика ‖ π_учителя). Qwen3, DeepSeek-V4.
on-policy distillation (OPD)ступень 6
Q-learning
Q(s,a) ← Q(s,a) + α[r + γ max_a′ Q(s′,a′) − Q(s,a)]. Off-policy: учит Q* при любом поведении.
Q-learningступень 6
QLoRA (LoRA поверх 4-битной модели)quantized LoRA (QLoRA)ступень 6
REINFORCE
Алгоритм Уильямса (1992) — оценка градиента политики по сэмплам эпизодов (метод Монте-Карло).
REINFORCEступень 6
SARSA
Как Q-learning, но в цели Q(s′, a′) действия, которое агент действительно выбрал. On-policy.
SARSA (state–action–reward–state–action)ступень 6
TD-ошибка
δ = r + γV(s′) − V(s): насколько после шага дела оказались лучше (или хуже), чем ожидалось.
TD errorступень 6
TRPO (оптимизация политики в доверительной области)
Schulman и др., 2015 — шаг политики с ограничением на KL к старой политике; предшественник PPO.
trust region policy optimization (TRPO)ступень 6
ε-жадная стратегия
С вероятностью ε — случайное действие, иначе — действие с наибольшей оценкой Q.
ε-greedy policyступень 6
«прямой» оценщик градиента (STE)
Приём QAT — в прямом проходе веса округляются, а в обратном округление считается тождественной функцией, и градиент проходит «насквозь».
straight-through estimator (STE)ступень 7
агент
В китайском встречается и «дайли» («посредник»), но в AI-контексте стандарт — «чжинэнти» (буквально «интеллектуальное тело»).
agentступень 7
анализ ошибок
Ручной разбор неудачных ответов с разметкой причин. Подсказывает, что чинить, лучше любой средней метрики.
error analysisступень 7
арифметическая интенсивность
Сколько операций приходится на один прочитанный из памяти байт (FLOP/байт). Decode с батчем 1 в BF16 — около 1, prefill на 1000 токенов — около 1000.
arithmetic intensityступень 7
асимметричное квантование (с нулевой точкой)
Сетка 0 … 2^b − 1 натягивается на отрезок [min, max]. Не тратит уровни впустую, если данные не симметричны (например, после ReLU).
asymmetric (zero-point) quantizationступень 7
векторная база данныхvector databaseступень 7
время до первого токена (TTFT)
Сколько пользователь ждёт первое слово ответа: очередь + prefill всего промпта. Растёт с длиной промпта.
time to first token (TTFT)ступень 7
время на выходной токен (TPOT)
Средняя пауза между токенами ответа после первого — длительность шага decode. 1 / TPOT — скорость «печати» для одного пользователя.
time per output token (TPOT)ступень 7
выброс (outlier)
Значение, во много раз большее типичного. Задаёт масштаб своей группы и «сплющивает» остальные числа к нулю. В активациях LLM от ~6.7B параметров появляются целые каналы-выбросы (LLM.int8()).
outlierступень 7
вызов инструментовtool calling / function callingступень 7
галлюцинацияhallucinationступень 7
генерация с дополнением извлечёнными данными (RAG)retrieval-augmented generation (RAG)ступень 7
декодирование (фаза decode)
Вторая фаза: один токен за один проход модели. На каждый токен заново читаются все (активные) веса и KV-кэш, поэтому фаза упирается в пропускную способность памяти.
decode phaseступень 7
доверительный интервал
Диапазон вокруг измеренного значения метрики, построенный так, что при многократном повторении эксперимента он накрывает истинное значение с заданной частотой (обычно 95%). Для доли верных ответов ≈ p ± 1.96·√(p(1−p)/n).
confidence intervalступень 7
инференс-движок (сервер инференса)
Программа, которая держит модель в памяти и обслуживает запросы — планирует батчи, управляет KV-кэшем, отдаёт OpenAI-совместимый API. Примеры — vLLM, SGLang, LMDeploy, llama.cpp.
inference engine / serving engineступень 7
калибровочные данные
Небольшой набор текстов (обычно сотня-другая примеров), на которых собирают статистику активаций для GPTQ, AWQ или imatrix. Для русскоязычного применения берите русские тексты.
calibration dataступень 7
каппа Коэна
Согласие двух разметчиков с поправкой на случайное совпадение. 0 — как наугад, 1 — полное согласие.
Cohen's kappaступень 7
квантование по группам
Свой масштаб у каждых g соседних весов (обычно g = 32, 64 или 128). Плата — 16/g лишних бит на вес за FP16-масштаб. Основа INT4-форматов и GGUF.
group-wise quantizationступень 7
квантование после обучения (PTQ)
Готовую модель квантуют без обучения, иногда с помощью небольшого калибровочного набора. RTN, GPTQ, AWQ, k-кванты llama.cpp — всё это PTQ.
post-training quantization (PTQ)ступень 7
квантование только весов (W4A16)
Веса хранятся в 4 или 8 битах, активации остаются в 16 битах; веса восстанавливаются «на лету» внутри ядра умножения. Ускоряет decode, который упирается в чтение весов.
weight-only quantizationступень 7
лидерборд (рейтинговая таблица)
Таблица моделей, отсортированных по результату на бенчмарке или по голосам людей. Полезна для обзора, опасна как единственная цель (закон Гудхарта).
leaderboardступень 7
локальная LLM
Модель, которая работает на вашем компьютере без облака — бесплатно, офлайн и без передачи данных третьим лицам.
local LLMступень 7
масштаб квантования (scale)
Число, на которое делят вещественные значения перед округлением и умножают после. Хранится рядом с целыми кодами — на тензор, на канал или на группу.
quantization scaleступень 7
модель roofline («крыша»)
Достижимая производительность = min(пик FLOP/с, интенсивность × пропускная способность памяти). Точка перегиба (ridge point) = пик / пропускная способность; у H100 около 295 FLOP/байт.
roofline modelступень 7
непрерывный батчинг
Состав батча пересматривается после каждого шага decode — закончившиеся запросы уходят, новые встают на их место. Идея системы Orca (2022), стандарт всех современных серверов.
continuous batching (iteration-level scheduling)ступень 7
нулевая точка (zero point)
Целый код, который соответствует вещественному нулю в асимметричном квантовании. Восстановление — x̂ = (q − zero_point) · scale.
zero pointступень 7
объективная оценка (по эталонному ответу)
Задачи с однозначно проверяемым ответом — выбор варианта, число, прохождение тестов. Так делят оценку в OpenCompass.
objective evaluationступень 7
ограничено вычислениями (compute-bound)
Операция, в которой вычислитель загружен полностью, а память успевает подвозить данные. Ускоряется только более быстрым железом или меньшим числом операций.
compute-boundступень 7
ограничено памятью (memory-bound)
Операция, которая дольше ждёт данные из памяти, чем считает. Ускоряется, если читать меньше байт (квантование, GQA, MLA) или делать больше работы на каждый прочитанный байт (батчинг).
memory-boundступень 7
подгонка под лидерборд
Буквально «натирать рейтинг». Обучение на тесте или похожих данных, перебор вариантов до удачного числа, выбор удобных настроек оценки — всё, что поднимает цифру сильнее, чем умение.
leaderboard gaming / benchmark hackingступень 7
позиционное смещение
Судья предпочитает ответ на определённом месте (первым или вторым) независимо от содержания. Лечится перестановкой и усреднением.
position biasступень 7
поканальное квантование
Свой масштаб у каждой строки матрицы весов (выходного канала). Точнее, чем один масштаб на весь тензор, почти без накладных расходов.
per-channel quantizationступень 7
попарное сравнение
Вместо оценки «по шкале» судья (человек или модель) выбирает лучший из двух ответов. Так устроены Chatbot Arena и Arena-Hard.
pairwise comparisonступень 7
предпочтение «своих» ответов
Модель-судья завышает оценки ответам своей же модели или своего семейства.
self-preference / self-enhancement biasступень 7
префикс-кэш (кэширование префиксов)
Если начало нового запроса совпадает с уже обработанным (системный промпт, история диалога), его KV-кэш берут готовым и prefill делают только для «хвоста».
prefix cachingступень 7
промпт, запросpromptступень 7
пропускная способность памяти
Сколько байт в секунду память отдаёт вычислителю. RTX 4080 — около 717 ГБ/с, H100 — 3.35 ТБ/с, двухканальная DDR5 — около 90 ГБ/с. Главное число для скорости decode.
memory bandwidthступень 7
распределение слоёв между GPU и CPU (offload)
Часть слоёв модели лежит в видеопамяти, остальные — в оперативной памяти. В llama.cpp регулируется флагом -ngl. Время токена складывается из чтения обеих частей, и медленная оперативная память быстро становится главным слагаемым.
layer offloadingступень 7
рейтинг Эло
Шахматный рейтинг, который пересчитывают по исходам попарных партий. В Chatbot Arena его заменили оценкой модели Брэдли–Терри по всем голосам сразу.
Elo ratingступень 7
рубрика (критерии оценивания)
Список конкретных проверяемых критериев с баллами. Делает оценку судьи (и человека) воспроизводимой.
rubricступень 7
симметричное квантование (absmax)
Сетка целых чисел симметрична относительно нуля: scale = max|x| / qmax, q = round(x / scale). Ноль кодируется точно. Стандарт для весов.
symmetric (absmax) quantizationступень 7
смещение в пользу длинных ответов
Судьи (и люди) склонны считать длинный, красиво оформленный ответ лучшим. Отсюда length-controlled метрики и style control.
verbosity bias / length biasступень 7
стандартная ошибка
Стандартное отклонение оценки метрики из-за конечного числа вопросов. Для доли — √(p(1−p)/n).
standard errorступень 7
статический батчинг
Батч запросов стартует и заканчивается целиком: короткие ответы ждут самый длинный, их места простаивают.
static batchingступень 7
субъективная оценка (открытые ответы)
Открытые ответы без единственного эталона — диалог, текст, советы. Оценивают люди или LLM-судья.
subjective evaluationступень 7
точное совпадение (EM)
Метрика «1, если нормализованный ответ совпал с эталоном, иначе 0». Всё решает нормализация и извлечение ответа.
exact matchступень 7
ценовая война
Обвальное снижение цен на API китайских LLM, начавшееся в мае 2024 г. после выхода DeepSeek-V2.
price warступень 7
черновая модель (драфт)
Маленькая быстрая модель, которая в спекулятивном декодировании предлагает несколько токенов вперёд; большая модель проверяет их за один проход.
draft modelступень 7
AWQ (квантование с учётом активаций)
Метод PTQ (MIT HAN Lab, 2023) — около 1% весов, которые умножаются на большие активации, защищают поканальным масштабированием перед округлением.
activation-aware weight quantization (AWQ)ступень 7
GGUF (формат файлов llama.cpp)
Один файл с весами (обычно квантованными), токенизатором, шаблоном чата и метаданными. Типы квантования — Q8_0, Q6_K, Q4_K_M и др. Используют llama.cpp, Ollama, LM Studio.
GGUFступень 7
GPTQ
Метод PTQ (2022) — квантует столбцы весов по одному и переносит ошибку округления на ещё не квантованные столбцы, используя статистику входов H = 2XᵀX.
GPTQступень 7
LLM-судья (LLM-as-a-judge)
Сильная модель оценивает ответы другой модели по рубрике или сравнивает пару ответов. Дёшево и быстро, но со смещениями.
LLM-as-a-judgeступень 7
ModelScope — китайский хаб моделей
Платформа Alibaba (запущена в 2022 г.), китайский аналог Hugging Face; сайт modelscope.cn.
ModelScopeступень 7
OpenAI-совместимый API
HTTP-интерфейс в формате OpenAI Chat Completions (/v1/chat/completions). Его отдают Ollama, llama-server, vLLM, SGLang, а также DeepSeek и Qwen в облаке — код клиента не меняется.
OpenAI-compatible APIступень 7
PagedAttention (страничный KV-кэш)
KV-кэш хранится блоками фиксированного размера (например, по 16 токенов), а таблица блоков связывает логические позиции с физическими — как страницы виртуальной памяти в ОС. Основа vLLM.
PagedAttentionступень 7
PD-дезагрегация (раздельные prefill и decode)
Prefill и decode выполняются на разных группах GPU, а KV-кэш передаётся между ними по сети. Так фазы не мешают друг другу. Mooncake (Kimi), DistServe, инференс DeepSeek-V3.
prefill-decode disaggregationступень 7
prefill (предзаполнение)
Первая фаза генерации: весь промпт проходит через модель одним параллельным проходом, заполняется KV-кэш и получается первый токен. Упирается в вычисления.
prefillступень 7
prefill по частям (chunked prefill)
Длинный промпт обрабатывается кусками, которые перемешиваются с шагами decode других запросов, чтобы те не замирали на время большого prefill.
chunked prefillступень 7
RadixAttention
Префикс-кэш SGLang — KV-кэш всех запросов хранится в префиксном (radix) дереве, общие начала переиспользуются автоматически, редко нужные ветви вытесняются по LRU.
RadixAttentionступень 7
throughput (суммарная скорость сервиса)
Сколько токенов в секунду сервер выдаёт всем пользователям вместе. Батчинг повышает throughput ценой роста TPOT у каждого пользователя.
throughputступень 7
«ведро токенов» (token bucket)
Алгоритм лимитов. В ведре до C жетонов, оно пополняется со скоростью r в секунду, запрос забирает жетоны. Допускает короткие всплески и держит среднюю скорость.
token bucketступень 8
«путешествие во времени» (перезапуск с прошлого чекпоинта)
Запуск графа из любого прошлого чекпоинта потока: повторить шаги после него (replay) или сначала поправить состояние (update_state) и пойти по новой ветке (fork). Старые чекпоинты сохраняются.
time travelступень 8
автоматическая оптимизация промптов
Программа перебирает формулировки инструкций и примеры, чтобы поднять метрику на наборе (DSPy, GEPA). Риск — переобучение на dev-наборе.
automatic prompt optimizationступень 8
агентное обучение с подкреплением (Agentic RL)
RL на многошаговых траекториях с вызовами инструментов в среде; в китайских текстах часто пишут просто «Agentic RL».
agentic reinforcement learningступень 8
алгоритм Луна
Контрольная сумма номеров банковских карт. Отличает настоящий номер карты от случайных 16 цифр при поиске персональных данных.
Luhn algorithmступень 8
асинхронное обучение с подкреплением
Генерация траекторий (rollout) и шаги обучения идут параллельно на разных ресурсах; цена — данные слегка «устаревают» (off-policy).
asynchronous RLступень 8
асинхронный ввод-вывод (async/await)
Пока одна задача ждёт сеть (например, ответ модели), программа обслуживает другие. В Python — корутины async def и оператор await.
asynchronous I/Oступень 8
биэнкодер
Запрос и документ кодируются независимо, сходство — скалярное произведение векторов. Векторы документов считаются заранее, поэтому поиск быстрый.
bi-encoderступень 8
бюджет токенов и денег на запрос
Потолок расхода на один запрос пользователя (токены, доллары, шаги) на все вызовы моделей всех агентов. Проверяется до вызова по худшему случаю (весь вход + max_tokens), списывается после по факту; при нехватке — переход на дешёвую модель или честный отказ.
token budgetступень 8
верность контексту (faithfulness)
Доля утверждений ответа, которые подтверждаются найденным контекстом. Низкая faithfulness — признак галлюцинаций генератора.
faithfulness / groundednessступень 8
воплощённый ИИembodied AIступень 8
граф состояний
Способ описать агентную систему как конечный автомат над общим состоянием: узлы — функции «состояние → частичное обновление», рёбра — переходы (обычные или условные). Основная абстракция LangGraph.
state graphступень 8
грейдер (проверяющая функция)
Функция, которая ставит оценку ответу модели. Бывает кодовой (JSON разобрался, поле совпало), модельной (LLM-судья) и человеческой.
graderступень 8
деградация на резервную модель
Вызов более дешёвой или более доступной модели, когда основная недоступна после повторов или не влезает в бюджет. Ответ становится проще, но сервис продолжает работать; факт деградации пишется в состояние и трассу.
model fallbackступень 8
джейлбрейк (обход ограничений модели)jailbreakступень 8
джиттер (случайный разброс паузы)
Случайная добавка или случайный выбор паузы перед повтором запроса, чтобы клиенты, получившие ошибку одновременно, не повторяли её тоже одновременно. «Полный джиттер» из статьи AWS: пауза = uniform(0, min(cap, base · 2^k)).
jitterступень 8
долговечное выполнение
Выполнение долгого процесса (агента, графа, workflow), которое переживает падение процесса и перезапуск: состояние сохраняется после каждого шага, а после сбоя работа продолжается с места остановки, без повтора уже сделанного. Так устроены Temporal, DBOS и чекпоинты LangGraph. Требует идемпотентных побочных эффектов.
durable executionступень 8
дополненная LLM
Базовый строительный блок агентных систем: модель, у которой есть поиск (RAG), инструменты и память. Она сама формулирует запросы, выбирает инструменты и решает, что запомнить.
augmented LLMступень 8
дрейф данных
Изменение распределения входов со временем — новый язык, новые темы, сезонность. Эвал-набор при этом перестаёт отражать реальный трафик.
data driftступень 8
закон Литтла
L = λ·W — среднее число запросов в системе равно интенсивности их поступления, умноженной на среднее время в системе.
Little's lawступень 8
заражение промптом (инъекция между агентами)
Промпт-инъекция, которая распространяется по мультиагентной системе: агент, прочитавший вредный текст, передаёт его (или выполненную по нему инструкцию) следующему агенту. Описана в работе Lee и Tiwari (2024, arXiv 2410.07283).
prompt infectionступень 8
золотой набор (тест-набор)
Версионированный набор входов с эталонными ответами или способом проверки, на котором прогоняют каждую версию промпта или модели.
golden datasetступень 8
индекс стабильности популяции (PSI)
Мера сдвига распределения признака: сумма (aᵢ − eᵢ)·ln(aᵢ/eᵢ) по категориям или по бинам числового признака. Пороги — эмпирическое правило: меньше 0.1 — мало, больше 0.25 — заметный сдвиг.
population stability indexступень 8
индекс Юдена
J = TPR + TNR − 1. Ноль — судья не лучше монетки, единица — безошибочный. На J делят при поправке наблюдаемой доли «хороших» ответов.
Youden's index (J statistic)ступень 8
канареечный выпуск
Новая версия сначала получает малую долю трафика (например, 5%); её онлайн-метрики сравнивают со старой, и только потом трафик переключают целиком.
canary releaseступень 8
ключ идемпотентности
Уникальный идентификатор логического действия, который клиент передаёт вместе с запросом и повторяет при ретраях. Сервер выполняет действие один раз, сохраняет ответ под этим ключом (в той же транзакции, что и изменение) и на повторы отдаёт сохранённый ответ. Ключ рождается вместе с действием и хранится в состоянии, а не генерируется при каждом вызове.
idempotency keyступень 8
контейнер (Docker)
Запущенный изолированный процесс со своей файловой системой из образа. Одинаково работает на ноутбуке и на сервере.
containerступень 8
контекст-инжиниринг (context engineering)
Решение, какие токены и в каком порядке попадают в окно на каждом вызове — инструкции, примеры, документы, история, результаты инструментов.
context engineeringступень 8
контрольная точка графа (checkpoint)
Снимок выполнения графа после шага: состояние, следующий узел, номер шага — в потоке с идентификатором thread_id. Позволяет продолжить после сбоя, поставить граф на паузу до ответа человека и вернуться к любому прошлому шагу.
checkpointступень 8
косинусное сходство
Косинус угла между векторами — скалярное произведение, делённое на произведение длин. Для нормированных векторов равно скалярному произведению.
cosine similarityступень 8
кросс-энкодер
Модель читает пару «запрос + документ» целиком и выдаёт оценку релевантности. Точнее биэнкодера, но заранее ничего не посчитать — применяется как реранкер.
cross-encoderступень 8
кэширование контекста (кэш промпта)
Провайдер хранит KV-кэш общего префикса запросов и не пересчитывает его; такие «попадания» стоят в разы дешевле. У DeepSeek — «кэш контекста на жёстком диске».
context caching / prompt cachingступень 8
маршрутизация (шаблон workflow)
Классификатор (LLM или обычная модель) определяет тип входа и отправляет его в специализированную ветку со своим промптом, инструментами или моделью.
routingступень 8
маскирование данных
Замена персональных данных метками ([EMAIL], [PHONE]) перед записью в лог или отправкой во внешний сервис.
data masking (redaction)ступень 8
машинный переводmachine translationступень 8
мультиагентная системаmulti-agent systemступень 8
мультимодальныйmultimodalступень 8
наблюдаемость
Способность по собранным данным (логи, метрики, трейсы) ответить, что и почему произошло в системе, не добавляя новый код.
observabilityступень 8
нагрузочное тестирование
Замер задержки и пропускной способности сервиса при заданном числе одновременных пользователей — чтобы найти предел до того, как его найдут пользователи.
load testingступень 8
непрерывная интеграция (CI)
Автоматический запуск проверок (тестов, эвалов) на каждое изменение кода, например в GitHub Actions. Изменение, которое проверки не прошло, не сливают.
continuous integrationступень 8
образ контейнера
Неизменяемый «слепок» файловой системы с программой и зависимостями, собранный по Dockerfile. Из одного образа запускают сколько угодно контейнеров.
container imageступень 8
обратное давление (backpressure)
Перегруженный сервис честно отказывает (503 + Retry-After), вместо того чтобы копить бесконечную очередь, в которой всё равно все дождутся таймаута.
backpressureступень 8
ограждения (guardrails)
Проверки на входе и выходе LLM-сервиса — размер, темы, персональные данные, инъекции, формат, утечка системного промпта. Слой защиты, а не гарантия.
guardrailsступень 8
ограничение частоты запросов
Не больше N запросов или токенов за интервал на пользователя или ключ. При превышении сервис отвечает 429 и заголовком Retry-After.
rate limitingступень 8
ограниченное декодирование
На каждом шаге сэмплирования запрещаются токены, нарушающие грамматику (например, JSON-схему), — их логиты заменяются на минус бесконечность, и после softmax вероятность таких токенов равна нулю.
constrained decoding / guided decodingступень 8
онлайн-оценка
Оценка качества на живом трафике — доля отказов и дизлайков, проверки ассертами и выборочный LLM-судья. Дополняет офлайн-прогон золотого набора.
online evaluationступень 8
оркестратор (ведущий агент)
Агент, который разбивает задачу на подзадачи, раздаёт их субагентам и собирает результаты.
orchestratorступень 8
оркестратор и исполнители
Центральная LLM сама разбивает задачу на подзадачи, раздаёт их исполнителям и сводит ответы. В отличие от параллелизации, подзадачи не известны заранее.
orchestrator-workersступень 8
отслеживание происхождения данных (taint tracking)
Метка «недоверенное» у данных, которые пришли из внешнего источника, и у всего, что из них получено (пересказ агента — тоже). Политика проверяет метки перед действием: после недоверенных данных необратимое — только с подтверждением человека или вовсе запрещено.
taint trackingступень 8
оценка по результату (по конечному состоянию)
Проверка того, к какому состоянию мира привёл агент (запись создана, деньги возвращены), без требований к пути. Anthropic советует её для агентов, меняющих состояние: к цели ведут разные пути. Пропускает нарушения процесса (действие без подтверждения), поэтому её дополняют проверками траектории.
outcome evaluation (end-state evaluation)ступень 8
оценка траектории агента
Проверка не только итога, но и пути агента: какие узлы и инструменты вызваны, в каком порядке, с какими аргументами, были ли подтверждения перед действиями. Метрики — точное совпадение, порядок (подпоследовательность), precision и recall вызовов инструментов, правила безопасности; для смысла — LLM-судья с рубрикой.
trajectory evaluationступень 8
оценщик и оптимизатор
Один вызов LLM генерирует ответ, другой оценивает его и даёт обратную связь; цикл повторяется, пока оценщик не одобрит или не кончится лимит шагов.
evaluator-optimizerступень 8
память агента
Краткосрочная (short-term memory) — то, что в контекстном окне; долгосрочная (long-term memory) — внешнее хранилище, откуда нужное извлекается по запросу.
agent memoryступень 8
параллелизация (шаблон workflow)
Несколько вызовов LLM работают одновременно, а код сводит результаты. Два варианта: секционирование (независимые подзадачи) и голосование (одна задача несколько раз).
parallelizationступень 8
передача управления (handoff)
Один агент передаёт диалог другому, более подходящему агенту вместе с историей. Ключевая абстракция OpenAI Agents SDK; шаблон есть и в Microsoft Agent Framework.
handoffступень 8
переменная окружения
Именованное значение, которое процесс получает от системы при запуске (os.environ). Через них передают адреса, настройки и секреты, не записывая их в код.
environment variableступень 8
песочница
Изолированная среда (контейнер, ВМ), где агент исполняет код и команды, не рискуя основной системой.
sandboxступень 8
планирование (у агента)planningступень 8
поток выполнения графа (thread)
Цепочка чекпоинтов одного разговора или задачи, адресуется строкой thread_id в config. Новый вызов с тем же thread_id продолжает состояние, с другим — начинает с нуля. Не путать с потоками операционной системы и с потоком курса (Cohort).
thread (thread_id)ступень 8
потоковая выдача (стриминг)
Ответ приходит по кусочкам через Server-Sent Events; уменьшает время до первого токена, но не число токенов.
streamingступень 8
предохранитель (circuit breaker)
Шаблон устойчивости: после N ошибок подряд зависимость считается недоступной («разомкнут»), и запросы к ней сразу отклоняются или уходят на запасной путь; через заданное время одна пробная попытка решает, «замкнуться» обратно или подождать ещё. Экономит время пользователей и не добивает упавший сервис.
circuit breakerступень 8
прерывание графа (interrupt)
Вызов interrupt(значение) внутри узла останавливает граф и сохраняет чекпоинт; приложение показывает значение человеку и продолжает граф через Command(resume=ответ). При возобновлении узел выполняется заново с начала, а interrupt возвращает ответ.
interruptступень 8
приближённый поиск ближайших соседей (ANN)
Поиск похожих векторов без полного перебора (HNSW, IVF, PQ) ценой небольшой потери полноты.
approximate nearest neighbor search (ANN)ступень 8
принцип наименьших привилегийprinciple of least privilegeступень 8
промпт-инжинирингprompt engineeringступень 8
промпт-инъекция
Атака, при которой инструкции злоумышленника попадают в контекст модели (напрямую или через веб-страницу, письмо, файл) и перехватывают управление.
prompt injectionступень 8
протокол контекста модели (MCP)
Открытый протокол (Anthropic, ноябрь 2024) на JSON-RPC 2.0 для подключения инструментов, ресурсов и промптов к LLM-приложениям.
Model Context Protocol (MCP)ступень 8
разработка через эвалы (EDD)
Аналог разработки через тесты для LLM-систем. Сначала пример неудачи попадает в набор, потом делается правка, и она проверяется прогоном набора.
eval-driven developmentступень 8
редьюсер (правило слияния состояния)
Функция (старое значение, обновление) → новое значение для одного ключа состояния графа. Без редьюсера обновление перезаписывает ключ; с operator.add списки сообщений дописываются.
reducerступень 8
режим прав агента
Настройка Claude Agent SDK (permission_mode): что делать с вызовом инструмента, который не разрешён явно — спросить (default), принять правки файлов (acceptEdits), отказать (dontAsk), только планировать (plan) или пропускать всё (bypassPermissions).
permission modeступень 8
реранкер
Вторая ступень поиска — точная, но медленная модель (обычно кросс-энкодер) пересортировывает десятки кандидатов от быстрого ретривера.
rerankerступень 8
рефлексия (самокритика агента)
Модель оценивает свою попытку и записывает вывод «что исправить», который используется в следующей попытке (Reflexion, Self-Refine).
reflectionступень 8
семантические соглашения OpenTelemetry для GenAI
Стандартные имена спанов и атрибутов для вызовов моделей, агентов и инструментов: invoke_workflow, invoke_agent, chat, execute_tool; gen_ai.request.model, gen_ai.usage.input_tokens, gen_ai.provider.name и др. Статус на октябрь 2026 — Development: имена ещё меняются. С версии 1.42.0 основных соглашений вынесены в отдельный репозиторий open-telemetry/semantic-conventions-genai.
OpenTelemetry GenAI semantic conventionsступень 8
семантический кэш
Возвращает сохранённый ответ на запрос, близкий по смыслу (косинус эмбеддингов выше порога). Опасен ложными попаданиями — «включить» и «отключить» очень похожи.
semantic cacheступень 8
сессия агента
Хранилище истории разговора, которое SDK сам подгружает перед запуском агента и пополняет после. В OpenAI Agents SDK — SQLiteSession, Redis, SQLAlchemy и др.; в Claude Agent SDK — session_id и resume.
agent sessionступень 8
системный промпт
Сообщение с ролью system — правила для модели (роль, тон, формат). Технически это просто первый блок текста в chat-шаблоне.
system promptступень 8
слияние по обратным рангам (RRF)
score(d) = Σ 1 / (k + rank_i(d)), обычно k = 60. Использует только ранги, поэтому не требует согласовывать шкалы оценок.
reciprocal rank fusion (RRF)ступень 8
спан
Один шаг трейса — операция с началом, концом, атрибутами (модель, токены) и ссылкой на родительский спан.
spanступень 8
специфичность (TNR)
Доля отрицательных примеров, которые классификатор правильно назвал отрицательными. Для LLM-судьи — как часто он ловит плохой ответ.
specificity (true negative rate)ступень 8
среда (в RL и для агентов)
То, с чем взаимодействует агент — инструменты, песочница, симулятор пользователя — вместе с правилами выдачи награды.
environmentступень 8
структурированный вывод
Ответ модели в машиночитаемом формате (обычно JSON по схеме), который код может разобрать и проверить.
structured outputступень 8
субагентsubagentступень 8
теневой запуск
Копия реальных запросов отправляется новой версии, но её ответы пользователю не показывают — только записывают и сравнивают.
shadow deploymentступень 8
тест Макнемара
Парный тест для двух классификаторов на одних и тех же примерах. Смотрит только на несогласованные пары; если версии равны, каждая такая пара — «монетка» 50/50.
McNemar's testступень 8
токен-канарейка
Случайная строка в системном промпте. Если она появилась в ответе модели, значит, промпт утекает, — ответ блокируют и поднимают тревогу.
canary tokenступень 8
траектория
Полная запись эпизода агента — все мысли, вызовы инструментов и наблюдения. Единица данных для оценки и agentic RL.
trajectoryступень 8
трейсинг (трассировка запросов)
Запись пути одного запроса через систему в виде дерева спанов — поиск, вызов LLM, инструменты — с временем и атрибутами каждого шага.
tracingступень 8
фейковая модель со сценарием
Тестовая замена LLM, которая возвращает заранее записанные ответы и вызовы инструментов по порядку. Делает тесты агента детерминированными, быстрыми и бесплатными; проверяет код вокруг модели, но не качество самой модели.
scripted (fake) modelступень 8
хвостовая задержка (p95, p99)
Задержка, которую не превышают 95% или 99% запросов. Среднее скрывает медленные запросы, а пользователи помнят именно их.
tail latencyступень 8
целевой уровень сервиса (SLO)
Измеримая цель, например «p95 TTFT меньше 2 с при 8 пользователях». По ней планируют железо и поднимают тревоги.
service level objectiveступень 8
цепочка промптов
Шаблон workflow: задача разбита на фиксированные шаги, каждый вызов LLM обрабатывает выход предыдущего; между шагами — программные проверки («ворота»). Больше задержка, выше точность.
prompt chainingступень 8
цикл событий
Диспетчер asyncio, который переключается между корутинами в местах await. Долгое вычисление без await блокирует всех.
event loopступень 8
чанкинг (нарезка документов)
Разбиение документов на фрагменты (чанки) для индексации. Каждый чанк получает свой эмбеддинг.
chunkingступень 8
чекпоинтер (хранилище чекпоинтов)
Объект, который сохраняет снимок состояния графа после каждого супершага и отдаёт его по thread_id. В LangGraph: InMemorySaver для тестов, SqliteSaver и PostgresSaver (отдельные пакеты) для работы.
checkpointerступень 8
человек в контуре (подтверждение человеком)human-in-the-loopступень 8
шаблон промпта
Текст промпта с переменными-«дырками» ({ticket}, {docs}), которые заполняются на каждом запросе. Хранится в репозитории как код.
prompt templateступень 8
экспоненциальная задержка повторов
Повтор неудачного запроса через 1, 2, 4, 8… секунд со случайным разбросом (джиттером), чтобы клиенты не ударили по серверу одновременно.
exponential backoffступень 8
эмбеддинг-модель
Модель, которая превращает текст целиком в один вектор так, что близкие по смыслу тексты дают близкие векторы (BGE, multilingual-e5, Qwen3-Embedding).
embedding modelступень 8
эндпоинт
Адрес и метод HTTP, по которым сервис принимает запросы определённого вида, например POST /ask.
endpointступень 8
Agent SDK (библиотека агентного цикла)
Библиотека, которая берёт на себя цикл «модель → инструменты → модель» и даёт абстракции поверх него: агенты, передачи управления, guardrails, сессии, трассы (OpenAI Agents SDK) или цикл Claude Code с файлами, терминалом, хуками и правами (Claude Agent SDK).
agent SDKступень 8
BM25
Функция ранжирования по ключевым словам — TF-IDF с насыщением по частоте (k1) и нормировкой на длину документа (b).
BM25 (Okapi BM25)ступень 8
Docker Compose
Описание нескольких связанных контейнеров (приложение, модель, база) в одном файле docker-compose.yml и запуск их одной командой.
Docker Composeступень 8
few-shot (примеры в промпте)
Несколько пар «вход → выход» прямо в промпте; модель подхватывает формат без дообучения (in-context learning). Zero-shot — без примеров.
few-shot promptingступень 8
GraphRAG (RAG на графе знаний)
RAG, в котором LLM заранее извлекает из корпуса сущности и связи в граф и строит сводки по его сообществам — для глобальных и многошаговых вопросов.
GraphRAGступень 8
HNSW (иерархический граф «малого мира»)
Один из самых распространённых ANN-индексов в векторных БД — многослойный граф, по которому поиск спускается от редких верхних слоёв к плотным нижним; предложен Ю. Мальковым и Д. Яшуниным (arXiv:1603.09320).
Hierarchical Navigable Small World (HNSW)ступень 8
LangGraph
Открытый (MIT) фреймворк LangChain Inc. для агентов с состоянием: граф узлов над общим состоянием, чекпоинты после каждого шага, пауза для человека (interrupt), стриминг, подграфы. Работает и без LangChain.
LangGraphступень 8
MCP-сервер внутри процесса
Свои инструменты-функции Python, оформленные как MCP-сервер, который работает в том же процессе, что и приложение, без отдельного процесса и транспорта. В Claude Agent SDK создаётся через @tool и create_sdk_mcp_server.
in-process (SDK) MCP serverступень 8
OpenTelemetry
Открытый стандарт и набор SDK для телеметрии — трасс, метрик и логов. Код размечается один раз, а данные отправляются по протоколу OTLP в любую совместимую систему (Jaeger, Grafana, Phoenix, Langfuse и др.) без привязки к вендору.
OpenTelemetryступень 8
prefill ответа (начало ответа за модель)
Разработчик сам пишет начало сообщения ассистента, а модель продолжает. Есть в vLLM (continue_final_message) и у DeepSeek (бета, prefix: true); в новых моделях Claude не поддерживается.
response prefillступень 8
ReAct (рассуждение + действие)
Парадигма агента, где модель чередует Thought → Action → Observation (Yao и др., 2022).
ReAct (Reason + Act)ступень 8
Server-Sent Events (SSE)
Стандарт потоковой передачи по HTTP: сервер шлёт текстовые блоки «data: …», разделённые пустой строкой. Так стримят ответы LLM.
server-sent eventsступень 8
TF-IDF
Вес слова = частота в документе × «редкость» в корпусе. Классический разреженный (лексический) поиск.
TF-IDF (term frequency – inverse document frequency)ступень 8
workflow (конвейер с заданными шагами)
По определению Anthropic («Building effective agents»): система, где LLM и инструменты связаны заранее заданными путями в коде. В агенте путь выбирает сама модель. Обе разновидности Anthropic называет агентными системами.
workflowступень 8
(лог-)мел-спектрограмма
спектрограмма, сложенная треугольными мел-фильтрами и прологарифмированная; вход Whisper и выход многих TTS
(log-)mel spectrogramступень 9
абляционный эксперимент, абляция
Убрать или заменить один компонент и сравнить с полной моделью, чтобы измерить вклад этого компонента.
ablation studyступень 9
автоэнкодер (автокодировщик)
энкодер сжимает вход в короткий код, декодер восстанавливает вход; учится без разметки
autoencoderступень 9
алиасинг (наложение частот)
частота выше предела Найквиста после дискретизации выглядит как более низкая
aliasingступень 9
вариационный автокодировщик (VAE)variational autoencoder (VAE)ступень 9
вектор управления (steering)
Направление в остаточном потоке (например, вектор признака SAE), которое прибавляют к активациям во время генерации, чтобы сдвинуть поведение модели.
steering vectorступень 9
визуально-языковая модель (VLM)
в китайских статьях также «мультимодальная большая модель» (MLLM)
vision-language model (VLM)ступень 9
визуальный трансформер (ViT)
картинка режется на патчи, каждый патч становится токеном
Vision Transformer (ViT)ступень 9
внешнее выравнивание
Совпадает ли сформулированная цель (награда, рубрика, спецификация) с тем, чего на самом деле хотят люди.
outer alignmentступень 9
внутреннее выравнивание
Совпадает ли то, чему модель научилась на самом деле, с целью обучения — в том числе вне обучающего распределения.
inner alignmentступень 9
вокодер
превращает мел-спектрограмму обратно в звуковую волну (WaveNet, HiFi-GAN)
vocoderступень 9
генеративно-состязательная сеть (GAN)
генератор против дискриминатора; сегодня чаще всего — вспомогательный лосс в автоэнкодерах и вокодерах
generative adversarial network (GAN)ступень 9
гиперсвязи
остаточный поток расширяется до n параллельных потоков с обучаемым смешиванием
hyper-connections (HC)ступень 9
граф атрибуции
Граф для одного промпта, где узлы — активные признаки заменяющей модели, а рёбра — их прямые влияния друг на друга и на ответ (Anthropic, 2025).
attribution graphступень 9
дважды стохастическая матрица
неотрицательная матрица, у которой сумма каждой строки и каждого столбца равна 1
doubly stochastic matrixступень 9
демографический паритет
Требование равных долей положительных решений по группам; меряют разницей или отношением долей.
demographic parityступень 9
детектор речевой активности (VAD)
находит в записи участки с речью; спасает ASR от галлюцинаций на тишине
voice activity detection (VAD)ступень 9
диффузионная модельdiffusion modelступень 9
диффузионный трансформер (DiT)Diffusion Transformer (DiT)ступень 9
добросовестное использование (fair use)
Доктрина авторского права США, допускающая использование произведений без разрешения по четырём факторам; на неё ссылаются разработчики моделей в исках об обучающих данных.
fair useступень 9
доля ошибок по словам (WER)
(замены + удаления + вставки) / слов в эталоне; для китайского считают CER (character error rate) — долю ошибок по символам
word error rate (WER)ступень 9
доля успешных атак (ASR)
Доля вредных запросов или атак, на которые модель выдала то, что должна была отклонить. Имеет смысл только вместе с долей ложных отказов.
attack success rate (ASR)ступень 9
игра со спецификацией (specification gaming)
Система формально выполняет заданную цель (награду, тест, правило), но не так, как задумали люди. Reward hacking — частный случай.
specification gamingступень 9
интервал Уилсона
Доверительный интервал для доли, который остаётся внутри [0, 1] и не схлопывается при 0 успехах (0 из 50 → [0, 0.071]); нужен для редких событий вроде ASR.
Wilson score intervalступень 9
карточка модели (model card)
Документ к модели: назначение, где применять нельзя, данные, метрики (в том числе по группам), ограничения (Mitchell и др., 2019).
model cardступень 9
кодовая книга
обучаемый словарь векторов, по которому квантуют выходы энкодера (VQ-VAE, аудиокодеки)
codebookступень 9
контрастивное обучение
сближаем представления «правильных пар» и раздвигаем «неправильные»
contrastive learningступень 9
контрфактическая пара
Два входа, отличающиеся только признаком группы (Иван/Анна с согласованными формами слов); разница ответов модели показывает смещение.
counterfactual pairступень 9
латентная диффузия
диффузия идёт не по пикселям, а в сжатом пространстве VAE (Stable Diffusion)
latent diffusionступень 9
латентное пространство
пространство кодов автоэнкодера; в китайских текстах также «скрытое пространство»
latent spaceступень 9
линейный зонд
Логистическая или линейная регрессия на замороженных активациях модели. Показывает, что свойство линейно извлекаемо, но не доказывает, что модель его использует.
linear probeступень 9
ложный отказ (over-refusal)
Отказ модели на безобидный запрос, который лишь похож на вредный («как убить процесс в Linux»). Меряют, например, набором XSTest.
over-refusal (false refusal)ступень 9
масштабируемый надзор
Как надёжно оценивать и направлять модели, которые в задаче сильнее проверяющего (дебаты, ИИ-помощники оценщика, декомпозиция).
scalable oversightступень 9
межслойный транскодер (CLT)
Разреженная замена MLP-слоёв. Каждый признак читает остаточный поток на одном слое и пишет в выходы всех последующих MLP; основа графов атрибуции.
cross-layer transcoderступень 9
мел-шкала
шкала воспринимаемой высоты звука; m = 2595·log10(1 + f/700)
mel scaleступень 9
метод Эйлера
шаг x ← x + h·v(x, t): проехать по текущей стрелке чуть-чуть и посмотреть снова
Euler methodступень 9
механистическая интерпретируемость
Обратная разработка обученной нейросети — поиск внутри неё понятных алгоритмов (схем) и доказательство вмешательством, что модель действительно их использует.
mechanistic interpretabilityступень 9
моносемантичность
Единица анализа (нейрон или признак словаря) отвечает ровно за одно понятное понятие.
monosemanticityступень 9
нейрокодек (нейросетевой аудиокодек)
автоэнкодер для звуковой волны с квантованием; его коды — аудиотокены (SoundStream, EnCodec, Mimi)
neural audio codecступень 9
несоразмерное воздействие (disparate impact)
Отношение доли положительных решений в группе к доле в самой «удачливой» группе; по правилу 4/5 тревожно, если меньше 0.8.
disparate impactступень 9
обдуманное выравнивание (deliberative alignment)
Метод OpenAI (2024): модель-рассуждатель учат перед ответом разбирать относящиеся к делу пункты спецификации в цепочке рассуждений.
deliberative alignmentступень 9
обобщение от слабого к сильному (weak-to-strong)
Сильная модель, обученная на метках слабой, превосходит учителя; успех меряют долей закрытого разрыва PGR.
weak-to-strong generalizationступень 9
обучение с подкреплением на отзывах ИИ (RLAIF)
Как RLHF, но пары ответов сравнивает модель-судья по принципам, а не люди.
reinforcement learning from AI feedback (RLAIF)ступень 9
обыкновенное дифференциальное уравнение (ОДУ)
dx/dt = v(x, t): скорость изменения величины задана через её текущее значение и время
ordinary differential equation (ODE)ступень 9
оконное преобразование Фурье (STFT)
спектр коротких перекрывающихся окон сигнала; у Whisper окно 25 мс, шаг 10 мс
short-time Fourier transform (STFT)ступень 9
оптическое распознавание символов (OCR)optical character recognition (OCR)ступень 9
оптическое сжатие контекста
идея DeepSeek-OCR — хранить длинный текст как картинку в меньшем числе визуальных токенов
optical context compressionступень 9
остаточное векторное квантование (RVQ)
каждая следующая кодовая книга кодирует остаток после предыдущих
residual vector quantization (RVQ)ступень 9
оценка опасных возможностей
Проверка, насколько модель, вызванная «по максимуму» (инструменты, много попыток), может помочь злоумышленнику — через вопросы-заменители, агентные задачи и исследования с экспертами.
dangerous capability evaluationступень 9
ошибочное обобщение цели
Модель с правильной наградой выучила другую цель, совпадавшую с ней на обучающих данных (агент CoinRun бежит вправо мимо монеты).
goal misgeneralizationступень 9
паттерн внимания
Матрица весов внимания одной головы размера T×T; строка i показывает, как позиция-запрос i распределила внимание между позициями 0…i.
attention patternступень 9
патч изображения
квадратный кусок картинки (обычно 14×14 или 16×16 пикселей), «слово» для ViT
image patchступень 9
подмена активаций (activation patching)
Причинный метод. Активацию в одной точке (слой, позиция) из «чистого» прогона подставляют в «испорченный» и меряют, какую долю правильного ответа это восстанавливает.
activation patchingступень 9
поле скоростей (векторное поле)
стрелка v(x, t) в каждой точке и в каждый момент — куда и как быстро двигаться
velocity fieldступень 9
полисемантичность (многозначность нейрона)
Один нейрон срабатывает на несколько несвязанных понятий (например, на цитаты, HTTP-запросы и корейский текст).
polysemanticityступень 9
политика ответственного масштабирования
Публичное обязательство лаборатории — пороги опасных возможностей, регулярные оценки и обязательные меры защиты при приближении к порогу (RSP Anthropic, Preparedness Framework OpenAI, FSF Google DeepMind).
responsible scaling policy (RSP)ступень 9
преобразование Фурье
раскладывает сигнал на синусоиды разных частот; дискретная версия — ДПФ, быстрый алгоритм — FFT
Fourier transformступень 9
препринт
статья, выложенная до (или без) рецензирования, — например, на arXiv
preprintступень 9
проектор (визуальный адаптер)
переводит выходы визуального энкодера в пространство эмбеддингов LLM
projector, vision-language connectorступень 9
прямая атрибуция логитов (DLA)
Вклад компонента в логит токена t — скалярное произведение его выхода со столбцом W_U для t (при замороженном масштабе финальной нормализации). Видит только прямые вклады.
direct logit attributionступень 9
равенство возможностей (equal opportunity)
Равный TPR по группам: среди действительно подходящих доля положительных решений одинакова (Hardt и др., 2016).
equal opportunityступень 9
разреженный автоэнкодер (SAE)
Автоэнкодер с широким скрытым слоем и штрафом за число активных латентов. Обученный на активациях LLM, раскладывает их в сумму немногих интерпретируемых признаков.
sparse autoencoderступень 9
расписание шума
сколько шума добавлять на каждом шаге прямого процесса (β₁…β_T)
noise scheduleступень 9
распознавание речи (ASR)automatic speech recognition (ASR)ступень 9
Регламент ЕС об ИИ (AI Act)
Регламент (ЕС) 2024/1689, вступил в силу 01.08.2024; регулирует применения ИИ по уровню риска и отдельно — модели общего назначения.
EU AI Actступень 9
рецензированиеpeer reviewступень 9
синтез речи (TTS)text-to-speech (TTS)ступень 9
системная карточка модели (system card)
Документ, публикуемый с моделью — результаты оценок безопасности, возможностей и рисков, принятые меры и ограничения.
system cardступень 9
словарное обучение
Поиск «словаря» направлений, через которые каждый вектор данных выражается разреженной комбинацией. SAE — способ словарного обучения.
dictionary learningступень 9
спектрограмма
картинка «частота × время», яркость — громкость частоты в данный момент; для речи в китайских текстах также «речевая спектрограмма»
spectrogramступень 9
спецификация поведения модели (model spec)
Открытый документ о том, как должна вести себя модель и чьи указания важнее (Model Spec OpenAI, конституция Claude).
model specступень 9
справедливость алгоритмов (fairness)
Отсутствие систематически худших ошибок или решений для групп людей. Не путать с bias как свободным членом и со смещением в bias–variance.
algorithmic fairnessступень 9
средняя экспертная оценка (MOS)
средняя оценка естественности синтезированной речи слушателями по шкале 1–5
mean opinion score (MOS)ступень 9
суперпозиция признаков
Модель хранит больше признаков, чем у неё измерений, раскладывая их по почти ортогональным направлениям. Работает, пока признаки редко активны одновременно.
superpositionступень 9
схема (цепь) в нейросети
Набор компонентов (головы, нейроны, признаки) и связей между ними, которые вместе реализуют один алгоритм, например индукцию.
circuitступень 9
технический отчёт (техотчёт)
Так лаборатории описывают свои модели. Это не рецензируемая статья, хотя часть отчётов позже публикуют в журналах (DeepSeek-R1 — в Nature).
technical reportступень 9
трюк репараметризации
z = μ + σ·ε, ε ~ N(0, 1): случайность выносится во вход, и градиент проходит к μ и σ
reparameterization trickступень 9
универсальный джейлбрейк
Приём, который снимает защиту модели почти на любом запросе, а не на одном конкретном.
universal jailbreakступень 9
условная память
поиск по хешированным n-граммам за O(1) (Engram, DeepSeek) — вторая ось разреженности рядом с MoE
conditional memoryступень 9
частота дискретизации
сколько отсчётов сигнала в секунду; для речи обычно 16 кГц
sampling rateступень 9
частота Найквиста
половина частоты дискретизации — самая высокая частота, которую можно записать
Nyquist frequencyступень 9
чтение в три проходаthree-pass approachступень 9
Attention Residuals (внимание по глубине)Attention Residuals (AttnRes)ступень 9
CLIP (контрастивное предобучение «картинка — текст»)Contrastive Language–Image Pre-training (CLIP)ступень 9
Constitutional AI (выравнивание по конституции)
Метод Anthropic (2022): модель критикует и правит свои ответы по записанным принципам (SFT), затем учится на AI-предпочтениях (RLAIF).
Constitutional AIступень 9
CTC (коннекционистская временная классификация)
символ или «пусто» на каждый кадр; повторы схлопываются, пустые символы удаляются
Connectionist Temporal Classification (CTC)ступень 9
DDPM (вероятностная диффузионная модель с шумоподавлением)Denoising Diffusion Probabilistic Model (DDPM)ступень 9
ELBO (нижняя граница правдоподобия)
−loss VAE = реконструкция с минусом − KL; не больше log p(x)
evidence lower bound (ELBO)ступень 9
flow matching (сопоставление потоков)flow matchingступень 9
guard-модель (модель-страж)
Отдельный классификатор, проверяющий вход и выход основной LLM по таксономии рисков (Llama Guard, Qwen3Guard).
guard modelступень 9
guidance без классификатора (CFG)classifier-free guidance (CFG)ступень 9
InfoNCE (контрастивная функция потерь)
cross-entropy по матрице сходств, где правильные пары стоят на диагонали
InfoNCE lossступень 9
logit lens («логит-линза»)
Применить финальную нормализацию и LM-голову к остаточному потоку промежуточного слоя — «что модель предсказала бы, если бы остановилась здесь» (nostalgebraist, 2020).
logit lensступень 9
mHC (гиперсвязи с ограничением на многообразие)manifold-constrained hyper-connections (mHC)ступень 9
omni-модель (всемодальная модель)
одна модель читает текст, картинки, звук и видео и отвечает текстом и речью (Qwen-Omni)
omni modelступень 9
rectified flow («выпрямленный поток»)
flow matching по прямым от шума к данным; reflow дополнительно выпрямляет траектории. В китайских текстах часто пишут просто Rectified Flow
rectified flowступень 9
red teaming (работа красной команды)
Систематический поиск способов заставить систему вести себя плохо до того, как это сделают злоумышленники; бывает ручным и автоматическим.
red teamingступень 9
SOTA (лучший известный результат)
в китайских текстах обычно пишут просто «SOTA» или «обновить SOTA»
state of the art (SOTA)ступень 9
U-Net
свёрточная сеть «сжать — разжать» с обходными связями; классический денойзер диффузии до DiT
U-Netступень 9
VQ-VAE (автоэнкодер с векторным квантованием)
каждый вектор энкодера заменяется ближайшим вектором кодовой книги; его номер — дискретный токен
vector-quantized variational autoencoder (VQ-VAE)ступень 9
Whisper
encoder–decoder трансформер для распознавания и перевода речи, обучен на 680 тыс. часов; MIT
Whisper (OpenAI)ступень 9
веха (milestone)
Промежуточная цель с проверяемым результатом — артефактом или числом. Проект без вех трудно довести до конца.
milestoneступень 10
выпускной проект
Итоговый проект, который собирает навыки всего курса в одну работающую систему. В Китае сокращённо «бишэ» (выпускной проект).
capstone projectступень 10
журнал экспериментов
Запись каждого запуска — дата, коммит, конфиг, гипотеза, результат, вывод. Из него потом пишется отчёт.
experiment logступень 10
защита проекта
Короткий доклад о проекте и ответы на вопросы комиссии. В китайских вузах защита («дабянь») — обязательный финал выпускного проекта.
project defenseступень 10
«багу» (заученные шаблонные ответы к собеседованию)
IT-жаргон: стандартные ответы на типовые теоретические вопросы собеседования, которые заучивают заранее («зубрить багу»). Слово — от «багувэнь», «восьмичленного сочинения» с жёстко заданной формой на императорских экзаменах эпох Мин и Цин.
rote interview answers ("eight-legged essay")ступень 11
«шуати» — тренировка на задачах
Китайское слово для систематического решения задач на платформах вроде LeetCode (у него есть китайская версия) при подготовке к собеседованиям. Слог «шуа» значит «чистить щёткой»; «шуати» — «прорешивать задачи одну за другой».
grinding practice problemsступень 11
альтернативная стоимость
Ценность лучшего варианта, от которого отказались. Карта, занятая сервисом, не обучает модели: её «бесплатность» — иллюзия, если на ней стояли бы эксперименты.
opportunity costступень 11
амортизация
Распределение стоимости купленного оборудования по сроку службы: машина за 36 месяцев «стоит» 1/36 цены в месяц. Входит в цену часа своей карты вместе с электричеством и обслуживанием.
depreciationступень 11
бизнес-метрика
То, ради чего строят систему: выручка, конверсия, удержание, доля вопросов, решённых без оператора. ML-метрики (точность, recall@k) полезны, только если связаны с ней.
business metricступень 11
бюджет ошибок
Сколько «плохих» событий разрешает SLO за период: при SLO 99% хороших ответов за 30 дней бюджет — 1% запросов. Скорость его расхода (burn rate) — основа алертов по SLO.
error budgetступень 11
версионирование данных
Каждая версия набора данных получает неизменный идентификатор (обычно хэш содержимого), который записан рядом с кодом. Идея инструмента DVC: данные в хранилище, их хэши — в git.
data versioningступень 11
взвешивание по обратной склонности (IPS)
Поправка на смещение в логах: каждый клик весят как 1 / p, где p — вероятность, что объект вообще заметили (зависит от позиции). Клик на 10-й позиции, которую видят редко, весит больше клика на первой.
inverse propensity scoringступень 11
воспроизведение статьи
Повторить результат статьи своими руками: выписать постановку, собрать минимальную версию, сравнить свои числа с числами статьи с учётом разброса и объяснить расхождения в отчёте.
paper reproductionступень 11
выгорание
Состояние хронической усталости от работы или учёбы: занятия превращаются в обязанность, интерес и результативность падают, растёт цинизм («всё равно ничего не выйдет»). Лечится не силой воли, а изменением нагрузки и ритма.
burnoutступень 11
генеративные рекомендации
Подход, где рекомендатель генерирует идентификаторы следующих товаров как последовательность токенов, а не оценивает каждый кандидат отдельно. Активное направление исследований с 2023–2024 годов.
generative recommendationступень 11
генерация кандидатов (отбор)
Первая ступень рекомендателя или поиска: из миллионов объектов быстро и грубо выбрать сотни–тысячи кандидатов несколькими источниками (коллаборативная фильтрация, ANN по векторам, популярное). Меряют recall@k.
candidate generation (retrieval stage)ступень 11
грейд (уровень должности)
Ступень в лестнице должностей компании: junior → middle → senior → lead и выше. От грейда зависят ожидания (масштаб задач и самостоятельность), набор секций собеседования и вилка зарплаты. Названия и число ступеней в каждой компании свои.
job level (seniority level)ступень 11
гроккинг
Запоздалое обобщение: модель давно выучила train (точность ≈ 100%), на валидации долго держится на уровне угадывания, а потом точность на валидации резко растёт почти до 100%. Описан в статье Power et al. (2022) на модульной арифметике; weight decay сильно ускоряет переход. В китайских текстах часто пишут просто Grokking.
grokkingступень 11
два указателя
Приём, при котором два индекса движутся по массиву (навстречу друг другу или в одну сторону), и вложенный цикл O(n²) превращается в один проход O(n).
two pointersступень 11
двухбашенная модель
Две нейросети: «башня» пользователя и «башня» товара выдают векторы, оценка — их скалярное произведение. Векторы товаров считаются заранее и ищутся через ANN — как биэнкодер в поиске для RAG.
two-tower modelступень 11
дежурство (on-call)
Порядок, при котором один инженер из команды по графику отвечает на алерты и руководит реакцией на инциденты.
on-callступень 11
дизайн-документ
Документ на несколько страниц до начала разработки: задача, ограничения, метрики, варианты решения, оценки нагрузки и стоимости, риски. Его обсуждают с командой и по нему потом проверяют, что построили.
design documentступень 11
доля решённых без оператора
Доля обращений, которые бот закрыл сам: без перевода на оператора и без повторного обращения по той же теме в ближайшие дни. Без второго условия метрику легко «накрутить», просто усложнив выход на человека.
deflection rate (containment rate)ступень 11
дрейф понятий
Входы те же, а правильные ответы изменились — поменялись тарифы, устарели документы, обновились правила. PSI по входам его не видит, заметно только по качеству.
concept driftступень 11
запросов в секунду (QPS)
Мера нагрузки на сервис. Средний QPS = запросы в сутки / 86 400; под железо планируют пиковый — средний, умноженный на пиковый коэффициент.
queries per secondступень 11
защитная метрика
Метрика, которая не должна ухудшиться при выкатке новой версии, даже если главная растёт: задержка, доля жалоб, утечки персональных данных, стоимость запроса.
guardrail metricступень 11
значение-заглушка
Значение, которое на самом деле означает «нет данных»: «-», «N/A», «нет», 0, 01.01.1970, 99999. Опаснее явного пропуска: выглядит как настоящее значение и попадает в расчёты.
sentinel (placeholder) valueступень 11
инициализация k-means++
Первый центр — случайная точка, каждый следующий — точка с вероятностью, пропорциональной квадрату расстояния до ближайшего выбранного центра. Центры расходятся по разным облакам, и Ллойд реже застревает в плохом минимуме.
k-means++ initializationступень 11
инцидент
Незапланированное ухудшение сервиса, заметное пользователям или угрожающее SLO. Требует реакции дежурного и после завершения — разбора.
incidentступень 11
карточка датасета
Документ к датасету: откуда данные, за какой период, как размечены и почищены (с числами), перекосы, ограничения, версия. Пара к карточке модели.
dataset card (datasheet)ступень 11
каскад моделей
Цепочка «дешёвая модель → дорогая модель → человек»: уверенные случаи решает первая ступень, неуверенные передаются дальше. Пороги ступеней задают и качество, и стоимость.
model cascadeступень 11
кликабельность (CTR)
Доля показов, после которых был клик: клики / показы. Быстрая онлайн-метрика рекомендаций, рекламы и поиска; оптимизировать только её опасно — растут «кликбейтные» позиции.
click-through rateступень 11
код-ревью
Проверка изменений кода другим инженером до слияния в основную ветку — на корректность, читаемость, тесты и производительность.
code reviewступень 11
коллаборативная фильтрация
Рекомендации только по матрице взаимодействий «пользователь × товар», без признаков товаров: «товары, которые берут вместе с вашими» (item-item) или «что любят похожие на вас» (user-user).
collaborative filteringступень 11
контракт данных
Записанная кодом договорённость о данных: столбцы, типы, обязательность, уникальность, допустимые значения и диапазоны. Валидатор проверяет каждую выгрузку и не пускает дальше строки с нарушениями.
data contractступень 11
конфиг (файл конфигурации)
Файл (обычно YAML) со всеми гиперпараметрами и путями прогона. Эксперименты меняют конфиг или переопределяют его из командной строки, а не правят код; конфиг сохраняется в папку прогона.
configuration fileступень 11
куча (двоичная куча)
Дерево в массиве, где родитель не больше детей (min-куча). Минимум — за O(1), вставка и извлечение — за O(log n). В Python — модуль heapq; на ней строят top-k и очередь с приоритетом.
heap (binary heap)ступень 11
лицензионное соглашение участника (CLA)
Договор между автором вклада и владельцем проекта о правах на код; подписывают один раз, обычно через бота в первом PR. Другой вариант — DCO: строка Signed-off-by в каждом коммите (git commit -s).
Contributor License Agreement (CLA)ступень 11
маршрутизация между моделями
Выбор модели для каждого запроса по задаче, сложности, цене и доступности: простое — маленькой своей модели, сложное — большой или внешней; при отказе — запасная модель (fallback).
model routingступень 11
матрица стоимости ошибок
Цена каждого исхода классификации: пропуск нарушения, ложная блокировка, ручная проверка. По ней порог выбирают минимизацией ожидаемой стоимости, а не по F1.
cost matrixступень 11
матричное разложение (в рекомендациях)
Приближение матрицы взаимодействий произведением U·Vᵀ: у каждого пользователя и товара — вектор размерности d (32–256), оценка интереса — их скалярное произведение. Родственник низкорангового приближения и SVD.
matrix factorizationступень 11
мейнтейнер (сопровождающий проекта)
Человек с правом сливать изменения в проект; ревьюит PR, отвечает на issue и потом годами поддерживает принятый код.
maintainerступень 11
метод Фейнмана
Проверка понимания объяснением: изложить тему простыми словами так, будто учите новичка, найти места, где объяснение буксует или держится на непонятом термине, вернуться к источнику и упростить ещё раз. Назван по имени физика Ричарда Фейнмана.
Feynman techniqueступень 11
метод STAR
Схема рассказа о своём опыте: Situation (ситуация) → Task (ваша задача) → Action (что сделали лично вы) → Result (результат, лучше с числом). Часто добавляют вывод: чему научились и что сделали бы иначе.
STAR methodступень 11
минимальный воспроизводимый пример
Самый короткий код (обычно 10–20 строк), который воспроизводит ошибку без ваших файлов и данных, плюс версии библиотек и полный traceback. Главное содержимое хорошего issue и вопроса на форуме.
minimal reproducible example (MRE)ступень 11
многоэтапная рекомендательная система
Каскад «отбор кандидатов → ранжирование → переранжирование»: каждая следующая ступень точнее и дороже, но видит всё меньше объектов. В китайской индустрии этапы называют «отзыв» (recall), «грубое ранжирование», «точное ранжирование» и «переранжирование».
multi-stage (cascade) recommenderступень 11
модерация контента
Проверка пользовательских текстов, изображений и видео на нарушения правил площадки: спам, мошенничество, оскорбления, персональные данные, запрещённые товары. Обычно каскад правил, моделей и людей.
content moderationступень 11
модульная арифметика
Арифметика остатков: (a + b) mod p — остаток от деления суммы на p, как часы с p делениями. Таблицы таких операций — «маленькие алгоритмические датасеты» из статьи о гроккинге.
modular arithmeticступень 11
мультиарендность
Одна система обслуживает многих независимых потребителей (команды, клиентов) с раздельными ключами, квотами, данными и логами, чтобы один арендатор не мешал другим и не видел их данных.
multi-tenancyступень 11
набор выпускников («сяочжао»)
В Китае — массовый сезонный найм студентов и выпускников вузов, с онлайн-тестами и несколькими раундами собеседований. Противопоставляется «шэчжао» — найму специалистов с опытом.
campus recruitmentступень 11
найм специалистов с опытом («шэчжао»)
Найм людей с опытом работы на конкретную открытую вакансию, круглый год. На собеседовании больше спрашивают о прошлых проектах и проектировании систем, чем при наборе выпускников.
experienced hiringступень 11
невозвратные затраты
Деньги, которые уже потрачены и не вернутся при любом решении (купленная машина). В сравнении вариантов их не учитывают; учитывают будущие расходы и альтернативную стоимость.
sunk costступень 11
неявная обратная связь
Сигналы поведения — показы, клики, добавления в корзину, покупки, время просмотра — вместо явных оценок. Их много, но они шумные и смещены тем, что вообще показали.
implicit feedbackступень 11
нормализация Юникода
Приведение «одинаковых на вид» символов к одной записи. NFKC превращает полноширинные цифры и запятую (U+FF11–U+FF13, U+FF0C) в обычные «123» и «,», но заодно «№» в «No».
Unicode normalization (NFC, NFKC)ступень 11
обнаружение точки изменения
Поиск момента, когда у временного ряда изменились свойства — например, доля ошибок скачком выросла. Онлайн-методы (CUSUM) решают по прошлому, офлайн-методы смотрят на весь ряд.
change point detectionступень 11
обход в глубину (DFS)
Обход графа «вглубь до упора, потом назад» — рекурсией или стеком. Компоненты связности, поиск циклов, топологическая сортировка. Сложность O(V + E).
depth-first searchступень 11
обход в ширину (BFS)
Обход графа слоями через очередь. В невзвешенном графе находит кратчайший путь по числу рёбер. Сложность O(V + E).
breadth-first searchступень 11
осознанная практика
Тренировка на границе своих возможностей с быстрой обратной связью и разбором ошибок — в отличие от повторения того, что уже получается. Понятие ввёл психолог Андерс Эрикссон; его книга «Peak» (с Робертом Пулом) вышла на китайском под названием «Осознанная практика».
deliberate practiceступень 11
откат
Возврат к предыдущей работающей версии кода, модели, промпта или конфигурации. Первое действие, если инцидент начался после выкатки.
rollbackступень 11
отчёт о собеседовании
Китайское сокращение «мяньцзин» — от «опыт собеседования»: пост кандидата о прошедшем собеседовании — какие были этапы и вопросы. Из таких постов собирают сборники вопросов к собеседованиям.
interview experience postступень 11
оффер (предложение о работе)
Официальное предложение о работе после собеседований: должность, грейд, зарплата и другие условия, дата выхода. Условия оффера обсуждают до подписания — это и есть переговоры об оффере.
job offerступень 11
оценка «на салфетке»
Быстрый расчёт порядка величины по нескольким формулам и округлённым числам: нагрузка, память, скорость, число GPU, деньги. Точность — в пределах 1.5–2 раз; уточняется замером.
back-of-the-envelope estimateступень 11
очередь
Структура «первым пришёл — первым ушёл» (FIFO). В Python — collections.deque: popleft за O(1), а list.pop(0) — за O(n).
queueступень 11
переменные расходы
Расходы, пропорциональные объёму: оплата API за токены, аренда GPU по часам под фактическую нагрузку. При малой нагрузке переменные расходы обычно выгоднее постоянных.
variable costступень 11
переписывание запроса
Преобразование запроса перед поиском: исправление опечаток и раскладки, синонимы, извлечение фильтров («до 3000 рублей»), подстановка контекста диалога. Часто делается LLM офлайн для частых запросов.
query rewritingступень 11
петля обратной связи
Модель учится на данных, которые сама же и создала своими решениями: в рекомендациях популярное показывают чаще, оно собирает больше кликов и становится ещё популярнее. Разрывают исследованием и случайными показами.
feedback loopступень 11
поведенческое интервью
Секция собеседования, где спрашивают о прошлом опыте: «расскажите о случае, когда…». Проверяют, как вы работаете — с ошибками, конфликтами, неопределённостью, сроками. Отвечают историями по методу STAR.
behavioral interviewступень 11
поиск сломавшего коммита делением пополам (git bisect)
Git сам выбирает коммит посередине между «хорошим» и «плохим», вы отвечаете good или bad; среди N коммитов виновник находится за ~log₂N проверок. Можно автоматизировать скриптом (git bisect run).
git bisectступень 11
портфолио
Набор проектов, по которым работодатель может проверить ваши навыки: репозитории с README, числами, графиками и демо, технический отчёт, посты. Для кандидата без опыта работы — главный аргумент.
portfolioступень 11
последовательные рекомендации
Предсказание следующего действия по упорядоченной истории пользователя; товары играют роль токенов, а модель — часто трансформер (SASRec, BERT4Rec).
sequential recommendationступень 11
постмортем (разбор инцидента)
Письменный разбор после инцидента — хронология, влияние, причина, почему не поймали раньше, действия с владельцами и сроками. Пишется без поиска виноватых (blameless).
postmortemступень 11
постоянные расходы
Расходы, которые не зависят от объёма работы: свои GPU, их амортизация, дежурства. Чем больше нагрузка, тем меньше их доля на один запрос.
fixed costступень 11
построчная история файла (git blame)
Показывает для каждой строки файла, в каком коммите, кем и когда она изменена последний раз.
git blameступень 11
правила разметки
Документ для разметчиков: определения классов, правила для пограничных случаев, примеры «да» и «нет», что делать при сомнении. Правят по разбору расхождений.
annotation guidelinesступень 11
приём log-sum-exp
log Σ exp(zᵢ) = m + log Σ exp(zᵢ − m), где m = max zᵢ. Все показатели ≤ 0, переполнения нет. На нём держатся устойчивые softmax и cross-entropy.
log-sum-exp trickступень 11
пробное собеседование
Тренировочное собеседование в формате настоящего: с таймером, вслух, с «интервьюером» — коллегой, учебным напарником или ИИ. Главная польза — разбор после: где молчали, где ушли в сторону, чего не знали.
mock interviewступень 11
проектирование ML-систем
Проектирование всей системы, в которой модель — лишь одна часть: требования, метрики, данные, бейзлайн, модель, оценка, сервинг, мониторинг и цикл обратной связи. Отдельная секция собеседований на ML-инженера.
ML system designступень 11
происхождение данных (lineage)
Для каждой строки и каждого признака известно, из какого источника и какими шагами они получены. Простейший вариант — сохранять номер строки сырого файла.
data lineageступень 11
публичный и приватный лидерборд
Тест соревнования делят на две части. Публичная видна во время соревнования после каждой посылки, приватная открывается в конце и решает итоговые места. В китайских соревнованиях часто похожая схема с двумя тестовыми наборами: «рейтинг A» во время соревнования и «рейтинг B» в финале.
public / private leaderboardступень 11
ранбук (инструкция дежурного)
Пошаговая инструкция для конкретного алерта: что проверить, как откатить, кого позвать. Пишется заранее, чтобы ночью не придумывать.
runbookступень 11
распределение Стьюдента (t-распределение)
Распределение среднего, нормированного на оценённое по выборке стандартное отклонение. При малом числе наблюдений у него тяжелее хвосты, чем у нормального: для 95%-интервала по 5 прогонам множитель 2.78 вместо 1.96.
Student's t-distributionступень 11
редакционное расстояние (расстояние Левенштейна)
Минимальное число вставок, удалений и замен символов, превращающих одну строку в другую. Считается динамическим программированием за O(n·m). Лежит в основе метрик WER и CER.
edit distance (Levenshtein distance)ступень 11
рекомендация сотрудника (реферал)
Сотрудник компании передаёт ваше резюме рекрутеру или нанимающему менеджеру напрямую. Процесс собеседований не отменяет, но резюме точно прочитают. Рекомендовать стоит только того, чью работу видел: например, по совместному проекту или open source.
employee referralступень 11
рефакторинг
Изменение устройства кода без изменения его поведения. Безопасен только под защитой тестов.
refactoringступень 11
руководство для участников (CONTRIBUTING)
Файл с правилами для внешних авторов: как собрать проект, какие проверки стиля и тесты запустить, формат заголовка PR, подпись DCO или CLA, правила об ИИ-помощниках. Лежит в корне репозитория или в папке .github.
contributing guide, CONTRIBUTING.mdступень 11
сдвиг распределения
Данные, на которых модель работает, распределены иначе, чем обучающие: сезонность, новые продукты, новые каналы. Поэтому валидацию делают «прошлое → будущее».
distribution shiftступень 11
скользящее окно
Частный случай двух указателей: окно [left, right) расширяется вправо и сжимается слева, пока выполняется условие. Самая длинная подстрока без повторов — за O(n).
sliding windowступень 11
сложность по памяти
Сколько дополнительной памяти нужно алгоритму в зависимости от размера входа. Перебор всех пар n объектов матрицей — O(n²) памяти: при n = 10⁶ это 10¹² ячеек.
space complexityступень 11
смещение позиции в кликах
Верхние позиции выдачи кликают чаще независимо от релевантности: их просто чаще видят. Клики без поправки на позицию учат модель повторять старый порядок.
position bias (in click logs)ступень 11
совокупная стоимость владения (TCO)
Все расходы на решение за срок его жизни, а не только цена покупки или токенов: железо и его амортизация, электричество, место, люди на сопровождение, дежурства, оценка и переобучение, простои.
total cost of ownershipступень 11
согласие разметчиков
Насколько независимые разметчики ставят одинаковые метки. Меряют каппой Коэна (два разметчика) и её обобщениями; низкое согласие — потолок для качества модели.
inter-annotator agreementступень 11
сократический диалог (обучение вопросами)
Наставник не сообщает ответ, а задаёт вопросы, по которым ученик приходит к нему сам: «что вернёт функция на пустом входе?», «какая форма у тензора после этой строки?». На этом построен «режим ментора» ИИ-помощников курса (homework/AGENTS.md).
Socratic method (Socratic questioning)ступень 11
соревнование по анализу данных
Задача, данные и метрика заданы организатором, участники присылают предсказания для теста без меток, места определяет скрытая часть теста. Площадки — Kaggle, Tianchi (Alibaba) и другие.
data science competitionступень 11
состязательная валидация
Проверка сдвига между train и test: склеить их, поставить метку «строка из теста?» и обучить классификатор. ROC-AUC около 0.5 — выборки неразличимы и локальной валидации можно верить; AUC около 1 — есть признак, который выдаёт тест (часто время), и валидацию нужно строить иначе.
adversarial validationступень 11
средний обратный ранг (MRR)
Среднее по запросам значение 1 / (позиция первого релевантного результата); 0, если релевантного нет. Подходит, когда пользователю нужен один правильный ответ — навигационный поиск, RAG.
mean reciprocal rankступень 11
стажировка
Работа на ограниченный срок, обычно для студентов и начинающих: реальные задачи под присмотром наставника. Отбор проще, чем на полную ставку, а хорошая стажировка часто заканчивается предложением о работе.
internshipступень 11
стек
Структура «последним пришёл — первым ушёл» (LIFO). В Python — list с append и pop. Проверка скобок, обход в глубину без рекурсии.
stackступень 11
тест Колмогорова — Смирнова
Сравнивает два распределения числового признака без бинов. Статистика D — наибольшее расстояние между эмпирическими функциями распределения; p-value — по распределению Колмогорова.
Kolmogorov–Smirnov testступень 11
тихий баг
Ошибка, при которой программа не падает и не пишет предупреждений, но результат неверный — в ML это испорченные обучение или метрика.
silent bugступень 11
точка безубыточности
Объём нагрузки, при котором два варианта стоят одинаково, например свои GPU (постоянный расход) и API (плата за токены). Ниже точки дешевле API, выше — свои карты, пока им хватает мощности.
break-even pointступень 11
унаследованный код (legacy)
Код, который достался от других людей или от прошлых версий проекта; авторов часто нет рядом, тестов мало. В китайском сленге — «цзучуань дайма» («код от предков»).
legacy codeступень 11
усталость от алертов
Когда алерты часто срабатывают зря, люди перестают на них реагировать или отключают их — и пропускают настоящий инцидент.
alert fatigueступень 11
утилизация (загрузка) GPU
Доля времени, когда оплаченные карты делают полезную работу. Своя карта стоит одинаково и днём, и ночью, поэтому цена токена обратно пропорциональна средней загрузке: при 25% миллион токенов вчетверо дороже, чем при 100%.
GPU utilizationступень 11
учебный напарник
Человек, с которым вы договорились регулярно отчитываться друг другу о занятиях: раз в неделю обменяться ссылками на коммиты, сделать ревью домашней работы, провести пробное собеседование. Учить можно разное — важен общий ритм и данное слово.
study buddy (accountability partner)ступень 11
учёт расходов по командам
Распределение затрат общей платформы между командами-потребителями по их токенам или GPU-часам. Без него общий ресурс выглядит бесплатным и расходуется без меры.
chargeback (cost allocation)ступень 11
учёт экспериментов (трекинг)
Система, которая для каждого прогона хранит конфиг, коммит, метрики по шагам и артефакты и позволяет искать и сравнивать прогоны: TensorBoard, MLflow, Weights & Biases, SwanLab или просто папки с JSON. Неучтённый эксперимент всё равно что не существует.
experiment trackingступень 11
форк (копия репозитория)
Ваша копия чужого репозитория на GitHub: в оригинал писать нельзя, в форк — можно. Из форка открывают pull request в исходный репозиторий. В китайской речи часто говорят просто «fork».
forkступень 11
хакатон
Короткое (обычно от суток до нескольких дней) соревнование команд, которые собирают работающий прототип; победителей выбирает жюри по демонстрации и защите, а не только по метрике.
hackathonступень 11
холодный старт (в рекомендациях)
Новый пользователь или товар без истории взаимодействий: коллаборативной фильтрации не на что опереться. Помогают признаки контента, популярное по сегменту, быстрые сессионные сигналы и слоты для исследования.
cold startступень 11
четыре золотых сигнала
Минимальный набор метрик сервиса из книги Google SRE: задержка (latency), трафик (traffic), ошибки (errors) и насыщение ресурсов (saturation).
four golden signalsступень 11
численная устойчивость
Свойство вычисления не терять точность и не переполняться на больших и малых числах. Пример: exp(1000) = inf, поэтому в softmax сначала вычитают максимум.
numerical stabilityступень 11
шум разметки
Неверные метки в данных. Бывают даже в тестовых наборах известных бенчмарков (Northcutt и др., 2021).
label noiseступень 11
эвал-гейт
Автоматическое условие выкатки новой модели или промпта: прогон эвал-набора и порогов качества, безопасности, задержки и цены. Не прошла — в продакшен не попадает.
evaluation gate (quality gate)ступень 11
эффект новизны
В первые дни A/B-теста пользователи активнее реагируют на любое изменение просто потому, что оно новое; через неделю-две эффект может исчезнуть. Поэтому тесты ленты и поиска не останавливают в первый же день.
novelty effectступень 11
CUSUM (кумулятивная сумма)
Детектор сдвига: S = max(0, S + x − цель − k), тревога при S > h. Копит небольшие, но устойчивые отклонения, которые порог по каждой точке не видит. Предложен Пейджем в 1954 году.
cumulative sum control chartступень 11
LLM-шлюз
Единая точка входа ко всем моделям компании с API, совместимым с OpenAI: ключи и квоты команд, маршрутизация, кэш, учёт токенов и денег, логи, guardrails. Примеры с открытым кодом — LiteLLM, Higress, One API.
LLM gateway (AI gateway)ступень 11
ML coding (секция собеседования)
Этап собеседования, где за 30–45 минут пишут кусок ML с нуля: softmax, attention, k-means, AUC. По-китайски такие задания называют «шоусы» — «разорвать руками», то есть написать без библиотек.
ML coding interviewступень 11
MLOps
Практики и инфраструктура, которые доводят модель до продакшена и держат её там: конвейеры данных и обучения, версии моделей, CI/CD, сервинг, мониторинг, откат. MLOps-инженер отвечает за эту платформу, а не за качество конкретной модели.
MLOps (machine learning operations)ступень 11
NDCG (нормированный дисконтированный выигрыш)
Метрика порядка выдачи со степенями релевантности: DCG@k = Σ rel_i / log2(i + 1), NDCG@k = DCG@k / DCG@k идеальной выдачи. От 0 до 1; ошибка наверху списка стоит дороже, чем внизу.
normalized discounted cumulative gainступень 11
pull request (запрос на слияние)
Предложение влить ветку с изменениями в основную; место, где идёт код-ревью и прогоняются автотесты. В GitLab называется merge request.
pull request, merge requestступень 11
research engineer (инженер-исследователь)
Инженер в исследовательской команде: реализует и масштабирует идеи исследователей — большие запуски обучения, распределённые вычисления, воспроизведение статей, инфраструктура экспериментов. Пишет больше кода, чем исследователь, и меньше продуктового кода, чем ML-инженер.
research engineerступень 11
SMART-цели (измеримые цели)
Цель конкретная (Specific), измеримая (Measurable), достижимая (Achievable), значимая для вас (Relevant) и ограниченная сроком (Time-bound). «Разобраться в RAG» — не цель; «к 31 марта выложить RAG по документации vLLM с eval-набором на 50 вопросов и recall@5 не ниже 0.8» — цель.
SMART goalsступень 11
T-образный профиль навыков
Горизонтальная черта буквы T — широкая база, общая для всех ролей (Python, теория ML, алгоритмы, инженерная культура), вертикальная — глубина в одном направлении (например, инференс или пост-трейнинг). Работодатели обычно ищут именно такую форму, а не «знаю всё понемногу».
T-shaped skillsступень 11
t-тест Уэлча (интервал Уэлча)
Сравнение средних двух групп без предположения, что их дисперсии равны: SE = sqrt(s₁²/n₁ + s₂²/n₂), число степеней свободы — по формуле Уэлча — Саттертуэйта. Вариант по умолчанию для сравнения конфигураций по нескольким seed.
Welch's t-testступень 11
upstream (исходный репозиторий)
Оригинальный репозиторий проекта, от которого сделан форк. В локальной копии его обычно добавляют вторым remote с именем upstream (origin указывает на ваш форк) и забирают оттуда свежий main.
upstream repositoryступень 11
«большой ком грязи»
Система без различимой структуры: всё зависит от всего, правила размазаны и продублированы, любое изменение страшно. Название — из статьи Брайана Фута и Джозефа Йодера (1997).
Big Ball of Mudпрограмма DDD
«делать или купить»
Решение для каждой части системы: писать самим, купить готовый сервис, взять открытое решение или отдать на аутсорс. В DDD его подсказывает тип поддомена.
build vs buyпрограмма DDD
автономный пузырь
Развитие пузыря контекста (Эванс, 2013): у контекста своё хранилище, а предохранительный слой асинхронно синхронизирует данные со старой системой — ночным пакетом или событиями — с договорённостью о свежести. Работает, даже если старая система недоступна.
autonomous bubbleпрограмма DDD
агрегат
Кластер сущностей и объектов-значений, который меняется только целиком через корень и после каждой операции соблюдает свои инварианты. Граница агрегата — граница транзакции: одна транзакция меняет один агрегат. В онлайн-школе — поток с записями и листом ожидания.
aggregateпрограмма DDD
активная запись (Active Record)
Шаблон из той же книги Фаулера (2002), что и единица работы: объект — это строка таблицы, он сам себя загружает и сохраняет (модели Django ORM, Ruby on Rails). Удобен для CRUD и вспомогательных поддоменов, но связывает модель с базой.
Active Recordпрограмма DDD
анемичная модель предметной области
Антишаблон, описанный Мартином Фаулером (2003): классы модели — мешки с данными без поведения, а все правила живут в сервисах. Выглядит как модель, но инварианты никто не защищает, правила дублируются.
anemic domain modelпрограмма DDD
версионирование событий
Как менять формат событий, которые уже лежат в журнале и которые нельзя переписать: добавлять необязательные поля со значением по умолчанию, вводить новый тип события, переводить старые версии в новую при чтении (upcasting). Грег Янг посвятил теме отдельную книгу «Versioning in an Event Sourced System».
event versioningпрограмма DDD
восстановление агрегата из хранилища
Сборка уже существующего агрегата из сохранённых данных. В отличие от фабрики создания не проверяет правила рождения (поток мог давно стартовать) и не порождает событий — ничего не случилось, данные только прочитали.
reconstitutionпрограмма DDD
временная связанность
Зависимость, при которой операция удаётся, только если все участники работают в один и тот же момент: цепочка синхронных вызовов падает, если упало любое звено. Асинхронные сообщения ослабляют её.
temporal couplingпрограмма DDD
вспомогательный поддомен (supporting)
Нужен бизнесу, но преимущества не даёт, и логика в нём простая. Делают просто (CRUD, готовые конструкторы) или отдают на аутсорс — под тестами основной команды.
supporting subdomainпрограмма DDD
выделение ядра (дистилляция)
Раздел книги Эванса о том, как отделить основной поддомен от всего остального, чтобы он был виден и получал лучшие силы: вынести типовое, написать описание ядра, выделить ядро в коде и документах.
distillationпрограмма DDD
вышестоящий и нижестоящий контексты (upstream / downstream)
Направление влияния между контекстами, как течение реки: изменения вышестоящего (upstream) отражаются на нижестоящем (downstream), а обратное неверно. Upstream может преуспеть независимо от судьбы downstream.
upstream / downstreamпрограмма DDD
гексагональная архитектура
Архитектура Алистера Кокберна (2005), второе название — «порты и адаптеры»: приложение в центре, внешний мир (пользователи, тесты, база, почта) подключается через порты и адаптеры. Шестиугольник — просто удобная картинка, число сторон не важно.
hexagonal architectureпрограмма DDD
глоссарий домена
Живой документ рядом с кодом: термин единого языка, его имя в коде, определение, пример и запрещённые синонимы. Меняется в одном коммите с кодом.
domain glossaryпрограмма DDD
горячая точка
Стикер Event Storming (ярко-розовый, повёрнутый ромбом) для вопросов, конфликтов, противоречий в языке, болевых мест и всего, что решили обсудить позже. Фасилитатор ставит его вместо затянувшегося спора.
hotspotпрограмма DDD
граница согласованности
Граница, внутри которой все правила выполняются немедленно и одной транзакцией. В DDD её проводят по агрегату: внутри — строгая согласованность, между агрегатами — согласованность в конечном счёте.
consistency boundaryпрограмма DDD
доменное событие
Значимый для экспертов факт, который уже произошёл, в прошедшем времени: «Студент записан», «Платёж получен». В Event Storming — оранжевый стикер, в коде — неизменяемый объект (урок DDD.3.3).
domain eventпрограмма DDD
доменный сервис
Операция предметной области без состояния, которая не принадлежит естественным образом ни одной сущности или объекту-значению; интерфейс выражен через элементы модели (Эванс). Пример — цена записи со скидками или перевод между счетами. Сначала правило пробуют поместить в агрегат, сервис — последнее средство.
domain serviceпрограмма DDD
доставка «как минимум один раз»
Гарантия: сообщение не потеряется, но может прийти повторно. Другие режимы — «не более одного раза» (может потеряться, без повторов) и «ровно один раз» (между независимыми системами по сети недостижим; на практике его заменяют повторной доставкой и идемпотентным получателем).
at-least-once deliveryпрограмма DDD
единица работы
Шаблон из книги Мартина Фаулера «Patterns of Enterprise Application Architecture» (2002): отслеживает объекты, изменённые в одной бизнес-операции, и фиксирует их одной транзакцией — всё или ничего. В Python удобно оформляется контекстным менеджером; сессия SQLAlchemy уже реализует этот шаблон.
unit of workпрограмма DDD
единый язык
Общий язык экспертов и разработчиков, построенный на модели, который используют везде: в разговорах, документах, именах классов и методов, событиях и тестах. Изменение языка — это изменение модели и кода. Встречаются переводы «вездесущий» и «повсеместный язык».
ubiquitous languageпрограмма DDD
журнал аудита
Неизменяемая запись того, кто, когда и от чьего имени что сделал в системе. Для ИИ-агента удобно вести его из доменных событий с пометкой исполнителя: журнал говорит на языке бизнеса («запись отменена, возврат 0 руб.»), а не на языке вызовов API.
audit log, audit trailпрограмма DDD
журнал событий агрегата (stream)
Упорядоченная последовательность событий одного экземпляра агрегата; номер события в журнале — его версия. По-английски stream, обычно переводят «поток событий», но в программе DDD слово «поток» занято (Cohort), поэтому говорим «журнал событий потока».
event streamпрограмма DDD
заказчик–поставщик
Шаблон карты контекстов: нижестоящая команда — заказчик, вышестоящая — поставщик; потребности заказчика входят в план поставщика, их обсуждают и закладывают в сроки.
Customer / Supplier Developmentпрограмма DDD
закон Конвея
Наблюдение Мелвина Конвея (1968): организация проектирует системы, повторяющие структуру коммуникаций между её людьми и командами. Отсюда совет совмещать границы контекстов с границами команд. «Обратный манёвр Конвея» — сначала устроить команды так, как должна выглядеть система.
Conway's lawпрограмма DDD
идемпотентный получатель
Обработчик сообщений, для которого повторная доставка того же сообщения ничего не меняет. Обычно хранит журнал обработанных id в той же транзакции, что и изменения, или опирается на операции, которые естественно идемпотентны.
idempotent consumerпрограмма DDD
идентичность (сущности)
То, что отличает сущность от любой другой, даже с теми же атрибутами, и сохраняется при всех её изменениях. В коде — идентификатор: UUID, номер по правилам бизнеса или ключ из базы. Модель получает его снаружи, чтобы тесты были предсказуемыми.
identityпрограмма DDD
инвариант
Правило предметной области, которое должно выполняться всегда, после каждой завершённой операции: «записей, занимающих место, не больше вместимости потока». Настоящий инвариант защищают внутри одного агрегата; то, что может быть временно нарушено, — забота политик и согласованности в конечном счёте.
invariantпрограмма DDD
интеграционное событие
Событие, которое контекст публикует для других контекстов: стабильный публичный контракт с версией, простыми типами и только нужными получателям полями. Доменные события внутри контекста могут меняться свободно, интеграционные — только с оглядкой на подписчиков.
integration eventпрограмма DDD
канва ограниченного контекста
Шаблон DDD Crew (CC BY 4.0) для проектирования и описания одного контекста на одном листе: название, назначение, стратегическая классификация, роли, входящие и исходящие сообщения, язык, бизнес-решения, допущения, метрики проверки и открытые вопросы.
Bounded Context Canvasпрограмма DDD
канва проектирования агрегата
Шаблон DDD Crew на одном листе для обсуждения агрегата: название, описание, переходы состояний, инварианты и корректирующие политики, команды и события, пропускная способность (шанс конфликтов) и размер. Лицензия CC BY 4.0 (в README) / CC BY-SA 4.0 (файл LICENSE.md).
Aggregate Design Canvasпрограмма DDD
карта контекстов
Схема и описание связей между ограниченными контекстами и командами: кто от кого зависит (upstream или downstream) и по какому шаблону отношений они взаимодействуют. Рисуют местность как есть, а не как хотелось бы.
context mapпрограмма DDD
карта примеров
Короткая встреча по одной истории (около 25 минут): карточки правил, примеров к каждому правилу и вопросов, на которые пока нет ответа. Технику предложил Мэтт Уинн из сообщества BDD.
Example Mappingпрограмма DDD
ключевое событие
Одно из немногих самых важных событий процесса, после которого многое меняется и которое интересно многим участникам. Ключевые события делят стену Event Storming на части и подсказывают границы контекстов.
pivotal eventпрограмма DDD
команда (в Event Storming)
Намерение или решение что-то сделать: «Записаться на поток». Синий стикер. Её отдаёт актор или политика, итог — событие или отказ.
commandпрограмма DDD
компенсирующее действие
Новое действие, которое по смыслу отменяет результат уже завершённого шага саги: возврат денег вместо «отката» платежа, отмена записи вместо удаления. Прошлое не стирается — к нему добавляется новый факт.
compensating transactionпрограмма DDD
конформист
Шаблон карты контекстов: нижестоящая команда без перевода принимает модель вышестоящей. Интеграция предельно проста, но чужая модель становится частью вашей.
Conformistпрограмма DDD
корень агрегата
Единственная сущность агрегата, доступная снаружи: через её методы идут все изменения, на неё одну ссылаются другие объекты (по идентификатору). Корень отвечает за инварианты всего агрегата и не отдаёт наружу изменяемые внутренности.
aggregate rootпрограмма DDD
корректирующая политика
Термин канвы проектирования агрегата (DDD Crew): бизнес-логика, которая исправляет расхождения после того, как правило решили не делать инвариантом агрегата. Пример: платёж пришёл после автоматической отмены записи — вернуть деньги или восстановить запись.
corrective policyпрограмма DDD
луковая архитектура
Вариант Джеффри Палермо (2008): модель предметной области в центре, вокруг слои сервисов и инфраструктуры, зависимости направлены к центру. По сути та же идея, что у гексагональной и чистой архитектуры.
onion architectureпрограмма DDD
менеджер процесса
Объект со своим состоянием, который ведёт один экземпляр долгого процесса: получает события, решает, какую команду отправить дальше, следит за сроками. Шаблон из книги Грегора Хопа и Бобби Вулфа «Enterprise Integration Patterns».
process managerпрограмма DDD
микросервисы
Архитектура из небольших независимо развёртываемых сервисов, каждый со своими данными, общающихся по сети. Даёт независимые релизы и масштабирование, но приносит сетевые сбои, согласованность в конечном счёте и сложную эксплуатацию.
microservicesпрограмма DDD
модель предметной области
Упрощённое и осознанно отобранное представление знаний о предметной области, нужное для конкретной задачи. В DDD модель живёт одновременно в словах команды, в документах и в коде.
domain modelпрограмма DDD
модель чтения
Данные, которые нужны человеку или программе, чтобы принять решение: «свободные места на потоках». В Event Storming — зелёный стикер; в CQRS — отдельная модель для чтения (урок DDD.4.1).
read model, query modelпрограмма DDD
модульный монолит
Одно развёртываемое приложение, разделённое на модули по ограниченным контекстам: у модуля публичный интерфейс и свои данные, чужие внутренности не импортируют. Границы дёшево передвигать; модуль можно позже вынести в отдельный сервис.
modular monolithпрограмма DDD
независимость модели от хранения
Принцип: классы модели не знают, как и где их хранят, — не наследуют классы ORM, не импортируют драйвер базы. Отображение «объект ↔ строка» живёт в адаптере.
persistence ignoranceпрограмма DDD
неизменяемость
Свойство объекта, состояние которого нельзя изменить после создания: вместо правки создают новый объект. Обязательное свойство объектов-значений и доменных событий; в Python — @dataclass(frozen=True), кортежи вместо списков.
immutabilityпрограмма DDD
общедоступный язык
Шаблон карты контекстов: хорошо документированный формат обмена, через который контексты переводят свои модели, например iCalendar или vCard. Часто сочетается со службой с открытым протоколом.
Published Language (PL)программа DDD
общее ядро
Шаблон карты контекстов: небольшая явно выделенная часть модели (и её код), которую две команды используют совместно и меняют только по договорённости. Держать маленьким и под общими тестами.
Shared Kernelпрограмма DDD
объект-значение
Объект модели без собственной идентичности, который описывает характеристику: деньги, период, адрес почты. Неизменяем, равенство — по всем атрибутам, проверяет себя при создании, операции возвращают новое значение. В Python — обычно @dataclass(frozen=True).
value objectпрограмма DDD
ограниченный контекст
Явная граница, внутри которой одна модель предметной области и её единый язык однозначны и согласованы. За границей те же слова могут значить другое. Границу закрепляют командой, частью приложения, кодом и данными; перевод между контекстами делают явно.
bounded contextпрограмма DDD
одержимость примитивами
«Запах кода» из каталога книги «Рефакторинг» (Мартин Фаулер, Кент Бек): понятия предметной области хранят в str, int, float и словарях вместо маленьких классов. Правила проверки размазываются, значения путают местами и единицами. Лечится объектами-значениями.
primitive obsessionпрограмма DDD
описание основного поддомена (domain vision statement)
Короткий документ — около страницы — о том, что составляет ядро системы, какую ценность оно даёт бизнесу и что в ядро не входит. Шаблон Эванса из раздела о выделении ядра.
domain vision statementпрограмма DDD
оптимистическая блокировка
Способ поймать параллельные изменения без блокировки на время работы: у агрегата есть номер версии, при сохранении хранилище сверяет его с текущим. Версия выросла — кто-то успел раньше, сохранение отклоняется (ConcurrencyError), команду повторяют на свежих данных.
optimistic locking, optimistic concurrency controlпрограмма DDD
оркестрация
Способ вести процесс между контекстами из одного места: оркестратор (часто менеджер процесса) отправляет команды участникам и реагирует на их ответы. Процесс виден целиком, но оркестратор знает обо всех участниках.
orchestrationпрограмма DDD
основной поддомен (core)
То, чем компания отличается от конкурентов и что даёт ей преимущество. Обычно сложен и часто меняется. Делают сами, лучшими людьми и с полным арсеналом DDD.
core subdomain, core domainпрограмма DDD
партнёрство
Шаблон карты контекстов: две команды успешны или проваливаются только вместе, поэтому планируют разработку совместно и вместе развивают интерфейс между контекстами.
Partnershipпрограмма DDD
переписывание с нуля («большой взрыв»)
Замена работающей системы новой, написанной целиком заново и включаемой одним переключением. Опасно: неявные правила старого кода теряются, цель движется, пользы нет до самого конца. Альтернатива — пузырь контекста и шаблон «душитель».
big bang rewriteпрограмма DDD
переработка знаний
Термин Эванса: совместная работа разработчиков и экспертов, в которой из разговоров, примеров и черновых моделей выжимают то, что важно для задачи, и отбрасывают лишнее.
knowledge crunchingпрограмма DDD
поддомен
Часть предметной области со своими задачами, экспертами и словами: Набор, Оплата, Обучение. Поддомены описывают пространство задачи — их обнаруживают, изучая бизнес.
subdomainпрограмма DDD
политика (в Event Storming)
Реакция «когда случилось X — делаем Y» между событием и командой: «Когда платёж получен — подтвердить запись». Сиреневый стикер. Бывает автоматической и ручной.
policyпрограмма DDD
порты и адаптеры
Порт — интерфейс на границе приложения, выраженный его словами (CohortRepository, Clock); адаптер — реализация порта для конкретной технологии (SQLite, память, HTTP). Ведущие (driving) адаптеры вызывают приложение, ведомые (driven) вызываются им.
ports and adaptersпрограмма DDD
потерянное обновление
Ошибка параллельной работы: два запроса прочитали одну версию данных, оба изменили и сохранили — второй молча затёр изменения первого. Ловится оптимистической блокировкой по номеру версии.
lost updateпрограмма DDD
предметная область (домен)
Область деятельности, задачи которой решает программа: для онлайн-школы — набор студентов на потоки, обучение, оплата, сертификаты. Знания о ней — у экспертов, а не в коде.
domainпрограмма DDD
предметно-ориентированное проектирование (DDD)
Подход Эрика Эванса (книга 2003 года): проектировать сложную систему вокруг модели предметной области, выработанной вместе с экспертами, говорить на едином языке и сосредоточить силы на основном поддомене.
Domain-Driven Designпрограмма DDD
предохранительный слой
Шаблон карты контекстов: нижестоящий контекст ставит изолирующий слой, который переводит модель чужой системы в термины собственной модели (и обратно). Чужие поля, статусы и слова не проходят дальше слоя. Встречаются переводы «предохранительный уровень» и «антикоррупционный слой».
Anticorruption Layer (ACL)программа DDD
прикладной сервис (сервис приложения)
Точка входа для одного сценария использования: загрузить агрегат, вызвать доменный метод, сохранить, опубликовать события. Тонкий слой без бизнес-правил: знает о хранилище, часах и транзакциях только через порты.
application serviceпрограмма DDD
принцип инверсии зависимостей
Буква D в SOLID Роберта Мартина: модули верхнего уровня (модель) не зависят от модулей нижнего уровня (база, почта) — оба зависят от абстракций, и абстракции принадлежат верхнему уровню. Основа гексагональной и чистой архитектуры.
dependency inversion principle (DIP)программа DDD
проблема двойной записи
Сохранить изменение в базе и отправить сообщение в брокер — две независимые операции; сбой между ними оставляет систему в противоречивом состоянии (запись подтверждена, а событие не ушло, или наоборот). Решается шаблоном outbox.
dual write problemпрограмма DDD
проекция
Код, который читает события и строит из них модель чтения: таблицу «свободные места по потокам», «расписание студента». Проекцию можно удалить и перестроить заново, прогнав все события с начала.
projectionпрограмма DDD
пузырь контекста
Стратегия Эрика Эванса (2013): небольшой ограниченный контекст с новой чистой моделью, созданный под конкретную задачу и отгороженный от унаследованной системы предохранительным слоем. Своей базы обычно нет — данные берутся из старой через слой.
bubble contextпрограмма DDD
разделение команд и запросов (CQS)
Принцип Бертрана Мейера для отдельных методов и классов: метод либо меняет состояние (команда), либо отвечает на вопрос (запрос), но не то и другое сразу. Узнать, горит ли свет, можно, не щёлкая выключателем.
Command-Query Separationпрограмма DDD
разделение ответственности команд и запросов (CQRS)
Идея, которую около 2010 года популяризировал Грег Янг: для изменения данных и для их чтения система держит разные модели. Запись идёт через агрегаты с инвариантами, чтение — через простые модели, удобные для экранов. Не требует ни отдельной базы, ни event sourcing.
Command Query Responsibility Segregationпрограмма DDD
раздельные пути
Шаблон карты контекстов: интеграция стоит дороже пользы, поэтому контексты сознательно не связывают и решают задачу каждый по-своему, даже ценой дублирования.
Separate Waysпрограмма DDD
репозиторий (шаблон DDD)
Иллюзия коллекции агрегатов в памяти: add, get, save — и никакого SQL снаружи. Один репозиторий на тип агрегата (не на таблицу); интерфейс-порт объявлен рядом с моделью, реализация-адаптер — в инфраструктуре. Не путать с git-репозиторием.
repositoryпрограмма DDD
сага
Долгий процесс, разбитый на шаги — локальные транзакции в разных контекстах; если шаг невозможен, уже сделанное отменяют компенсирующими действиями. Идея — из статьи Гектора Гарсиа-Молины и Кеннета Салема «Sagas» (1987).
sagaпрограмма DDD
свёртка списка (fold, reduce)
Операция, которая проходит по списку и накапливает результат: начальное значение и функция «состояние + элемент → новое состояние». В Python — functools.reduce или обычный цикл. В event sourcing состояние агрегата — свёртка его событий. Не путать со свёрткой (convolution) в нейросетях.
fold, reduceпрограмма DDD
слоистая архитектура
Код делится на слои с правилом «вызывать можно только нижние»: интерфейс, приложение, домен, инфраструктура (так у Эванса). Беда классического варианта — домен зависит от слоя базы данных, лежащего под ним.
layered architectureпрограмма DDD
служба с открытым протоколом
Шаблон карты контекстов: вышестоящий контекст открывает для всех потребителей единый документированный протокол (например, публичный API) вместо отдельной интеграции под каждого.
Open Host Service (OHS)программа DDD
снимок агрегата
Сохранённое состояние агрегата на какой-то версии, чтобы не сворачивать весь длинный журнал: загрузка = снимок + хвост событий после него. Это только ускорение: снимок можно выбросить и пересчитать из событий.
snapshotпрограмма DDD
согласованность в конечном счёте
Данные в разных местах (агрегат и модель чтения, два контекста) какое-то время расходятся, но без новых изменений сходятся к одному значению. Плата за независимость частей системы; бизнес обычно и так живёт с задержками и исправлениями.
eventual consistencyпрограмма DDD
спецификация на примерах
Способ описывать правила конкретными примерами с числами и ожидаемым результатом вместо общих фраз (книга Гойко Аджича, 2011). Примеры вскрывают неясности и затем становятся тестами.
specification by exampleпрограмма DDD
стратегическое проектирование
Половина DDD о крупных решениях: на какие части делится предметная область, где проходят границы моделей, что здесь главное и как части связаны (поддомены, ограниченные контексты, карта контекстов).
strategic designпрограмма DDD
существенная сложность
Сложность, присущая самой задаче (правила бизнеса), — её нельзя убрать, только выразить ясно. Противоположность — привнесённая (accidental) сложность от инструментов и неудачных решений. Различение — у Фреда Брукса («Серебряной пули нет», 1986).
essential complexityпрограмма DDD
сущность
Объект модели, который определяется идентичностью, а не атрибутами, и живёт во времени: создаётся, меняет состояние, остаётся «тем же». В онлайн-школе — студент, поток, запись на поток, платёж. Сравнивают сущности по идентификатору.
entityпрограмма DDD
тактическое проектирование
Половина DDD о коде внутри одной модели: сущности, объекты-значения, агрегаты, доменные события, сервисы, фабрики и репозитории.
tactical designпрограмма DDD
типовой поддомен (generic)
Задача, которую все компании решают одинаково и для которой есть готовые решения: платежи, рассылки, вход в систему. Может быть сложной, но её покупают или берут готовой, а не изобретают.
generic subdomainпрограмма DDD
фабрика
Шаблон DDD для сложного создания: собирает агрегат целиком и сразу корректным, проверяет правила рождения и выдаёт номера. Формы — фабричный метод корня (cohort.enroll создаёт запись), отдельная фабрика (Cohort.open) и восстановление из хранилища.
factoryпрограмма DDD
фейк (рабочая подделка для тестов)
Тестовый двойник с настоящим, но упрощённым поведением: репозиторий в словаре, часы с фиксированным временем. В отличие от мока не проверяет, какие методы вызвали, а просто работает. Чтобы фейк не врал, его прогоняют теми же контрактными тестами, что и настоящий адаптер.
fakeпрограмма DDD
характеризационный тест (тест-фиксатор)
Тест, который фиксирует фактическое поведение кода — то, что код делает сейчас, включая странности и ошибки, — а не то, что он должен делать. Пишется перед рефакторингом унаследованного кода; термин Майкла Физерса.
characterization testпрограмма DDD
хореография
Способ вести процесс между контекстами без центра: каждый контекст подписан на события других и сам решает, что делать дальше. Мало связей, но процесс целиком не виден ни в одном месте кода.
choreographyпрограмма DDD
хранилище событий
База данных для event sourcing: хранит события агрегатов в журналах, которые можно только дописывать, и проверяет версию при записи (оптимистическая блокировка). Делается и поверх обычной реляционной базы, и специализированными системами.
event storeпрограмма DDD
чистая архитектура
Вариант Роберта Мартина (статья 2012 года, книга 2017): концентрические круги — сущности, сценарии использования, адаптеры интерфейсов, фреймворки и драйверы. Правило зависимостей: зависимости в исходном коде направлены только внутрь.
Clean Architectureпрограмма DDD
шаблон «душитель» (strangler fig)
Постепенная замена старой системы: перед ней ставят перехватчик, функции по одной переносят в новый код и переключают на него запросы, старый код удаляют, когда им никто не пользуется. Назван Мартином Фаулером (2004) по фикусу-душителю, который обрастает дерево-хозяина.
Strangler Fig Applicationпрограмма DDD
шина сообщений
Посредник, который принимает сообщения (команды и события) и передаёт их подписанным обработчикам. Бывает в памяти одного процесса и в виде отдельного брокера (RabbitMQ, Kafka и т. п.).
message busпрограмма DDD
шов (в коде)
По Майклу Физерсу — место, где можно изменить поведение программы, не редактируя код в этом месте: параметр, функция модуля, которую тест подменяет, объект, переданный снаружи. Через швы старый код запускают в тестах без базы, почты и платёжной системы.
seamпрограмма DDD
эксперт предметной области
Человек, который глубоко знает бизнес-процессы и их правила: методист, менеджер набора, бухгалтер, опытный сотрудник поддержки. Необязательно начальник.
domain expertпрограмма DDD
CRUD (создать, прочитать, изменить, удалить)
Приложение или его часть, которое в основном хранит и показывает данные: формы поверх таблиц, почти без бизнес-правил. Для такого кода тяжёлое DDD не нужно.
Create, Read, Update, Deleteпрограмма DDD
event sourcing (состояние как журнал событий)
Способ хранения: вместо текущего состояния агрегата сохраняют все его события по порядку, а состояние получают их свёрткой. Журнал только дописывают — прошлое не меняется. Даёт аудит и историю, но усложняет систему. Встречаются переводы «порождение событий» и «событийное хранение».
event sourcingпрограмма DDD
Event Storming («штурм событий»)
Метод совместного моделирования Альберто Брандолини: эксперты и разработчики выкладывают доменные события на длинной ленте вдоль времени, а потом добавляют команды, акторов, политики, системы и горячие точки. Форматы: Big Picture, Process Level, Design Level.
EventStormingпрограмма DDD
transactional outbox (исходящие сообщения в той же транзакции)
Шаблон из каталога microservices.io Криса Ричардсона: события пишут в таблицу outbox в той же транзакции, что и изменение агрегата, а отдельный процесс-ретранслятор (relay) потом публикует их в брокер и помечает отправленными. Даёт доставку «как минимум один раз».
Transactional Outboxпрограмма DDD
архивирование изменения
Завершение изменения в OpenSpec: дельты сливаются в openspec/specs/ (добавленные требования дописываются, изменённые заменяют старые, удалённые удаляются), а папка изменения переезжает в openspec/changes/archive/ГГГГ-ММ-ДД-имя/. Команда openspec archive делает это программно и детерминированно; /opsx:archive в чате сливает дельты силами агента.
archiving a changeпрограмма SDD
архитектура, управляемая моделями (MDA)
Вариант model-driven development, который консорциум OMG объявил в 2001 году: платформенно-независимая модель (PIM) автоматически преобразуется в платформенно-зависимую (PSM), а та — в код. Широко не прижился; выжила узкая генерация кода из формальных схем.
Model Driven Architectureпрограмма SDD
вайб-кодинг
Выражение Андрея Карпатого (2025): писать программу в разговоре с ИИ — попросил, получил, поправил, — почти не вчитываясь в код и не фиксируя требований. Годится для прототипов, опасен для систем с правилами.
vibe codingпрограмма SDD
вертикальный срез
Задача или этап, который проходит через все слои (модель, сервис, интерфейс, тесты) ради одной пользовательской истории и даёт работающий результат. Противоположность — горизонтальные этапы «сначала вся база, потом весь API».
vertical sliceпрограмма SDD
владельцы кода (CODEOWNERS)
Файл GitHub (в .github/, корне или docs/), который сопоставляет пути в репозитории с людьми и командами. Владельцев автоматически зовут на ревью изменений их путей; с защитой ветки их одобрение обязательно. Удобно для спецификаций: specs/enrollment/ — команде контекста Набор.
code owners, CODEOWNERS fileпрограмма SDD
вне рамок (что не делаем)
Раздел спецификации с тем, что сознательно не входит в задачу. Защищает от «полезных» дополнений агента и от споров на приёмке.
out of scope, non-goalsпрограмма SDD
возможность (capability) в OpenSpec
Устойчивая область поведения системы, у которой своя спецификация openspec/specs/имя/spec.md, например enrollment. Называют по поведению, а не по задаче: enrollment, а не add-waitlist. Предложение изменения перечисляет новые и изменяемые возможности.
capabilityпрограмма SDD
граф зависимостей задач
Ориентированный граф: задачи — вершины, «зависит от» — рёбра. Порядок выполнения даёт топологическая сортировка; цикл в графе означает, что план невыполним и его надо перерезать.
task dependency graphпрограмма SDD
дельта спецификации
Спецификация внутри предложения изменения, которая описывает только разницу с текущей: разделы ADDED, MODIFIED, REMOVED и RENAMED Requirements. MODIFIED содержит требование целиком в новой редакции — при архивировании оно заменяет старое полностью.
delta specпрограмма SDD
доля убитых мутантов
Отношение числа убитых мутантов к числу всех проверенных. В отличие от покрытия строк показывает не то, какой код выполнялся в тестах, а то, какие ошибки в нём тесты действительно поймают.
mutation scoreпрограмма SDD
дрейф спецификации и кода
Постепенное расхождение спецификации и кода: срочную правку внесли только в код, агент принял решение, которого нет в документах, требование изменили, а реализацию нет. Ловится матрицей трассируемости, приёмочными тестами и ревью; лечится сведением.
spec driftпрограмма SDD
запись архитектурного решения (ADR)
Короткий документ об одном значимом решении: статус, контекст, решение, последствия (шаблон Майкла Найгарда, 2011). Старые ADR не переписывают, а заменяют новыми; журнал ADR объясняет людям и агентам, почему система устроена именно так.
Architecture Decision Recordпрограмма SDD
захват выдуманных имён пакетов (slopsquatting)
Атака на цепочку поставок, о которой заговорили в 2025 году: языковые модели иногда предлагают правдоподобные, но несуществующие имена пакетов, а злоумышленник регистрирует такие имена в публичном реестре с вредоносным кодом. Родственник typosquatting — захвата имён с опечатками.
slopsquattingпрограмма SDD
ИИ-агент для кода
Программа, в которой языковая модель в цикле читает и правит файлы проекта, запускает команды и тесты и сама решает, что делать дальше: Claude Code, GitHub Copilot, Cursor, Codex и др.
AI coding agentпрограмма SDD
исследование вариантов (research)
Шаг планирования, на котором до проектирования снимают неизвестные: сравнивают библиотеки и подходы, проверяют ограничения. В Spec Kit итог пишется в research.md в виде «решение — обоснование — рассмотренные варианты».
technical researchпрограмма SDD
исследовательский прототип (spike)
Термин экстремального программирования: короткая задача, цель которой — знание, а не продукт (выдержит ли алгоритм нагрузку, как отвечает чужой API). Код спайка выбрасывают; спецификацию пишут по итогам, если идея выжила.
spikeпрограмма SDD
ключевые слова RFC 2119
Слова из стандарта IETF RFC 2119 с закреплённой силой требования: MUST и SHALL — обязательно, SHOULD — желательно с исключениями, MAY — можно. Валидатор OpenSpec предупреждает, если в тексте требования нет SHALL или MUST, а в строгом режиме (--strict) не пропускает такое требование; поэтому эти слова оставляют английскими и в русских спецификациях.
RFC 2119 keywords (MUST, SHALL, SHOULD, MAY)программа SDD
конституция проекта
Термин Spec Kit: файл с неизменными принципами проекта (в Spec Kit — .specify/memory/constitution.md), по которым проверяются план, задачи и код: тесты сначала, простота, стандарты кода, запреты. Меняется редко, через явную поправку с номером версии.
project constitutionпрограмма SDD
контекст агента
Всё, что модель агента видит на текущем шаге: системный промпт, описания инструментов, файлы памяти проекта, переписка, прочитанные файлы, вывод команд. Чего нет в контексте, того для агента не существует.
agent contextпрограмма SDD
контракт (интерфейса)
Договорённость о том, на что может опираться другая сторона: входы и выходы с форматами, ошибки и побочные эффекты, гарантии (идемпотентность, порядок событий), версии и совместимость. Формы — сигнатуры функций, JSON Schema, OpenAPI; в Spec Kit — папка contracts/.
interface contractпрограмма SDD
контрольная точка качества (gate)
Проверка, которую нужно пройти, прежде чем двигаться дальше: например, «Constitution Check» в плане Spec Kit до исследования и после проектирования. Нарушение либо исправляют, либо явно обосновывают.
quality gateпрограмма SDD
критерий приёмки
Проверяемое условие, при котором требование или история считаются выполненными. Удобная форма — сценарий «Дано / Когда / Тогда» с конкретными данными: из него прямо пишется приёмочный тест.
acceptance criterionпрограмма SDD
ложное чувство контроля
Уверенность, что раз всё подробно записано в спецификации, агент всё так и сделает. На деле агент может пропустить пункт, переосмыслить его, сделать лишнее, отметить задачу без работы или подогнать тест. Лечится только проверками вне модели: тестами из сценариев, хуками, CI и ревью диффа.
false sense of controlпрограмма SDD
маркер неясности
Пометка прямо в спецификации, что решение ещё не принято: в курсе — [УТОЧНИТЬ: вопрос], в Spec Kit — [NEEDS CLARIFICATION: …]. Запрещает агенту додумывать и собирает вопросы для эксперта.
clarification markerпрограмма SDD
матрица трассируемости
Таблица «требование → сценарии → тесты» (иногда ещё задачи и код). Показывает требования без тестов, сценарии без тестов и тесты, которые ссылаются на несуществующие сценарии; из неё считают долю требований, покрытых тестами.
traceability matrixпрограмма SDD
модель данных
Описание сущностей фичи: поля, связи, правила проверки из требований и переходы состояний. В Spec Kit — файл data-model.md. Это не схема таблиц базы, а словарь и инварианты, на которых строится код.
data modelпрограмма SDD
модель сохранения спецификаций
Договорённость команды о том, что делать с документами фичи, когда требования меняются. Документация Spec Kit называет три: flow-forward (готовая папка неизменна, новое — новой папкой), flow-back (править можно где угодно, потом сводить), living spec (сначала правят spec.md, план и задачи выводят заново).
spec persistence modelпрограмма SDD
мутационное тестирование
Проверка самих тестов: инструмент вносит в код маленькие искажения (мутанты) — >= на >, and на or, 48 на 49 — и запускает тесты. Тесты упали — мутант «убит»; прошли — «выжил», значит, такую ошибку тесты не заметят. Для Python — mutmut.
mutation testingпрограмма SDD
навык агента (skill)
Папка с инструкцией (в Claude Code — файл SKILL.md) и, если нужно, скриптами и шаблонами. В контексте всегда лежит только короткое описание навыка, полный текст агент загружает, когда задача подходит.
agent skillпрограмма SDD
недетерминизм генерации
Свойство языковых моделей: один и тот же промпт или спецификация при повторном запуске дают разный результат. Для SDD это значит, что проверять нужно каждый прогон агента, а то, что не должно «плавать» (интерфейсы, имена, исключения), — фиксировать в плане.
generation nondeterminismпрограмма SDD
нефункциональное требование
Требование к свойствам системы, а не к её поведению: время ответа, доступность, безопасность, формат хранения данных. Записывается с измеримым порогом: не «быстро», а «95% запросов за 300 мс».
non-functional requirementпрограмма SDD
новый проект с нуля (greenfield)
Разработка на пустом месте, без унаследованного кода и ограничений совместимости. SDD здесь проще всего: спецификация описывает систему целиком.
greenfield projectпрограмма SDD
определение готовности (DoD)
Общий для всех задач список условий, без которых работа не считается сделанной: тесты зелёные, линтер чист, документация и глоссарий обновлены, коммит ссылается на задачу. Понятие из Scrum; отличается от критериев приёмки, которые у каждого требования свои.
Definition of Doneпрограмма SDD
параллельная волна задач
Группа задач, которые не зависят друг от друга и все зависимости которых уже выполнены, — их можно отдать нескольким людям или агентам одновременно. В Spec Kit такие задачи помечают [P].
parallel group, waveпрограмма SDD
пользовательская история
Короткое описание потребности от лица пользователя: «Как <роль>, я хочу <действие>, чтобы <ценность>». Отвечает на вопросы «кто» и «зачем»; детали — в требованиях и сценариях.
user storyпрограмма SDD
постепенная строгость
Принцип из документации OpenSpec: по умолчанию — лёгкая спецификация (короткие требования о поведении, границы, несколько проверок), полная — только для рискованных изменений: между командами, в контрактах и API, миграциях, безопасности, там, где неясность обойдётся дорогой переделкой.
progressive rigorпрограмма SDD
предложение изменения
В OpenSpec — одна доработка, оформленная папкой openspec/changes/имя/: proposal.md (зачем и что меняем), дельты спецификаций в specs/, design.md (как) и tasks.md (чек-лист). Сначала его согласуют, потом реализуют и архивируют.
change proposal (OpenSpec change)программа SDD
приёмочный тест
Автоматический тест, который проверяет поведение системы по критерию приёмки — обычно по сценарию «Дано / Когда / Тогда» с теми же данными. В курсе — один тест на сценарий, ID сценария в имени: test_sc_006_full_refund_exactly_7_days.
acceptance testпрограмма SDD
разбиение на задачи
Превращение плана в список маленьких проверяемых задач с порядком и зависимостями. Хорошая задача — один небольшой дифф, понятный критерий готовности и ссылка на требования. В Spec Kit — файл tasks.md.
task breakdownпрограмма SDD
развитие существующей системы (brownfield)
Работа в живом проекте с историей, пользователями и унаследованным кодом. Спецификации обычно пишут не на всю систему, а на то, что меняют сейчас; так устроен OpenSpec.
brownfield projectпрограмма SDD
разработка на основе моделей (MDD)
Подход, популярный в 1990–2000-х: систему описывают моделями (обычно UML), а код генерируют из них; известный вариант — Model Driven Architecture (MDA) консорциума OMG. Широко не прижился: модели оказались не проще кода, а генераторы — негибкими.
Model-Driven Developmentпрограмма SDD
разработка через поведение (BDD)
Практика, которую предложил Дэн Норт в середине 2000-х: описывать поведение системы примерами «Дано / Когда / Тогда» на языке бизнеса и превращать их в автоматические тесты (инструмент Cucumber, язык Gherkin).
Behavior-Driven Developmentпрограмма SDD
разработка через спецификации (SDD)
Подход к работе с ИИ-агентами для кода: сначала продумать задачу и записать её в спецификации (что и зачем, затем план и задачи), а код получать из них и проверять по ним.
Spec-Driven Developmentпрограмма SDD
разработка через тестирование (TDD)
Практика Кента Бека: сначала падающий тест, потом минимальный код, чтобы он прошёл, потом рефакторинг («красный — зелёный — рефакторинг»). Тесты становятся исполняемой спецификацией.
Test-Driven Developmentпрограмма SDD
расширение Spec Kit
Пакет дополнительных команд и хуков для Spec Kit, ставится командой specify extension add имя. Вместе со Spec Kit идут bug, assess, git, agent-context и github; расширения из каталога сообщества мейнтейнеры не ревьюят — их код нужно читать перед установкой.
Spec Kit extensionпрограмма SDD
ревью спецификации
Проверка спецификации людьми до кода, по ролям: эксперт предметной области — правила, числа и сценарии; техлид — план, интерфейсы и решения; владельцы соседних контекстов — контракты. Форму (ID, размытые слова, сценарии) лучше проверять скриптом, чтобы люди проверяли смысл.
specification reviewпрограмма SDD
режим планирования
Режим агента, в котором он только читает код и предлагает план, ничего не меняя, пока человек план не одобрит. В Claude Code переключается сочетанием Shift+Tab; похожие режимы есть и у других агентов.
plan modeпрограмма SDD
сведение спецификации и кода
Шаг, на котором код сверяют со спецификацией, планом и задачами и закрывают расхождения: недоделанное — новыми задачами, ошибки в документах — правкой документов. В Spec Kit это команда /speckit.converge: она только дописывает задачи в tasks.md, пока не сообщит «Converged».
convergence (converge)программа SDD
сжатие контекста
Когда окно почти заполнено, агент заменяет старую часть истории сводкой. Это освобождает место, но детали — числа, отвергнутые варианты, договорённости — могут пропасть; поэтому важное хранят в файлах.
context compactionпрограмма SDD
синхронизация модели и кода в обе стороны
Попытка держать модель и сгенерированный из неё код согласованными при правках с обеих сторон. Главная боль model-driven development: ручные правки сгенерированного кода затирались следующей генерацией, а модель и код расходились.
round-trip engineeringпрограмма SDD
сиротский тест
Тест, который ссылается на сценарий или требование, которых в спецификации уже нет. Обычно признак дрейфа: спецификацию поменяли, а тест остался — или наоборот, код написали без спецификации.
orphan testпрограмма SDD
сканирование секретов
Автоматический поиск ключей, паролей и токенов в файлах и истории git — на коммите (хук pre-commit) и в CI. Примеры: gitleaks, встроенное сканирование секретов GitHub. Нашли секрет в репозитории — ключ отзывают и заменяют: из истории git он уже мог утечь.
secret scanningпрограмма SDD
слэш-команда
Команда, которую печатают в чате агента, начиная с косой черты: /speckit-plan, /opsx:propose. Агент находит соответствующий файл команды или навыка и выполняет записанную там инструкцию. Это не команда терминала. У разных агентов форма разная: в Codex вместо косой черты знак доллара.
slash commandпрограмма SDD
сначала спецификация (spec-first)
Первый уровень SDD по Биргитте Бёккелер: продуманную спецификацию пишут до кода и используют для текущей задачи. Что с ней будет после реализации, не оговаривается.
spec-firstпрограмма SDD
спецификация
Документ на естественном языке о том, что должна делать система и зачем: цель, требования, сценарии, границы. Описывает поведение, а не реализацию. В SDD — главный артефакт, из которого выводятся план, задачи и код.
specification (spec)программа SDD
спецификация как исходник (spec-as-source)
Третий уровень SDD по Бёккелер: человек правит только спецификацию, а код целиком генерируется из неё и вручную не редактируется.
spec-as-sourceпрограмма SDD
спецификация как якорь (spec-anchored)
Второй уровень SDD по Бёккелер: спецификацию сохраняют после реализации и развивают вместе с функцией — изменения сначала вносятся в спецификацию, потом в код.
spec-anchoredпрограмма SDD
сценарий «Дано / Когда / Тогда»
Структура примера поведения: исходное состояние (Дано), действие или событие (Когда), ожидаемый результат (Тогда). Пришла из BDD; язык Gherkin инструмента Cucumber понимает и русские ключевые слова: Сценарий, Дано, Когда, Тогда, И, Но.
Given / When / Then (Gherkin)программа SDD
технический план
Документ о том, как реализовать спецификацию: архитектура и границы модулей, стек с обоснованием, модель данных, контракты, принятые решения и риски. В Spec Kit это plan.md, в OpenSpec — design.md. Спецификация отвечает на вопросы «что и зачем», план — на вопрос «как».
technical plan, implementation planпрограмма SDD
трассируемость
Возможность пройти по ссылкам от требования к сценарию, задаче, тесту и коду и обратно. Держится на идентификаторах (REQ-001, SC-001, T-001) и позволяет автоматически найти требования без задач и задачи без требований.
traceabilityпрограмма SDD
требование
Одно проверяемое утверждение о том, что система должна делать (функциональное) или каким свойством обладать (нефункциональное). В спецификации у требования есть идентификатор, например REQ-001.
requirementпрограмма SDD
файл памяти проекта
Markdown-файл в репозитории, который агент сам читает в начале каждой сессии: команды сборки и тестов, правила, глоссарий, где лежат спецификации. Claude Code читает CLAUDE.md; открытый формат AGENTS.md понимают многие агенты.
project memory file (CLAUDE.md, AGENTS.md)программа SDD
хук агента
Команда, которую среда агента запускает сама на определённом событии: после правки файла, перед действием, перед концом ответа. Работает независимо от памяти модели. В Claude Code хуки задают в .claude/settings.json; код выхода 2 блокирует действие и показывает агенту причину.
agent hookпрограмма SDD
чек-лист спецификации
Список вопросов к качеству самих требований, а не к работе кода: полны ли они, однозначны, измеримы, согласованы. В документации Spec Kit их называют «юнит-тестами для ваших требований» (unit tests for your requirements); часть пунктов можно проверять скриптом.
specification checklistпрограмма SDD
Agent OS
Открытый набор команд (buildermethods/agent-os, MIT) для стандартов кода: найти их в кодовой базе, проиндексировать и подставлять агенту по ситуации. С версии 3 (январь 2026) сам спецификации не пишет, а дополняет режим планирования агента командой shape-spec.
Agent OS (Builder Methods)программа SDD
BMAD-METHOD
Открытый метод и набор навыков (bmad-code-org/BMAD-METHOD, MIT): агенты-роли аналитика, продакт-менеджера, архитектора, UX-дизайнера и разработчика, документы бриф, PRD, архитектура, спецификация, тикеты. Объём планирования подбирается под размер работы.
BMad Method (Agile AI Driven Development)программа SDD
cc-sdd
Открытый набор навыков (gotalab/cc-sdd, MIT), повторяющий процесс Kiro в других агентах: steering, затем requirements.md в нотации EARS, design.md и tasks.md в .kiro/specs/имя/, затем автономная реализация с отдельным ревьюером на каждую задачу.
cc-sddпрограмма SDD
EARS (шаблоны формулировок требований)
Несколько шаблонов предложения для требования: «Система должна …», «Когда <событие>, система должна …», «Пока <состояние>, …», «Если <нежелательное событие>, то …». Предложены Алистером Мавином и соавторами (Rolls-Royce, 2009).
Easy Approach to Requirements Syntaxпрограмма SDD
JSON Schema
Словарь для описания и проверки структуры JSON-документов: обязательные поля, типы, допустимые значения, форматы. Подходит для контрактов событий и сообщений между контекстами; на нём же основаны схемы данных в OpenAPI 3.1.
JSON Schemaпрограмма SDD
Kiro
Платформа агентной разработки Amazon: среда разработки, CLI, веб и мобильный клиент. Режим спецификаций ведёт фичу через требования, дизайн и задачи; steering-файлы хранят правила проекта. Исходный код продукта закрыт; публичный репозиторий kirodotdev/Kiro — трекер ошибок и идей.
Kiro (AWS)программа SDD
OpenAPI
Открытый стандарт машиночитаемого описания HTTP API в YAML или JSON: пути, параметры, тела запросов и ответов, коды ошибок. По описанию строят документацию, клиентов, серверные заготовки и тесты. Развивается OpenAPI Initiative (Linux Foundation).
OpenAPI Specification (OAS)программа SDD
OpenSpec
Открытый инструмент SDD (Fission-AI/OpenSpec, MIT, CLI openspec на Node.js). Актуальные спецификации лежат в openspec/specs/, каждая доработка — папка в openspec/changes/ с предложением, дельтами требований, дизайном и задачами; при архивировании дельты сливаются в specs/.
OpenSpecпрограмма SDD
Spec Kit
Открытый набор инструментов GitHub для SDD (github/spec-kit, MIT): CLI specify, шаблоны и скрипты в .specify/ и навыки агента speckit-* — конституция, specify, plan, tasks, implement, converge и проверки clarify, checklist, analyze. Каждая фича получает папку specs/00N-имя/.
GitHub Spec Kitпрограмма SDD
steering-файлы (управляющие документы проекта)
Термин Kiro: markdown-файлы с постоянным контекстом проекта — назначение продукта, стек и соглашения, структура кода. Агент учитывает их в каждой задаче. В cc-sdd лежат в .kiro/steering/ (по умолчанию product.md, tech.md, structure.md). Близкий аналог — CLAUDE.md и AGENTS.md.
steering filesпрограмма SDD
Tessl
Компания и платформа для «обучения» агентов контекстом: CLI tessl, реестр спецификаций с документацией библиотек, «тайлы» — пакеты навыков, правил и документов. В 2025 году исследовала уровень spec-as-source (по статье Бёккелер); на октябрь 2026 у неё есть открытый тайл spec-driven-development (MIT).
Tesslпрограмма SDD

Сленг китайского AI-сообщества

Эти слова постоянно встречаются на китайских площадках: в сообществе «Чжиху», в технических СМИ и в комментариях на Bilibili. Слова даны в русской транскрипции.

СловоДословноЗначение
ляньдань«выплавлять пилюлю бессмертия» (даосская алхимия)обучать нейросеть, особенно подбирая гиперпараметры наугад. «Ляньдань-ши» («мастер алхимии») — так в шутку называют ML-инженера.
тяоцань«подкручивать параметры»подбор гиперпараметров. «Тяоцань-ся» («рыцарь подкрутки») — тот, кто только и делает, что крутит гиперпараметры.
бай мо дачжань«война сотни моделей»период 2023–2024 гг., когда в Китае десятки компаний одновременно выпускали свои LLM.
таокэ«надеть оболочку»выдавать чужую модель (или API) за свою, обернув её интерфейсом.
шуабан«натирать рейтинг»подгонять модель под бенчмарки ради места в лидерборде.
ця боцзы«держать за горло»критическая зависимость от чужих технологий (например, от GPU под экспортными ограничениями).
лоди«приземлиться»довести технологию до реального применения в продукте.
цзюань«закручиваться» (от «нэйцзюань» — инволюция)изматывающая конкуренция. Например, «ценовая война моделей очень цзюань» — очень жёсткая.