Интерактивная лаборатория

Здесь собраны интерактивные виджеты из уроков. Меняйте параметры и наблюдайте, как ведут себя алгоритмы.

Softmax, температура и сэмплирование

Как логиты превращаются в вероятности и как температура, top-k и top-p меняют выбор следующего токена (уроки 1.3 и 4.1).

Песочница: softmax и сэмплированиеинтерактив

КонтекстКарп прыгает через…

Температура 1.00top-k выклtop-p 1.00

ТокенЛогитВероятность%

Сэмплировать 20 разНажмите, чтобы вытянуть 20 токенов из этого распределения

Оптимизаторы

Почему SGD «скачет» в овраге, а Momentum и Adam проходят его быстрее (урок 1.4). Попробуйте увеличить скорость обучения, пока SGD не разойдётся.

Песочница оптимизаторовинтерактив

Скорость обучения Шагов

SGDMomentumβ=0.9Adamβ₁=0.9, β₂=0.999

старт★минимум

Кликните по карте, чтобы выбрать стартовую точку. Звёздочка — минимум функции.

BPE по шагам

Как токенизатор учится склеивать частые пары символов (урок 4.2). Вставьте свой текст на русском или китайском.

BPE по шагаминтерактив

Текст для обучения — вставьте свойнизкий нижний новый новейший низший нижнее новое новые низкие low lower newest widest модель модели модельный языковая языковой языковыеЧисло слияний

Разбиение на токеныодинаковые токены — одного цвета

Выученные слияния

Для наглядности алгоритм работает с символами Unicode, пробел показан как «▁», слияния не пересекают границы слов. Настоящие токенизаторы (GPT, Qwen, DeepSeek) работают с байтами UTF-8 — это мы реализуем в уроке и ДЗ.

Калькулятор KV-кэша

Сколько памяти занимает KV-кэш у реальных моделей и почему DeepSeek придумал MLA (уроки 4.6 и 5.2).

Калькулятор KV-кэшаинтерактив

Архитектура

СлоёвГолов запросаKV-головРазмер головыMLA: d_c (латент)MLA: d_rope

Нагрузка

Длина контекстаБатч (запросов)

Та же модель с разными схемами внимания (на токен)

MHA/GQA: на токен хранится 2 · слои · KV-головы · размер головы чисел (K и V). MLA (DeepSeek-V2/V3): на токен хранится только латент c_KV размера d_c и общий RoPE-ключ размера d_rope — (d_c + d_rope) · слои чисел.

Калькулятор стоимости обучения

Сколько стоит обучить модель: FLOPs ≈ 6·N·D, GPU-часы и деньги (урок 5.1). Пресет «как DeepSeek-V3» даёт около 2.8 млн GPU-часов — сравните с цифрой из техотчёта.

Калькулятор стоимости обученияинтерактив

Модель и данные

Активных параметров N, млрдТокенов D, млрд

Железо и цена

MFU (доля пиковой мощности), %Число GPUЦена GPU-часа, долл.

Оценка 6·N·D учитывает прямой и обратный проход по параметрам и не учитывает квадратичную часть внимания, неудачные запуски, эксперименты и данные — реальный бюджет проекта в разы больше одного финального прогона.