Ahead of AI: какие выпуски Рашки читать к урокам

На чём основана страница

Сайт рассылки закрыт для нашего инструмента проверки, а у текстов нет открытой лицензии. Поэтому здесь не пересказ выпусков, а проверенный список: названия и адреса взяты из ссылок, которые сам Рашка ставит в своих открытых репозиториях rasbt/LLMs-from-scratch и rasbt/reasoning-from-scratch, а описание «о чём выпуск» — из того, как он сам представляет его рядом с кодом. Содержание выпусков мы не домысливаем: открывайте и читайте оригинал.

Что это и для кого

«Ahead of AI» — рассылка Себастьяна Рашки, автора книги «Build a Large Language Model (From Scratch)» (в русском издании — «Строим LLM с нуля») и репозитория LLMs-from-scratch. Сильная сторона рассылки — разборы архитектур открытых LLM со схемами и сравнением по компонентам: DeepSeek, Qwen, Kimi, Gemma, gpt-oss и другие. Многие выпуски идут парой с бонусным кодом в LLMs-from-scratch: статья объясняет, ноутбук реализует.

Уровень — от 🟡 до 🔴: читать стоит после того, как соответствующий урок курса пройден и свой трансформер уже собран (ступень 4). Тогда выпуск читается как обзор того, «как это сделано у больших моделей».

Что читать к каким урокам

Выпуск	Как его описывает автор	Читать после урока	Код к нему
Understanding and Coding Self-Attention…	вводная статья о самовнимании для тех, кто с ним незнаком	4.4.2, 4.4.3	глава 3 книги (ch03)
Understanding and Coding the KV Cache in LLMs from Scratch	подробная версия README о KV-кэше	4.6.4	ch04/03_kv-cache
From GPT-2 to gpt-oss: Analyzing the Architectural Advances	подробный разбор архитектуры gpt-oss в сравнении с GPT-2	4.5.3	reasoning-from-scratch, глава F
The Big LLM Architecture Comparison: From DeepSeek-V3 to Kimi K2	сравнение архитектур современных открытых LLM	4.5.3, 5.2.2, 5.3.1	ch05/11_qwen3, 12_gemma3, 13_olmo3 и др.
Beyond Standard LLMs	раздел «(Linear) Attention Hybrids» — архитектура Qwen3-Next, на которой основан Qwen3.5	5.5.3	ch04/08_deltanet, ch05/16_qwen3.5
From DeepSeek V3 to V3.2: Architecture, Sparse Attention, and RL Updates	обзор DeepSeek Sparse Attention (DSA), на который опирается бонусный код	5.5.2	ch04/09_dsa
The State of Reinforcement Learning for LLM Reasoning	подробное сравнение PPO и GRPO бок о бок	6.4.1	reasoning-from-scratch, глава 6
Tips for LLM Pretraining and Evaluating Reward Models	раздел «RLHF vs Direct Preference Optimization (DPO)»	6.3.3	ch07/04_preference-tuning-with-dpo
Finetuning Large Language Models	эксперименты: дообучение не только выходного слоя, но и нескольких последних слоёв заметно улучшает качество	6.2.1	ch06 (классификация)
выпуск о весах Llama 2	на него автор ссылается, объясняя переход с float32 на bfloat16	5.4.1	ch05/10_llm-training-speed

Как читать

1. Сначала урок, потом выпуск. Например, после 4.5.3 «Современный блок» откройте «The Big LLM Architecture Comparison» и для каждой модели выпишите в таблицу: нормализация (Pre/Post, RMSNorm, QK-norm), позиции (RoPE и его параметры), внимание (MHA, GQA, MLA, скользящее окно), MLP или MoE (сколько экспертов, сколько активны). Такая таблица — лучший конспект.
2. Сразу открывайте код. У большинства выпусков есть ноутбук в LLMs-from-scratch (колонка «Код»): модели Qwen3, Gemma 3, Olmo 3 и другие собраны там с нуля на PyTorch. Ноутбук Olmo 3, по словам автора, требует около 13 ГБ оперативной памяти — на вашей машине это без проблем.
3. Отделяйте факты от мнений. Рашка часто сравнивает модели по их техническим отчётам и делится своими выводами; цифры качества сверяйте с первоисточником (техотчёт, карточка модели).
4. Следите за новыми выпусками к уроку 9.2.1 «Фронтир 2026»: рассылка — один из самых быстрых способов узнать, чем новая открытая модель отличается от предыдущих.

Бонусный код без статей

В главе 4 репозитория LLMs-from-scratch есть раздел «Attention Alternatives» — короткие введения с кодом в варианты внимания: GQA (04_gqa), MLA (05_mla), скользящее окно (06_swa), Gated DeltaNet как линейное внимание (08_deltanet), DeepSeek Sparse Attention (09_dsa) и общий KV-кэш между слоями (10_kv-sharing), плюс MoE (07_moe). Это готовая практика к модулям 5.2, 5.3 и 5.5 нашего курса — по ней удобно читать выпуски из таблицы.

Словарик

EN	RU
newsletter issue	выпуск рассылки
architecture comparison	сравнение архитектур
KV cache, KV sharing	KV-кэш, общий KV-кэш между слоями
grouped-query / multi-head latent attention	GQA / MLA
sliding window attention	внимание со скользящим окном
linear attention hybrid	гибрид с линейным вниманием
sparse attention (DSA)	разреженное внимание (DSA)
bfloat16	bfloat16 (16-битный формат «brain float»)