Как читать статьи и следить за полем

Зачем это нужно

В прошлом уроке мы нарисовали карту фронтира на октябрь 2026 года. Через полгода она устареет: на arXiv в разделе cs.CL каждый день выходят сотни статей, а китайские лаборатории выпускают техотчёты чаще, чем раз в месяц. Ни один курс не успеет за полем. Успеть можете только вы — если научитесь трём вещам:

1. Быстро отсеивать. Из ста статей недели прочитать по-настоящему одну-две, а про остальные знать, о чём они.
2. Читать глубоко. Разобрать выбранную статью до формул и кода, как мы читали техотчёт DeepSeek-V3 в китайском треке.
3. Не верить на слово. Громкий заголовок «новый SOTA» и реальный вклад статьи — часто разные вещи.

Этот урок — о ремесле исследователя, которое пригодится вам и в выпускном проекте (ступень 10), и в работе.

Анатомия статьи

Из чего состоит

Почти любая статья по ML собрана по одному шаблону. Зная его, вы ищете ответы, а не читаете подряд.

Раздел	Что там	Какой вопрос он закрывает
Заголовок и аннотация (Abstract)	главное утверждение и 1–3 числа	«Что утверждают?»
Введение (Introduction)	мотивация и список вкладов (contributions) — часто маркированный	«Что нового?»
Связанные работы (Related Work)	с чем авторы себя сравнивают	«Откуда это выросло?»
Метод (Method)	формулы, алгоритм, архитектура	«Как это работает?»
Эксперименты (Experiments)	постановка, главные таблицы, абляции	«Работает ли — и почему?»
Ограничения (Limitations)	что не получилось или не проверено	«Где границы?»
Выводы, приложения (Appendix)	гиперпараметры, детали данных, доп. таблицы	«Можно ли повторить?»

Абляцииабляционный эксперимент, абляцияEN ablation studyУбрать или заменить один компонент и сравнить с полной моделью, чтобы измерить вклад этого компонента. — эксперименты, где по одной убирают части метода. Это самый ценный раздел для инженера: он показывает, какая деталь даёт эффект. Если абляций нет, вы не знаете, работает ли новая идея или просто модель обучили дольше.

Какие бывают тексты

• ПрепринтпрепринтEN preprintстатья, выложенная до (или без) рецензирования, — например, на arXiv на arXiv — статья, выложенная без рецензированиярецензированиеEN peer review. arXiv проверяет только формальное соответствие тематике. «Есть на arXiv» ≠ «проверено».
• Статья конференции (NeurIPS, ICML, ICLR, ACL) — прошла рецензирование. У ICLR рецензии публичны на OpenReview: читать их — отличный способ увидеть, к чему придираются эксперты.
• Техотчёттехнический отчёт (техотчёт)EN technical reportТак лаборатории описывают свои модели. Это не рецензируемая статья, хотя часть отчётов позже публикуют в журналах (DeepSeek-R1 — в Nature). лаборатории (DeepSeek-V3, Qwen3, Kimi K2) — без рецензии, часто 50+ страниц с десятками авторов. Описывает систему целиком и обычно сопровождается весами. Ценность огромная, но это ещё и маркетинговый документ: сравнения выбирают авторы.
• Блог-пост и тред в соцсетях — анонс. Числа в нём нужно искать в статье.

Метод трёх проходов

Кешав и Ли Му

Самый известный метод описал Сринивасан Кешав в двухстраничной заметке «How to Read a Paper» (2007). Почти тот же метод предлагает Ли Му, автор d2l, в первом выпуске своей серии «Подробное чтение статей»: сначала заголовок, аннотация и выводы, затем — бегло главные рисунки и таблицы, и только потом всё подробно. Два опытных исследователя из разных научных традиций советуют одно и то же — хороший знак, что схема работает.

flowchart TD
P1["Проход 1 · 5–10 минут<br/>заголовок, аннотация, введение,<br/>заголовки разделов, выводы"] --> D1{"Стоит ли читать дальше?"}
D1 -->|"нет"| J["Запись в журнал: 1–2 строки"]
D1 -->|"да"| P2["Проход 2 · до часа<br/>весь текст без доказательств,<br/>рисунки, таблицы, оси, разбросы"]
P2 --> D2{"Нужно ли мне это в деталях?"}
D2 -->|"нет"| J
D2 -->|"да"| P3["Проход 3 · часы<br/>мысленно переизобрести статью,<br/>проверить допущения, сверить с кодом"]
P3 --> J

Три прохода: на каждом шаге можно остановиться

Само чтение в три проходачтение в три проходаEN three-pass approach устроено так:

Проход 1 — «с высоты птичьего полёта» (5–10 минут). Прочитайте заголовок, аннотацию и введение, пробегите заголовки разделов, прочитайте выводы, бегло просмотрите список литературы. Формулы пропустите. Ли Му советует уже здесь взглянуть на главные рисунки и таблицы — в ML-статьях в них часто весь результат. На 50-страничный техотчёт первый проход занимает больше, минут 15–20. После прохода вы должны ответить на «пять C» Кешава:

• Category — что это за статья: новый метод, анализ существующего, бенчмарк, техотчёт системы?
• Context — на какие работы она опирается, с какими спорит?
• Correctness — выглядят ли допущения правдоподобно?
• Contributions — в чём главный вклад (одной фразой)?
• Clarity — хорошо ли написано?

Для большинства статей на этом чтение заканчивается — и это нормально.

Проход 2 — «содержание без деталей» (до часа). Прочитайте всё, кроме доказательств. Особое внимание — рисункам: подписаны ли оси, есть ли разброс (error bars — «усы» вокруг точки, показывающие разброс между запусками), с чем сравнивают. Отметьте незнакомые ссылки — их стоит прочитать позже. После прохода вы можете пересказать статью другу с аргументами.

Проход 3 — «переизобрести» (часы). Представьте, что вы автор: как бы вы решили задачу? Проверяйте каждое допущение, пересчитывайте числа, ищите, что не сказано. Кешав оценивает этот проход в 4–5 часов для новичка и около часа для опытного читателя. Для ML-статьи лучший третий проход — реализовать ключевую идею в маленьком масштабе, как мы делали весь курс («сначала руками, потом фреймворк»). Как довести такую реализацию до честного воспроизведения статьи — паспорт постановки, сравнение чисел и отчёт о расхождениях — в уроке 11.4.1.

Вы уже так читали

Если вы прошли урок «Читаем техотчёт DeepSeek-V3 вместе» из китайского трека, то уже читали 50-страничный документ в три прохода и пересчитывали его ключевые числа. Возьмите оттуда журнал из трёх колонок: утверждение → чем подкреплено → как я это проверил.

Как читать формулы и таблицы

• Каждую формулу переводите в код или в предложение (урок 1.0.3 «Как читать формулы»). Не получается — это и есть место, которое вы не поняли.
• В таблице результатов сначала найдите жирные числа (лучшие), потом посмотрите, против кого они лучшие и на сколько. Разница меньше разброса — не разница.
• Ищите, что из таблицы выпало: популярный бенчмарк, сильный конкурент того же размера, затраты вычислений.

Где следить за полем

Международные источники

• arXiv — первоисточник. Нужные разделы: cs.CL (языковые модели), cs.LG (обучение), cs.CV (зрение), cs.AI. Новые статьи раздела — arxiv.org/list/cs.CL/new. Номер вида 2606.19348 читается как «2026 год, июнь, статья № 19348»; суффикс v2 — новая версия (иногда с важными исправлениями).
• Hugging Face Papers (huggingface.co/papers) — ежедневная подборка с голосами сообщества; у статьи сразу видны связанные модели, датасеты и демо. Хороший фильтр шума.
• alphaxiv — обсуждения статей прямо поверх текста. Лайфхак: в ссылке замените arxiv на alphaxiv — arxiv.org/abs/2607.24653 превращается в alphaxiv.org/abs/2607.24653.
• GitHub и Hugging Face лабораторий — deepseek-ai, QwenLM, MoonshotAI, zai-org (бывший THUDM), MiniMax-AI: README и config.json часто точнее пересказов.

Китайские источники

Карта китайских сайтов и поисковые формулы («интерпретация», «принцип», «подробное объяснение») — в уроке «Как читать китайские технические источники». Здесь — как ими пользоваться именно для слежения за фронтиром:

Источник	Скорость	Глубина	Зачем
«Цзици чжи синь» (Synced, jiqizhixin.com)	часы–дни	средняя	узнать о релизе китайской лаборатории первым; часто с интервью и деталями
«Лянцзывэй» (QbitAI, qbitai.com)	часы	низкая	быстрые новости; оценки и громкие заголовки — делите на два
Чжиху (Zhihu, zhihu.com)	дни	от нулевой до очень высокой	разборы от инженеров, иногда — от авторов статьи; смотрите профиль автора
«Научное пространство» (kexue.fm)	недели	очень высокая	математика статей от Су Цзяньлиня: вывод, проверка, собственные эксперименты
WeChat-аккаунты лабораторий	часы	первоисточник	официальные анонсы DeepSeek, Qwen, Kimi, Zhipu часто выходят здесь раньше блога

Режим, который можно выдержать

Не пытайтесь читать всё. Рабочий ритм для вечернего самоучки:

• ежедневно 10–15 минут — пролистать HF Papers и заголовки «Цзици чжи синь», отметить 1–3 статьи (это ваша «отметка о занятиях»);
• раз в неделю — один второй проход по самой важной статье недели;
• раз в месяц — один третий проход с маленькой реализацией и запись в журнал.

Как проверять громкие заявления

Чек-лист

1. Что именно утверждается и где? Цитата из аннотации и пересказ в СМИ — разные вещи. Классика: «DeepSeek-V3 обучили за 5.6 млн долл.» — в статье речь только о стоимости финального прогона в арендных GPU-часах (разбирали в китайском треке).
2. С чем сравнивают? Сильные ли базлайныбазовое решение, бейзлайнEN baselineПростейшая модель (среднее, самый частый класс), с которой сравнивают всё остальное.? Равны ли бюджеты — параметры, FLOPs, данные? Хороший пример честности — Engram из прошлого урока: сравнение с MoE при равных параметрах и FLOPs.
3. Хватает ли статистики? Сколько примеров в бенчмарке, сколько сидов, есть ли разброс? (Посчитаем ниже.)
4. Нет ли контаминациизагрязнение данных (утечка бенчмарка в обучение)EN data contaminationЗадачи из тестового бенчмарка попали в обучающий корпус LLM — оценка становится завышенной. Родственное явление — «шуабан», подгонка модели под лидерборд.? Не было ли тестовых задач в обучающих данных (урок 7.3.1)? Свежие бенчмарки, вышедшие после даты обучения модели, честнее.
5. Есть ли абляции? Работает ли именно новая идея, или всё объясняет больший бюджет?
6. Можно ли повторить? Есть ли код, веса, гиперпараметры?
7. Кто проверил независимо? Ищите статьи-ответы: на alphaxiv, HF Papers, Чжиху и по цитированиям.

Два кейса из нашего курса

«Aha moment» в R1-Zero. Статья DeepSeek-R1 описала, как в ходе чистого RL модель «сама» начинает перепроверять себя (урок 6.4.2). Исследователи Sea AI Lab в статье «Understanding R1-Zero-Like Training: A Critical Perspective» проверили базовые модели до RL и обнаружили, что DeepSeek-V3-Base уже демонстрирует такие «озарения», а базовые Qwen2.5 хорошо рассуждают даже без шаблона промпта. Вывод: часть эффекта приходит из претрейна, а RL его усиливает. Попутно они нашли смещение в формуле GRPO и предложили исправленный Dr. GRPO.

«Оптическое сжатие контекста». DeepSeek-OCR показала высокую точность OCR при сжатии около 10× (урок 9.1.1). Группа из UC San Diego спросила: «а если сжимать текст без картинки?» — и выяснила, что усреднение соседних эмбеддингов не хуже визуального энкодера при той же степени сжатия. Урок: самый сильный аргумент против новой идеи — простой базлайн, который авторы не проверили.

В обоих случаях исходные статьи не «опровергнуты»: R1 остаётся вехой, DeepSeek-OCR — сильной OCR-моделью. Уточнились выводы, которые из них можно делать. Это нормальная работа науки.

Статистика бенчмарков: быстрая проверка

Инструменты вы уже знаете из модуля 7.3 (а их статистическую основу — из урока 1.3.4). В уроке 7.3.1 — доверительный интервалдоверительный интервалEN confidence intervalДиапазон вокруг измеренного значения метрики, построенный так, что при многократном повторении эксперимента он накрывает истинное значение с заданной частотой (обычно 95%). Для доли верных ответов ≈ p ± 1.96·√(p(1−p)/n). точности $p \pm 1.96\sqrt{p(1-p)/n}$ и таблица интервалов для популярных бенчмарков. В уроке 7.3.2 — парный бутстрэпбутстрэп (выборка с возвращением)EN bootstrap samplingОснова бэггинга (bagging) и случайного леса. для сравнения двух моделей на одних и тех же вопросах. Здесь применим их к чтению статей. Напомним масштаб при точности около 70%:

Бенчмарк	Вопросов	Один вопрос	±95% интервал
AIME 2024	30	3.33 п.п.	±16.4 п.п.
HumanEval	164	0.61 п.п.	±7.0 п.п.
GPQA Diamond	198	0.51 п.п.	±6.4 п.п.
MMLU	14 042	0.01 п.п.	±0.8 п.п.

«Наша модель лучше на 3 п.п. на AIME» — это одна задача из 30. На MMLU те же 3 п.п. значимы. Поэтому на маленьких бенчмарках лаборатории усредняют несколько прогонов (avg@k) — это убирает шум сэмплирования, но не маленький размер самого набора задач.

Новый для нас вопрос — как выглядит «победа» на пустом месте. Смоделируем две модели одинаковой силы и посмотрим, какую разницу даст случай и что на это скажет парный бутстрэп.

import numpy as np

rng = np.random.default_rng(2)
n = 198                                   # размер GPQA Diamond
# Симулируем ответы двух моделей, у которых ИСТИННАЯ точность одинакова — 70%
skill = rng.random(n)                     # «сложность» каждого вопроса
a = (rng.random(n) < 0.7 + 0.2 * (skill - 0.5)).astype(int)
b = (rng.random(n) < 0.7 + 0.2 * (skill - 0.5)).astype(int)
print(f"модель A: {a.mean():.1%}   модель B: {b.mean():.1%}   разница {100 * (a.mean() - b.mean()):+.1f} п.п.")

# Парный бутстрэп: пересэмплируем вопросы и смотрим, как часто A лучше B
wins = 0
for _ in range(10_000):
    idx = rng.integers(0, n, n)           # n случайных номеров вопросов С ПОВТОРАМИ — «новый» бенчмарк того же размера
    wins += a[idx].mean() > b[idx].mean()
print(f"A лучше B в {wins / 100:.1f}% бутстрэп-выборок")

модель A: 72.7%   модель B: 67.7%   разница +5.1 п.п.
A лучше B в 85.0% бутстрэп-выборок

Модели одинаковые, а таблица показала бы «+5 п.п., новый SOTASOTA (лучший известный результат)EN state of the art (SOTA)в китайских текстах обычно пишут просто «SOTA» или «обновить SOTA»». Бутстрэп честнее: A лучше B лишь в 85% пересэмплированных выборок — меньше принятых 95%, то есть различие статистически не подтверждено. Когда в статье нет ни разброса, ни числа прогонов, мысленно добавляйте к каждому числу «± несколько пунктов».

Журнал фронтира

Шаблон записи

Журнал — это ваша «тетрадь ошибок» для чтения: место, куда попадает каждое прочитанное утверждение, чтобы через месяц его можно было перепроверить. Простого Markdown-файла frontier.md достаточно:

## 2026-10-03 · Engram (arXiv:2601.07372) · проход 2

- Утверждение: условная память (хешированные n-граммы, O(1)) — «вторая ось разреженности»;
  при равных параметрах и FLOPs лучше MoE: MMLU +3.4, CMMLU +4.0, BBH +5.0.
- Чем подкреплено: сравнение iso-param/iso-FLOPs (при равных параметрах и вычислениях), U-образная кривая распределения параметров.
- Как я проверил: собрал игрушечную хеш-таблицу (урок 9.2.1); код — github.com/deepseek-ai/Engram.
- Что смущает: независимых воспроизведений пока мало; в V4, по обзорам, Engram нет — почему?
- Уверенность: 3/5.
- Попробовать: биграммная таблица в nanoGPT на задаче «столица X — Y».
- Пересмотреть: 2026-11-03.

Поле «Пересмотреть» — это спиральное повторение: раз в месяц пройдитесь по записям и отметьте, что подтвердилось (повторили другие лаборатории, вошло в модели), а что тихо исчезло. Через полгода у вас будет собственная, проверенная вами карта фронтира — лучше любого обзора.

Автоматизируем первый проход

У arXiv есть официальный API: он возвращает свежие статьи по запросу в формате Atom (XML). XML — текстовый формат с вложенными тегами вида <entry><title>…</title></entry>, похожий на HTML; в Python его разбирает стандартный модуль xml.etree.ElementTree. Небольшой скрипт выводит список для ежедневного просмотра:

import urllib.parse
import urllib.request
import xml.etree.ElementTree as ET

# У тегов Atom есть «пространство имён» — приставка в фигурных скобках; без неё find() их не найдёт
ATOM = "{http://www.w3.org/2005/Atom}"

def arxiv_url(query, n=5):
    """Ссылка на официальный API arXiv: свежие статьи по запросу, новые — первыми."""
    params = {"search_query": query, "sortBy": "submittedDate", "sortOrder": "descending", "max_results": n}
    # urlencode превращает словарь в строку параметров адреса: search_query=...&sortBy=... (пробелы и кавычки кодируются)
    return "https://export.arxiv.org/api/query?" + urllib.parse.urlencode(params)

def parse_feed(xml_text):
    """Atom-ленту arXiv → список (дата, id, заголовок)."""
    root = ET.fromstring(xml_text)                 # корневой тег ленты
    out = []
    for e in root.findall(ATOM + "entry"):         # каждая <entry> — одна статья
        arxiv_id = e.find(ATOM + "id").text.rsplit("/abs/", 1)[-1]
        title = " ".join(e.find(ATOM + "title").text.split())   # убираем переносы строк
        out.append((e.find(ATOM + "published").text[:10], arxiv_id, title))
    return out

if __name__ == "__main__":
    url = arxiv_url('cat:cs.CL AND abs:"sparse attention"')
    with urllib.request.urlopen(url, timeout=30) as r:
        for date, arxiv_id, title in parse_feed(r.read()):
            print(date, arxiv_id, title[:70])

Скрипту нужен интернет, а вывод зависит от дня: пять строк вида дата номер заголовок, самые свежие сверху. Запрос строится из полей cat: (раздел), abs: (слова в аннотации), ti: (в заголовке) и au: (автор), соединённых AND/OR. Не делайте запросы чаще раза в несколько секунд — у API есть ограничения. Следующий шаг — сохранять номера уже виденных статей в файл и показывать только новые.

🖥 На вашей машине (4×GPU)

Пункт 6 чек-листа «Можно ли повторить?» на вашей машине — не теория. Воспроизведите строку из таблицы статьи DeepSeek-R1: R1-Distill-Qwen-1.5B, MATH-500 pass@1 = 83.9 (таблица в уроке 6.4.4).

# Четыре копии модели — по одной на карту — за одним адресом (параллелизм по данным)
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --data-parallel-size 4 \
    --max-model-len 32768 --port 8000

Протокол возьмите из статьи и README модели, иначе сравнение нечестное: temperature 0.6, top-p 0.95, до 32 768 токенов на ответ, несколько сэмплов на задачу (pass@1 — среднее по ним). Системного промпта нет, а в конец задачи добавляется Please reason step by step, and put your final answer within \boxed{}. Задачи — датасет HuggingFaceH4/MATH-500 (500 штук). Ответ ищите в последнем \boxed{…} и сравнивайте с полем answer после нормализации: дроби и LaTeX пишутся по-разному, поможет библиотека math-verify от Hugging Face, а спорные случаи проверьте глазами.

Что получится и как это читать. Для $n = 500$ и $p \approx 0.84$ полуширина 95% интервала — $1.96\sqrt{0.84 \cdot 0.16 / 500} \approx 3.2$ п.п. Если у вас вышло 81 или 86 — это не «не воспроизвелось», а шум. Затем поменяйте протокол — жадное декодирование (temperature 0) или лимит в 4096 токенов — и посмотрите, на сколько пунктов «просядет» модель. Вот почему «число без протокола ничего не значит» (урок 7.3.1).

Время и память (оценка). Модель 1.5B занимает ~3.5 ГБ, остальное уходит под KV-кэш на сотни параллельных рассуждений. Ответы R1-Distill длиной в тысячи токенов, поэтому 500 задач × 4 сэмпла — это миллионы токенов: на четырёх картах от десятков минут до часа. На CPU с его десятками токенов в секунду тот же прогон занял бы дни. Для 7B (~15 ГБ в BF16) закладывайте в несколько раз больше.

Бонус: первый проход силами локальной модели. Скормите заголовки и аннотации из скрипта выше Qwen3-32B-AWQ на двух картах (команда — в уроке 8.1.1) с просьбой: «2 строки сути, главное число, что проверить». Решение «читать дальше или нет» оставьте себе: модель тоже может пересказать аннотацию с ошибкой. Подробнее о машине — на странице «Ваша лаборатория».

Китайский угол: «Подробное чтение статей» и культура разборов

Ли Му — соавтор d2l, много лет работавший исследователем в Amazon, — с 2021 года выпускает серию «Подробное чтение статей» (разборы по абзацам): Transformer, BERT, GPT, CLIP, ViT и другие ключевые работы разобраны вслух, часто страница за страницей. Индекс видео — в репозитории mli/paper-reading (около 34 тыс. звёзд). Первый выпуск, «Как читать статьи», — та же схема трёх проходов, что у Кешава. Серию стоит смотреть ради манеры: как опытный исследователь задаёт вопросы к каждой таблице.

Су Цзяньлинь в блоге «Научное пространство» показывает третий проход в чистом виде: берёт свежую статью, заново выводит её формулы, находит упрощения и ставит свои эксперименты. Его посты о RoPE и о диффузии (уроки 4.5 и 9.1.2) — эталон.

Китайская экосистема в целом устроена так: техотчёты лабораторий выходят на английском на arXiv, а разборы на китайском появляются на Чжиху, в «Цзици чжи синь» и в WeChat-аккаунтах в первые дни. Часто их пишут сами участники проекта — и в них бывают детали, которых нет в статье. Читать их с машинным переводом и глоссарием курса — ваше конкурентное преимущество перед теми, кто следит только за англоязычным полем.

Проверь себя

Проверь себя6 вопросов·

1 Вы прочитали заголовок, аннотацию, введение, заголовки разделов, выводы и посмотрели рисунки. Какой это проход и какой вопрос он должен закрыть?

Третий: можно ли повторить результатПервый: стоит ли статья дальнейшего чтения («пять C»)Второй: правильны ли доказательства

2 Модель A набрала на AIME 2024 (30 задач) 73.3%, модель B — 70.0%. Сколько задач составляет эта разница?

3 Какие признаки должны насторожить в статье с «новым SOTA»?Можно выбрать несколько ответов

Нет абляций: неясно, какая часть метода даёт эффектБазлайны обучены с меньшим бюджетом вычислений, чем новая модельРезультаты на маленьком бенчмарке без разброса по сидамКод и веса выложены на GitHubСравнение проведено при равных параметрах и FLOPs

4 Что показала статья Sea AI Lab о R1-Zero-подобном обучении?

Что RL вообще не улучшает рассужденияЧто «озарения» с самопроверкой встречаются уже в базовой модели DeepSeek-V3-Base до RL — часть эффекта приходит из претрейнаЧто GRPO нельзя применять к моделям QwenЧто статья DeepSeek-R1 содержит ошибки в числах

5 Как по номеру 2606.19348 понять, когда статья появилась на arXiv?

2026 год, июнь26 июняЭто порядковый номер, дату по нему не узнать19 марта 2026 года

6 Парный бутстрэп показал, что модель A лучше B в 85% пересэмплированных выборок. Какой вывод правильный?

A точно лучше B на 85%Различие не подтверждено на принятом уровне 95%: возможно, модели одинаковыB лучше AБутстрэп нельзя применять к бенчмаркам

Проверить ответы

Итоги

• Статью читают в три прохода: 5–10 минут на решение «читать ли», до часа на содержание, часы на «переизобретение» и проверку. Большинство статей заканчиваются на первом проходе — и это правильно.
• Следить за полем помогают arXiv, HF Papers и alphaxiv, а китайские релизы раньше всех разбирают «Цзици чжи синь», «Лянцзывэй» и Чжиху; глубже всех — «Научное пространство».
• Громкое заявление проверяют вопросами: что именно утверждается, против каких базлайнов и при каком бюджете, хватает ли статистики, нет ли контаминации, есть ли абляции и независимые проверки. Самый сильный аргумент — простой базлайн.
• На маленьких бенчмарках разница в несколько пунктов — шум: считайте интервал и делайте бутстрэп.
• Журнал фронтира с полем «пересмотреть» превращает чтение в спиральную программу.

Дальше: модуль 9.3 об интерпретируемости, безопасности и этике, начиная с урока 9.3.1 «Заглядываем внутрь трансформера». Метод трёх проходов сразу пригодится: интерактивные статьи Anthropic о схемах внутри трансформера — лучший материал для третьего прохода.