Transformer Circuits: «Toy Models of Superposition» — конспект

Было бы очень удобно, если бы каждый нейрон отвечал за одно понятное свойство входа: «красный цвет», «кривая влево», «нос собаки». Иногда так и есть, но в языковых моделях чистые нейроны — редкость: большинство полисемантичны, реагируют на смесь несвязанных вещей. Эта статья объясняет почему. На крошечных ReLU-сетях и синтетических данных авторы показывают, что сеть может хранить больше признаков, чем у неё измерений, — это и называется суперпозицией. Плата за это — «помехи» между признаками, которые приходится отфильтровывать нелинейностью.

О лицензии и формате конспекта

Тексты transformer-circuits.pub не под открытой лицензией — здесь пересказ своими словами с нашими числовыми примерами. Часть рисунков статьи можно воспроизвести ноутбуком из репозитория anthropics/toy-models-of-superposition.

Коротко

• Признаки — направления. Гипотеза линейного представления: активации раскладываются на независимые признаки (decomposability), и каждый признак — направление в пространстве активаций (linearity).
• Суперпозиция реальна. Линейная модель хранит только $m$ самых важных признаков (как PCA). Стоит добавить ReLU на выходе и сделать признаки разреженными — модель начинает хранить больше признаков в почти ортогональных направлениях.
• Это фазовый переход: в зависимости от разреженности и важности признак либо не выучивается, либо хранится в суперпозиции, либо получает собственное измерение — и границы между режимами резкие.
• Геометрия: признаки складываются в правильные фигуры — антиподальные пары, треугольники, пятиугольники, тетраэдры, квадратные антипризмы (решения задачи Томсона из химии).
• Вычисления в суперпозиции возможны: модель умеет считать модуль числа $|x|$ для признаков, хранящихся в суперпозиции.
• Решить суперпозицию — значит научиться перечислять все признаки модели. Три пути: модели без суперпозиции, поиск переполненного базиса (словарное обучение) и гибриды. Второй путь привёл к Towards Monosemanticity.

Как читать вместе с курсом

• Вместе с уроком 9.3.2 «Суперпозиция и разреженные автоэнкодеры»: в уроке есть та же игрушечная модель «5 признаков в 2 измерениях», которую можно обучить в браузере, — статья даёт теорию, фазовые диаграммы и геометрию.
• Что нужно знать. ReLU, MSE, скалярное произведение и ортогональность (ступени 1–3), остаточный поток и «привилегированный базис» из конспекта Mathematical Framework.
• Что пропустить новичку. Аналитический вывод через результаты Saxe и соавт., раздел о неравномерной суперпозиции и «асимметричный мотив». Самое важное — разделы 1–3 и «Стратегическая картина».

Признаки, направления и суперпозиция

Что считать признаком

Авторы перечисляют наблюдения, на которых строится теория: арифметика эмбеддингов слов («король − мужчина + женщина ≈ королева»), интерпретируемые направления в латентных пространствах GAN, интерпретируемые нейроны (детекторы кривых в InceptionV1), универсальность (похожие нейроны в разных сетях) — и одновременно полисемантичные нейроны.

Дать признаку строгое определение трудно. Три рабочих варианта: (1) любая функция входа — слишком широко; (2) понятное человеку свойство — слишком узко (AlphaFold может найти важную структуру, которую мы не понимаем); (3) свойство, под которое достаточно большая сеть выделила бы отдельный нейрон. Авторы пишут статью с третьим определением в голове, но предостерегают от преждевременной привязки к любому.

Признаки как направления

Представление линейно, если признаку $f_i$ соответствует направление $W_i$, а набор активных признаков со значениями $x_{f_1}, x_{f_2}, \dots$ представлен суммой $x_{f_1} W_{f_1} + x_{f_2} W_{f_2} + \dots$ Сами признаки могут быть сколь угодно нелинейными функциями входа — линейно только отображение «признаки → вектор активаций». Почему сети любят линейные представления: это естественный выход «сопоставления с шаблоном»; линейно представленный признак следующий слой может «выбрать» одним нейроном; и это статистически эффективно.

Привилегированный базис

В эмбеддингах слов нет смысла смотреть на отдельные координаты: применив случайное обратимое преобразование $M$ к эмбеддингу и $M^{-1}$ к следующим весам, получим ту же модель с совсем другими координатами — базис не привилегирован. А там, где после линейного слоя стоит поэлементная нелинейность (ReLU в MLP, свёрточные нейроны), симметрия нарушена: координаты особые, их и называют нейронами. Только в привилегированном базисе вообще имеет смысл спрашивать, интерпретируем ли нейрон. (Остаточный поток трансформера — пример непривилегированного базиса.)

Гипотеза суперпозиции

Сеть «хочет» представить больше признаков, чем у неё нейронов, и пользуется двумя свойствами высоких размерностей:

• почти ортогональные векторы: строго ортогональных векторов в $n$-мерном пространстве не больше $n$, а «почти ортогональных» (с косинусом меньше $\varepsilon$) — экспоненциально много (лемма Джонсона — Линденштраусса);
• сжатое зондирование (compressed sensing): проекцию вектора в меньшую размерность обычно нельзя обратить, но если исходный вектор разреженный, восстановление часто возможно.

Цена — помехи (interference): раз признаки лишь почти ортогональны, активный признак выглядит как слабая активность других. Но при сильной разреженности признаки редко активны одновременно, а нелинейность отсекает слабый шум. Получается, что маленькая сеть «шумно моделирует» большую разреженную сеть.

Иерархия свойств представлений, от общих к редким: разложимость → линейность → отсутствие суперпозиции (матрица $W^\top W$ обратима) → выровненность по базису (каждый $W_i$ — единичный вектор одного нейрона).

Демонстрация: игрушечная модель

Постановка

Представим «идеальную» большую модель, где каждый признак — свой нейрон, и вектор её активаций $x \in \mathbb{R}^n$. Синтетические данные отражают три предположения: признаки разреженные (каждый $x_i = 0$ с вероятностью $S$, иначе равномерно из $[0, 1]$), признаков больше, чем нейронов, и они различаются по важности $I_i$ (множитель в функции потерь). Модель сжимает $x$ в $h \in \mathbb{R}^m$ ($m < n$) и восстанавливает:

Линейная модель	Модель с ReLU на выходе
$h = Wx$, $\;x' = W^\top h + b$	$h = Wx$, $\;x' = \operatorname{ReLU}(W^\top h + b)$

Потери — взвешенная по важности среднеквадратичная ошибка $L = \sum_x \sum_i I_i (x_i - x'_i)^2$. Отличие моделей — только ReLU в конце, и оно решает всё.

Результат

Модель с $n = 20$ признаками и $m = 5$ измерениями, важности $I_i = 0{,}7^i$. Линейная модель при любой разреженности выучивает 5 самых важных признаков, как метод главных компонент. Модель с ReLU на плотных данных ведёт себя так же, но с ростом разреженности хранит всё больше признаков в неортогональных направлениях — начиная с наименее важных; сначала в антиподальных парах (вектор одного признака — ровно минус вектор другого), затем в более сложных фигурах. Для $n = 80$, $m = 20$ картина та же в масштабе.

Пример на пальцах (наш)

Два признака, одно измерение, антиподальная пара: $W = [1, -1]$, смещение $b = 0$.

Вход $x$	$h = Wx$	$W^\top h$	$x' = \operatorname{ReLU}(W^\top h)$	Итог
$(0{,}8;\ 0)$	$0{,}8$	$(0{,}8;\ -0{,}8)$	$(0{,}8;\ 0)$	точно
$(0;\ 0{,}5)$	$-0{,}5$	$(-0{,}5;\ 0{,}5)$	$(0;\ 0{,}5)$	точно
$(0{,}8;\ 0{,}5)$	$0{,}3$	$(0{,}3;\ -0{,}3)$	$(0{,}3;\ 0)$	ошибка

Словами: пока активен один признак, ReLU обрезает «отрицательную помеху», и одно число хранит два признака без потерь. Ошибка появляется, только когда оба активны одновременно. Если признаки разреженные (например, каждый активен в 5 % случаев), оба сразу активны лишь в 0,25 % случаев — выгода перевешивает.

Почему ReLU всё меняет

Анализ авторов сводится к балансу двух сил: польза признака (представил признак — снизил потери) и помехи (представил больше, чем помещается ортогонально, — получил штраф). У линейной модели помехи всегда перевешивают, поэтому суперпозиции нет. В модели с ReLU при высокой разреженности главную роль играют входы с одним активным признаком, а для них отрицательная помеха бесплатна (ReLU обнуляет её), и отрицательным смещением можно превратить слабую положительную помеху в отрицательную. Задача становится похожа на задачу Томсона из химии — как расставить одинаковые заряды на сфере, чтобы минимизировать энергию отталкивания.

Суперпозиция как фазовый переход

У признака три возможных судьбы: не выучен; выучен в суперпозиции; получил собственное измерение. Чтобы увидеть границы, авторы берут минимальные задачи — 2 признака в 1 измерении и 3 признака в 2 измерениях, — меняют важность «лишнего» признака (от 0,1 до 10) и разреженность, и строят фазовую диаграмму. Эмпирическая диаграмма совпала с теоретической («игрушечная модель игрушечной модели», где потери трёх решений — [1,0], [0,1], антиподальное [1,−1] — считаются в явном виде): разреженность необходима для суперпозиции, а оптимальная конфигурация меняется скачком. В теоретической модели это фазовый переход первого рода: производная оптимальных потерь терпит разрыв.

flowchart LR
A["Плотные признаки"] -->|"растёт разреженность"| B["Важный признак — своё измерение, лишний — не выучен"]
B -->|"ещё разреженнее"| C["Лишний признак в суперпозиции (антиподальная пара)"]
C -->|"признак очень важен"| D["Лишний признак получает своё измерение"]

Режимы для «лишнего» признака (наша упрощённая схема фазовой диаграммы)

Геометрия суперпозиции

Сколько измерений на признак

В модели с $n = 400$ одинаковыми признаками и $m = 30$ измерениями авторы считают «измерений на признак» $D^* = m / \lVert W \rVert_F^2$ (квадрат нормы Фробениуса примерно равен числу выученных признаков). Оказывается, график «залипает» на значениях 1 и ½: значение ½ соответствует антиподальным парам — по два признака на измерение; такие пары выгодны в широком диапазоне разреженности. Авторы сравнивают это с дробным квантовым эффектом Холла.

Для отдельного признака вводится размерность признака:

$$D_i = \frac{\lVert W_i \rVert^2}{\sum_j \bigl(\hat W_i \cdot W_j\bigr)^2} ,$$

Словами: числитель — насколько признак вообще представлен, знаменатель — сколько признаков «делят» его направление (проекции всех признаков на его единичный вектор $\hat W_i$). Пример: у признака из антиподальной пары $\lVert W_i \rVert^2 = 1$, а знаменатель $= 1^2 + (-1)^2 = 2$, значит $D_i = 1/2$; у невыученного $D_i = 0$; у признака с собственным измерением $D_i = 1$. Эмпирически при «плотной упаковке» размерности всех признаков в сумме дают число измерений.

Правильные многогранники

Размерности признаков группируются у дробей, и каждая дробь — своя фигура:

$D_i$	Фигура	Сколько признаков в скольких измерениях
1	своё измерение	1 в 1
¾	тетраэдр	4 в 3
⅔	треугольник	3 в 2
½	антиподальная пара (двуугольник)	2 в 1
⅖	пятиугольник	5 в 2
⅜	квадратная антипризма	8 в 3
0	не выучен	—

Это решения задачи Томсона. Многие из них — тегум-произведения (объединения фигур в ортогональных подпространствах) меньших фигур; между ортогональными «множителями» помех нет. Авторы честно предупреждают: такая геометрия «слишком красива, чтобы быть правдой», и, возможно, особенность именно игрушечной модели.

Дальше в статье: неравномерная суперпозиция (признаки разной важности или разреженности) — это деформация правильных фигур; коррелированные признаки модель предпочитает делать ортогональными (часто в «локальных почти ортогональных базисах»), а антикоррелированные — класть в антиподальные пары; при нехватке места коррелированные признаки «схлопываются» в их общее направление (как PCA).

Суперпозиция и динамика обучения

Самое поразительное наблюдение — «скачки энергетических уровней»: в ходе обучения размерности признаков перескакивают между дробными значениями, меняясь местами, и в эти моменты на кривой потерь видны внезапные спуски. Авторы подозревают, что гладкие кривые потерь больших моделей состоят из множества таких маленьких скачков (ср. с фазовым переходом индукционных голов в статье об обучении в контексте и с «грокингом»). Ещё одно наблюдение — обучение как последовательность геометрических преобразований: фигуры признаков переходят друг в друга.

Связь с adversarial-примерами

В модели без суперпозиции «сквозные» веса первого признака — $(1, 0, 0, \dots)$, а с суперпозицией — $(1, \varepsilon, -\varepsilon, \varepsilon, \dots)$. Эти $\varepsilon$ — артефакт помех и готовая лазейка для атаки на самый важный признак, причём даже при бесконечных данных. Эксперимент: уязвимость к L2-атакам резко растёт (более чем втрое), когда формируется суперпозиция, и следует за числом признаков на измерение.

Суперпозиция в привилегированном базисе

Чтобы приблизиться к настоящим MLP, авторы добавляют ReLU и в скрытый слой: $h = \operatorname{ReLU}(Wx)$. Теперь $W$ можно читать напрямую — это отображение «признаки → нейроны». Наблюдения на модели с 10 признаками и 5 нейронами: многие нейроны просто выделены под один признак (моносемантичны); с ростом разреженности появляются полисемантичные нейроны, причём оба вида могут быть в одной модели, а переход похож на фазовый. Это объясняет, почему методы, смотрящие на отдельные нейроны (ранние работы Circuits по зрению), иногда работают.

Вычисления в суперпозиции

Хранить признаки в суперпозиции — одно, а считать — другое. Модель $h = \operatorname{ReLU}(W_1 x)$, $y' = \operatorname{ReLU}(W_2 h + b)$ учат вычислять $|x|$ для каждого признака ($x_i \in [-1, 1]$). Без суперпозиции модуль считается двумя нейронами: $|x| = \operatorname{ReLU}(x) + \operatorname{ReLU}(-x)$. Оказалось, что при разреженных признаках модель вычисляет модуль и для признаков, которых больше, чем пар нейронов, — то есть вычисляет в суперпозиции. В одной из моделей найден «мотив асимметричной суперпозиции»: один нейрон хранит два признака с разными весами (например, $[2, -\tfrac12]$ на входе и обратные $[\tfrac12, 2]$ на выходе), а второй нейрон подавляет признак в случаях, где помеха была бы положительной, — превращая опасную положительную помеху в безобидную отрицательную.

Из этого авторы выводят смелую гипотезу: наблюдаемые нейросети, возможно, «шумно моделируют» гораздо бо́льшие и очень разреженные сети.

Стратегическая картина: зачем «решать суперпозицию»

Хотелось бы когда-нибудь с уверенностью сказать, что модель никогда не будет, например, намеренно обманывать. Многообещающий инструмент для этого — умение перечислить все признаки модели («квантор всеобщности» над единицами вычисления). Без суперпозиции это просто перебор нейронов; с суперпозицией — нет. Любой способ перечислять признаки авторы называют «решением суперпозиции». Оно нужно и для разложения пространства активаций, и для описания активаций через чистые признаки, и для анализа весов (схем). Даже простые методы ломаются: например, косинусная близость к «примерам обмана» может срабатывать из-за помех.

Три пути:

Путь	Суть	Трудности
1. Модели без суперпозиции	в игрушечной модели достаточно L1-регуляризации активаций скрытого слоя ($\lambda \lVert h \rVert_1$ в потерях); для больших моделей авторы упоминают архитектуры, где число нейронов не привязано к FLOP, например смеси экспертов (MoE)	суперпозиция сильно помогает при фиксированном числе нейронов: модели знают даже людей, упоминаемых реже раза на миллион токенов, — избавиться от неё дорого по качеству
2. Переполненный базис	взять обычную модель и после обучения найти базис из большего числа направлений, чем измерений (задача разреженного кодирования, словарного обучения)	неизвестно, сколько признаков искать; «виртуальные нейроны» оторваны от архитектуры; огромная инженерная задача (матрица «миллионы нейронов × миллиарды токенов»); помехи уже «вшиты»
3. Гибриды	изменить модель так, чтобы второму этапу было проще найти переполненный базис	сочетает трудности обоих

Обнадёживает то, что суперпозиция и полисемантичность выглядят как фазы с резкими переходами: у модели может существовать режим совсем без них. История показала, что сработал второй путь: разреженные автоэнкодеры из Towards Monosemanticity — это именно поиск переполненного базиса.

Есть ли суперпозиция в настоящих моделях

Предсказания игрушечной модели согласуются с наблюдениями: полисемантичные нейроны существуют; в одном слое бывают и чистые, и полисемантичные; в InceptionV1 доля полисемантичных нейронов растёт с глубиной (признаки высокого уровня реже, то есть разреженнее); нейроны первого MLP-слоя трансформеров крайне полисемантичны (там различаются значения одного токена — «die» в английском, немецком, нидерландском и африкаанс — очень разреженные признаки). При этом авторы считают, что суперпозиция, моно- и полисемантичность и, возможно, связь с adversarial-примерами, вероятно, обобщаются, а геометрия и динамика обучения — гораздо менее надёжны.

Что сделать руками

1. Обучите игрушечную модель из урока 9.3.2 (5 признаков, 2 измерения) при разреженности $S = 0$, $0{,}7$, $0{,}9$, $0{,}97$ и нарисуйте столбцы $W$. При какой разреженности появляется пятиугольник?
2. Посчитайте размерность $D_i$ каждого признака по формуле выше. Совпадает ли сумма с числом измерений?
3. Повторите пример «2 признака в 1 измерении» с разреженностью 0,5 и 0,95: посчитайте долю входов, где оба признака активны, и ожидаемые потери антиподального решения.
4. Откройте ноутбук toy_models.ipynb из репозитория авторов и воспроизведите фазовую диаграмму для 2 признаков в 1 измерении (это быстро и на CPU).

Словарик

EN	RU
superposition	суперпозиция
polysemantic / monosemantic neuron	полисемантичный / моносемантичный нейрон
feature	признак
linear representation hypothesis	гипотеза линейного представления
decomposability	разложимость
privileged basis	привилегированный базис
sparsity	разреженность
feature importance	важность признака
interference	помехи (интерференция)
antipodal pair	антиподальная пара
feature dimensionality	размерность признака
Thomson problem	задача Томсона
compressed sensing	сжатое зондирование
overcomplete basis	переполненный (сверхполный) базис
sparse coding, dictionary learning	разреженное кодирование, словарное обучение
phase diagram	фазовая диаграмма