Distill: «Zoom In» — введение в цепи
Полный перевод вводного эссе Олы и коллег (Distill, 2020), с которого началась механистическая интерпретируемость: три гипотезы — признаки, цепи, универсальность, — детекторы кривых, полисемантичные нейроны, суперпозиция и интерпретируемость как естественная наука.
Zoom In: введение в цепи
Изучая связи между нейронами, мы можем найти в весах нейросетей осмысленные алгоритмы.
Заглавный рисунок (интерактивный): цепь, собирающая детектор автомобилей. Внизу — нейроны предыдущего слоя («окна», «кузов», «колёса»), стрелками показаны их связи с нейроном «автомобиль»; для каждой связи видно, в какой части окна свёртки она возбуждает нейрон: окна — сверху, колёса — снизу.
Эта статья входит в «ветку Circuits» (Circuits thread) — экспериментальный формат, собирающий приглашённые короткие статьи и критические комментарии о внутреннем устройстве нейросетей. Следующая статья ветки — «An Overview of Early Vision in InceptionV1».
Многие важные поворотные моменты в истории науки были моментами, когда наука «приближала изображение» (zoomed in). В такие моменты мы создаём визуализацию или инструмент, который позволяет увидеть мир с новым уровнем детализации, и вокруг изучения мира через эту линзу вырастает новая область науки.
Например, микроскопы позволили увидеть клетки, и появилась клеточная биология. Наука приблизила изображение. Ряд методов, включая рентгеновскую кристаллографию, позволил увидеть ДНК, и началась молекулярная революция. Наука приблизила изображение. Атомная теория. Субатомные частицы. Нейронаука. Наука приблизила изображение.
Эти переходы не были просто ростом точности: менялось качественно то, что вообще является объектом научного исследования. Например, клеточная биология — не просто более тщательная зоология. Это новый вид исследования, который резко меняет то, что мы способны понять.
Знаменитые примеры этого явления случались в очень большом масштабе, но бывает и скромнее: небольшое исследовательское сообщество понимает, что теперь может изучать свой предмет на более мелком уровне детализации.
Рисунок: страница «Микрографии» Гука (Hooke, 1665) — книга показала богатый микроскопический мир, видимый в микроскоп, включая первое открытие клеток. Изображения — из Национальной библиотеки Уэльса.
Как ранний микроскоп намекнул на новый мир клеток и микроорганизмов, так и визуализации искусственных нейросетей открыли дразнящие намёки и проблески богатого внутреннего мира наших моделей (например, Karpathy и др., 2015; Erhan и др., 2009; Olah и др., 2017; Simonyan и др., 2013; Nguyen и др., 2015; Mordvintsev и др., 2015; Nguyen и др., 2016; Zeiler и Fergus, 2014; Fong и Vedaldi, 2017; Kindermans и др., 2017; Reif и др., 2019; Carter и др., 2019). Это навело нас на мысль: не находится ли глубокое обучение в похожей, хотя и более скромной, поворотной точке?
Большинство работ по интерпретируемости стремятся дать простое объяснение поведения нейросети целиком. Но что, если вместо этого взять подход, вдохновлённый нейронаукой или клеточной биологией, — подход приближения? Что, если считать отдельные нейроны и даже отдельные веса достойными серьёзного исследования? Что, если мы готовы потратить тысячи часов, прослеживая каждый нейрон и его связи? Какая картина нейросетей тогда возникнет?
В отличие от привычного образа нейросети как чёрного ящика, нас удивило, насколько доступна для понимания сеть на этом масштабе. Мало того что нейроны выглядят понятными (даже те, что сначала казались непостижимыми), — ещё и «цепи» связей между ними оказываются осмысленными алгоритмами, соответствующими фактам о мире. Можно смотреть, как детектор окружностей собирается из кривых. Можно увидеть, как голова собаки собирается из глаз, носа, шерсти и языка. Можно наблюдать, как автомобиль складывается из колёс и окон. Можно даже найти цепи, реализующие простую логику: случаи, когда сеть вычисляет И, ИЛИ или исключающее ИЛИ над высокоуровневыми визуальными признаками.
Рисунок: картинка DeepDream. Подпись: «За последние несколько лет мы видели множество невероятных визуализаций и анализов (Mikolov и др., 2013; Radford и др., 2017; Zhou и др., 2014; Bau и др., 2017), намекающих на богатый мир внутренних признаков современных нейросетей. Выше — изображение DeepDream (Mordvintsev и др., 2015), вызвавшее в этой области большой ажиотаж».
Это вводное эссе даёт высокоуровневый обзор наших взглядов и некоторых рабочих принципов, которые оказались полезны в этом направлении исследований. В будущих статьях мы и наши соавторы опубликуем подробные исследования этого внутреннего мира.
Но правда в том, что мы лишь прикоснулись к пониманию одной-единственной модели зрения. Если эти вопросы вам близки, приглашаем присоединиться к нам и нашим соавторам в проекте Circuits — открытом научном сотрудничестве в Slack журнала Distill.
Три умозрительные гипотезы
Заголовок раздела «Три умозрительные гипотезы»Одна из самых ранних формулировок чего-то близкого к современной клеточной теории — три утверждения Теодора Шванна (вы, возможно, знаете его по шванновским клеткам), 1839 год.
Рисунок: обложка книги Шванна.
Утверждения Шванна о клетках
- Клетка — единица строения, физиологии и организации живых существ.
- Клетка ведёт двойное существование: как отдельная сущность и как строительный блок организма.
- Клетки образуются путём свободного клеткообразования, подобно образованию кристаллов.
Этот перевод и пересказ утверждений Шванна встречается во многих учебниках биологии; первоисточник перевода нам установить не удалось. Изображение книги Шванна — из Deutsches Textarchiv.
Первые два утверждения, вероятно, знакомы: они дожили до современной клеточной теории. Третье, вероятно, незнакомо, потому что оказалось ужасно неверным.
Мы считаем, что очень ценно формулировать сильную версию того, во что веришь, даже если она может оказаться ложной, как третье утверждение Шванна. В этом духе мы предлагаем три гипотезы о нейросетях. Они задуманы и как эмпирические утверждения о природе нейросетей, и как нормативные утверждения о том, как их полезно понимать.
Рисунок слева: атлас активаций (Carter и др., 2019) — визуализация части пространства, которое могут представлять признаки нейросети.
Три умозрительные гипотезы о нейросетях
- Признаки. Признаки — фундаментальная единица нейросетей. Они соответствуют направлениям [сноска 1]. Эти признаки можно строго изучать и понимать.
- Цепи. Признаки соединены весами и образуют цепи [сноска 2]. Эти цепи тоже можно строго изучать и понимать.
- Универсальность. Аналогичные признаки и цепи возникают в разных моделях и задачах.
Эти гипотезы намеренно умозрительны. И они не совсем новы: утверждения в духе (1) и (3) высказывались и раньше — мы подробнее обсудим это ниже.
Но мы считаем, что их важно рассмотреть: если они верны, на них может вырасти новая, «приближённая» область интерпретируемости. В следующих разделах мы обсудим каждую по отдельности и приведём часть свидетельств, которые заставили нас поверить, что они могут быть верны.
Гипотеза 1: признаки
Заголовок раздела «Гипотеза 1: признаки»Признаки — фундаментальная единица нейросетей. Они соответствуют направлениям. Их можно строго изучать и понимать.
Мы считаем, что нейросети состоят из осмысленных, понятных признаков. В ранних слоях — признаки вроде детекторов краёв или кривых, в поздних — признаки вроде детекторов висячих ушей или колёс. Сообщество расходится во мнениях, верно ли это. Многие исследователи считают существование осмысленных нейронов почти тривиальным фактом — есть даже небольшая литература об их изучении (Mikolov и др., 2013; Karpathy и др., 2015; Radford и др., 2017; Zhou и др., 2014; Olah и др., 2017; Bau и др., 2017; Donnelly и Roegiest, 2019), — но многие другие глубоко скептичны и полагают, что прошлые случаи нейронов, будто бы отслеживающих осмысленные скрытые переменные, были ошибкой (Jo и Bengio, 2017; Geirhos и др., 2018; Brendel и Bethge, 2019; Ilyas и др., 2019; Morcos и др., 2018) [сноска 3]. Тем не менее тысячи часов изучения отдельных нейронов привели нас к убеждению, что в типичном случае нейроны (а иногда — другие направления в векторном пространстве активаций нейронов) понятны.
Конечно, понятный не значит простой или легко понимаемый. Многие нейроны поначалу загадочны и не совпадают с нашими априорными догадками о том, какие признаки могут существовать! Но наш опыт таков: за такими нейронами обычно стоит простое объяснение, и делают они что-то вполне естественное. Например, нас поначалу озадачили детекторы «высокая — низкая частота» (о них ниже), но задним числом они просты и изящны.
Это вводное эссе даст лишь обзор пары примеров, которые мы считаем показательными, а за ним последуют и глубокие разборы с тщательным описанием отдельных признаков, и широкие обзоры всех признаков, существование которых мы понимаем. Пока что примеры мы берём из InceptionV1 (Szegedy и др., 2015), но считаем, что гипотезы верны в общем случае, и обсудим другие модели в последнем разделе — об универсальности.
Правы мы или ошибаемся насчёт осмысленных признаков, мы считаем, что сообществу важно решить этот вопрос. Надеемся, что несколько конкретных, тщательно исследованных примеров кажущихся понятными признаков помогут продвинуть диалог.
Пример 1: детекторы кривых
Заголовок раздела «Пример 1: детекторы кривых»Нейроны — детекторы кривых — есть в каждой нетривиальной модели зрения, которую мы тщательно исследовали. Они интересны тем, что стоят на границе между признаками, существование которых сообщество в целом признаёт (например, детекторы краёв), и признаками, к которым много скепсиса (например, высокоуровневые признаки вроде ушей, автомобилей и лиц).
Сосредоточимся на детекторах кривых в слое mixed3b —
одном из ранних слоёв InceptionV1. Эти нейроны реагируют на изогнутые линии и границы с радиусом около 60 пикселей.
Ещё они слегка дополнительно возбуждаются перпендикулярными линиями вдоль границы кривой и предпочитают, чтобы две
стороны кривой были разного цвета.
Детекторы кривых встречаются семействами нейронов: каждый член семейства детектирует ту же кривую в другой ориентации. Вместе они покрывают весь диапазон ориентаций.
Важно отличать детекторы кривых от других нейронов, которые могут казаться похожими. В частности, есть много нейронов, которые используют кривые, чтобы детектировать изогнутую составную часть (окружности, спирали, S-образные кривые, форму песочных часов, трёхмерную кривизну…). Есть и нейроны, реагирующие на родственные кривым формы — линии или острые углы. Такие нейроны мы детекторами кривых не считаем.
Рисунок: визуализации десятка детекторов кривых — дуги, повёрнутые на разные углы, как стрелки часов.
Но действительно ли эти «детекторы кривых» детектируют кривые? Этому мы посвятим целую следующую статью, а пока кратко: мы считаем свидетельства весьма сильными.
Мы приводим семь аргументов, перечисленных ниже. Заметим, что ни один из них не специфичен для кривых: это полезный общий набор инструментов для проверки нашего понимания и других признаков. Некоторые аргументы — примеры из набора данных, синтетические примеры и кривые настройки — классические методы нейронауки зрения (например, Hubel и Wiesel, 1962). Последние три аргумента основаны на цепях, о которых пойдёт речь в следующем разделе.
Аргумент 1: визуализация признаков. Оптимизация входа так, чтобы детекторы кривых срабатывали, надёжно даёт кривые. Это устанавливает причинную связь: всё, что есть на получившейся картинке, добавлено, чтобы нейрон срабатывал сильнее. Подробнее о визуализации признаков — здесь.
Аргумент 2: примеры из набора данных. Изображения ImageNet, на которых эти нейроны сильно срабатывают, — надёжно кривые в ожидаемой ориентации. Изображения, на которых они срабатывают умеренно, — обычно менее идеальные кривые или кривые с отклонением от ориентации.
Аргумент 3: синтетические примеры. Детекторы кривых реагируют как ожидается на набор синтетических изображений кривых с разной ориентацией, кривизной и фоном. Они срабатывают только около ожидаемой ориентации и не срабатывают сильно на прямые линии или острые углы.
Аргумент 4: совместная настройка. Если взять примеры из набора данных, на которых нейрон срабатывает, и поворачивать их, он постепенно перестаёт срабатывать, а начинает срабатывать детектор кривых следующей ориентации. Это показывает, что они детектируют повёрнутые версии одного и того же. Вместе они покрывают все 360 градусов возможных ориентаций.
Аргумент 5: реализация признака (аргумент на основе цепей). Посмотрев на цепь, строящую детекторы кривых, можно прочитать в весах алгоритм детектирования кривых. Мы также не видим ничего, что намекало бы на вторую, альтернативную причину срабатывания, хотя есть много мелких весов, роль которых нам непонятна.
Аргумент 6: использование признака (аргумент на основе цепей). «Клиенты» детекторов кривых ниже по течению — признаки, естественно связанные с кривыми (окружности, трёхмерная кривизна, спирали…). Эти клиенты используют детекторы кривых ожидаемым образом.
Аргумент 7: цепи, написанные вручную (аргумент на основе цепей). Исходя из понимания того, как реализованы детекторы кривых, можно сделать «чистую» реализацию заново, вручную задав все веса, чтобы воспроизвести детектирование кривых. Эти веса — понятный алгоритм детектирования кривых, и они заметно повторяют поведение исходных детекторов.
Эти аргументы не исключают полностью возможность какого-то редкого побочного случая, когда детекторы кривых срабатывают на другой вид стимула. Но они, похоже, устанавливают, что (1) кривые заставляют эти нейроны срабатывать, (2) каждый нейрон реагирует на кривые в своей угловой ориентации и (3) если есть другие стимулы, вызывающие срабатывание, то они редки или вызывают более слабые активации. В более общем смысле эти аргументы, похоже, соответствуют стандартам доказательности, которые, насколько мы понимаем, приняты в нейронауке, — а у неё есть устоявшиеся традиции и институциональное знание того, как оценивать подобные утверждения.
Все эти аргументы будут подробно разобраны в следующих статьях о детекторах кривых и цепях детектирования кривых.
Пример 2: детекторы «высокая — низкая частота»
Заголовок раздела «Пример 2: детекторы «высокая — низкая частота»»Детекторы кривых — интуитивный тип признака: такой, существование которого в нейросетях можно угадать заранее. Раз уж они там есть, неудивительно, что мы их понимаем. А как насчёт неинтуитивных признаков? Можем ли мы понять и их? Мы считаем, что да.
Детекторы «высокая — низкая частота» (high-low frequency detectors) — пример менее интуитивного типа признака. Мы находим их в раннем зрении, и когда понимаешь, что они делают, они довольно просты. Они ищут низкочастотный узор на одной стороне своего рецептивного поля и высокочастотный — на другой. Как и детекторы кривых, они встречаются семействами признаков, ищущих одно и то же в разных ориентациях.
Рисунок: визуализации детекторов — на одной половине круга мелкая пёстрая текстура, на другой гладкое пятно; граница между ними повёрнута у разных нейронов по-разному.
Чем детекторы «высокая — низкая частота» полезны сети? Похоже, это одна из нескольких эвристик для обнаружения границ объектов, особенно когда фон не в фокусе. В следующей статье мы посмотрим, как они используются при построении сложных детекторов границ.
(Некоторые исследователи надеются, что понимание моделей научит нас лучшим абстракциям для размышлений о мире (Carter и Nielsen, 2017). Детекторы «высокая — низкая частота», возможно, — пример маленького успеха на этом пути: естественный, полезный визуальный признак, которого мы заранее не ожидали.)
Все семь методов, которыми мы допрашивали нейроны кривых, с небольшими доработками можно применить и к нейронам «высокая — низкая частота» — например, отрисовать синтетические примеры. И снова мы считаем, что в совокупности эти аргументы сильно поддерживают идею, что это действительно семейство детекторов контраста высокой и низкой частоты.
Пример 3: детектор собачьей головы, не зависящий от позы
Заголовок раздела «Пример 3: детектор собачьей головы, не зависящий от позы»И детекторы кривых, и детекторы «высокая — низкая частота» — низкоуровневые визуальные признаки из ранних слоёв InceptionV1. А как насчёт более сложных, высокоуровневых признаков?
Рассмотрим нейрон, который мы считаем детектором собаки, не зависящим от позы (pose-invariant). Как для любого нейрона, можно построить визуализацию признака и собрать примеры из набора данных. Геометрия визуализации… невозможная, но очень много говорит о том, что ищет нейрон, а примеры из набора данных это подтверждают.
Рисунок: визуализация — собачьи морды, носы и глаза, «сросшиеся» под невозможными углами; примеры из данных — собачьи головы в самых разных позах.
Заметим, что сочетание визуализации признака и примеров из набора данных уже само по себе — весьма сильный аргумент. Визуализация устанавливает причинную связь, а примеры проверяют использование нейрона на практике и то, нет ли второго вида стимулов, на которые он реагирует. Но можно снова пустить в ход и все остальные подходы к анализу нейрона. Например, с помощью 3D-модели можно породить синтетические изображения собачьей головы под разными углами.
В то же время некоторые из подходов, на которые мы до сих пор опирались, требуют много сил для таких высокоуровневых, более абстрактных признаков. К счастью, аргументы на основе цепей — о них скоро — по-прежнему легко применять, и они дают по-настоящему мощные инструменты для понимания и проверки высокоуровневых признаков без больших усилий.
Полисемантичные нейроны
Заголовок раздела «Полисемантичные нейроны»Возможно, у вас сложилась слишком радужная картина: может быть, каждый нейрон, если его серьёзно исследовать, даёт красивое, понятное человеку понятие?
Увы, это не так. В нейросетях часто есть «полисемантичные нейроны» (полисемантичностьполисемантичность (многозначность нейрона)EN polysemanticityОдин нейрон срабатывает на несколько несвязанных понятий (например, на цитаты, HTTP-запросы и корейский текст).), которые реагируют на несколько несвязанных входов. Например, в InceptionV1 есть нейрон, реагирующий на кошачьи морды, передние части автомобилей и кошачьи лапы.
Рисунок: нейрон 4e:55 — полисемантичный нейрон, реагирующий на кошачьи морды, передние части автомобилей и кошачьи лапы. Подробнее он обсуждался в статье «Визуализация признаков» (Olah и др., 2017).
Уточним: этот нейрон реагирует не на какую-то общую черту автомобилей и кошачьих морд. Визуализация признака показывает, что он ищет глаза и усы кошки, пушистые лапы и блестящие передки машин, а не какой-то тонкий общий признак.
Такие признаки всё равно можно изучать, описывая каждый случай их срабатывания, и до некоторой степени рассуждать об их цепях. Тем не менее полисемантичные нейроны — серьёзный вызов для программы исследования цепей: они заметно ограничивают нашу способность рассуждать о нейросетях [сноска 4]. Мы надеемся, что полисемантичность удастся «разрешить» — например, «развернув» сеть так, чтобы полисемантичные нейроны превратились в чистые признаки, или обучая сети так, чтобы полисемантичность вообще не возникала. По сути, это задача, которую изучает литература о распутывании представлений (disentangling representations), хотя сейчас она сосредоточена в основном на известных признаках в латентных пространствах порождающих моделей.
Естественный вопрос: почему возникают полисемантичные нейроны? В следующем разделе мы увидим, что они, похоже, результат явления, которое мы называем «суперпозицией» (суперпозиция признаковсуперпозиция признаковEN superpositionМодель хранит больше признаков, чем у неё измерений, раскладывая их по почти ортогональным направлениям. Работает, пока признаки редко активны одновременно.): цепь распределяет признак по многим нейронам — видимо, чтобы упаковать больше признаков в ограниченное число доступных нейронов.
Прим. пер.: именно эту программу — «развернуть» сеть в чистые признаки — через несколько лет реализовали разреженные автоэнкодеры (разреженный автоэнкодерразреженный автоэнкодер (SAE)EN sparse autoencoderАвтоэнкодер с широким скрытым слоем и штрафом за число активных латентов. Обученный на активациях LLM, раскладывает их в сумму немногих интерпретируемых признаков., урок 9.3.2).
Гипотеза 2: цепи
Заголовок раздела «Гипотеза 2: цепи»Признаки соединены весами и образуют цепи. Эти цепи тоже можно строго изучать и понимать.
Все нейроны нашей сети — линейные комбинации нейронов предыдущего слоя, после которых идёт ReLU. Если мы понимаем признаки в обоих слоях, разве не должны мы понимать и связи между ними? Чтобы это исследовать, полезно изучать цепи (circuits): подграфы сети, состоящие из набора тесно связанных признаков и весов между ними.
Поразительно, насколько поддающимися изучению и осмысленными оказываются эти цепи. Начиная, мы ожидали найти что-то весьма запутанное. Вместо этого мы нашли красивые богатые структуры, часто с симметрией. Когда понимаешь, какие признаки соединяет цепь, отдельные веса нейросети — числа с плавающей точкой — становятся осмысленными! В весах можно буквально прочитать осмысленные алгоритмы.
Рассмотрим несколько примеров.
Цепь 1: детекторы кривых
Заголовок раздела «Цепь 1: детекторы кривых»В предыдущем разделе мы обсуждали детекторы кривых — семейство нейронов, детектирующих кривые в разных угловых ориентациях. В этом разделе посмотрим, как детекторы кривых реализованы из более ранних признаков и как связаны с остальной моделью.
Детекторы кривых реализованы в основном из более ранних, менее сложных детекторов кривых и детекторов линий. В следующем слое детекторы кривых используются для создания детекторов трёхмерной геометрии и сложных форм. Конечно, есть длинный хвост мелких связей с другими признаками, но основная история, похоже, такова.
В этом введении сосредоточимся на взаимодействии ранних детекторов кривых и наших полноценных детекторов кривых.
Рисунок: схема цепи — ранние детекторы кривых и детекторы линий → детекторы кривых (mixed3b) → клиенты в
следующем слое: детекторы трёхмерной геометрии и сложных форм.
Сосредоточимся ещё сильнее и посмотрим, как один ранний детектор кривых связан с более сложным детектором кривых той же ориентации.
Здесь модель вычисляет свёртку , так что связь между двумя нейронами — набор весов , которые могут быть положительными или отрицательными [сноска 5]. Положительный вес означает, что если ранний нейрон срабатывает в этой позиции, он возбуждает поздний нейрон. Отрицательный, наоборот, — что тормозит.
Мы видим сильные положительные веса, расположенные по форме кривой детектора. Это можно понимать так: в каждой точке вдоль кривой наш детектор кривых ищет с помощью раннего детектора «касательную кривую».
Рисунок: «сырые» веса между ранним и поздним детекторами кривых одной ориентации — дуга положительных весов, окружённая малыми отрицательными или нулевыми весами. Рядом — интерпретация: в каждой точке вдоль кривой ищется «касательная кривая».
Так происходит для каждой пары раннего и полного детекторов кривых близкой ориентации. В каждой точке вдоль кривой детектируется кривая похожей ориентации. Аналогично кривые противоположной ориентации тормозят в каждой точке вдоль кривой.
Рисунок (интерактивный): детекторы кривых возбуждаются ранними детекторами похожих ориентаций… и тормозятся ранними детекторами противоположных ориентаций. Сетка весов для всех пар ориентаций.
Стоит на секунду задуматься: мы смотрим на веса нейросети — и они осмысленны.
И чем ближе смотришь, тем богаче структура. Например, если взять ранний и полный детекторы кривых близкой, но не совсем одинаковой ориентации, часто видно, что положительные веса сильнее на той стороне кривой, с которой ориентации совпадают лучше.
Ещё стоит заметить, как веса поворачиваются вместе с ориентацией детектора кривых. Симметрия задачи отражается симметрией весов. Цепи с таким свойством мы называем «эквивариантными цепями» и подробно обсудим их в следующей статье.
Цепь 2: детектирование ориентированной собачьей головы
Заголовок раздела «Цепь 2: детектирование ориентированной собачьей головы»Цепь детекторов кривых — низкоуровневая и охватывает только два слоя. В этом разделе мы обсудим цепь более высокого уровня, охватывающую четыре слоя. Она также покажет, как нейросети реализуют сложные инвариантности.
Вспомним, что огромная часть работы модели ImageNet — различать разных животных. В частности, она должна различать сотню пород собак! Так что неудивительно, что у неё развивается множество нейронов, посвящённых распознаванию связанных с собаками признаков, включая головы.
В этой системе «распознавания собак» одна цепь кажется нам особенно интересной: набор нейронов, обрабатывающих собачьи головы, повёрнутые влево, и собачьи головы, повёрнутые вправо. На протяжении трёх слоёв сеть поддерживает два зеркальных пути, детектируя аналогичные признаки для поворота влево и вправо. На каждом шаге эти пути пытаются затормозить друг друга, усиливая контраст. Наконец, сеть создаёт инвариантные нейроны, реагирующие на оба пути.
Рисунок (интерактивный): цепь из четырёх слоёв — две параллельные колонны нейронов («голова влево», «голова вправо»), между колоннами красные тормозящие связи, внутри колонн — зелёные возбуждающие; наверху обе колонны сходятся в нейроне «голова собаки, любая ориентация».
flowchart BT L1["Голова влево (слой 1)"] --> L2["Голова влево (слой 2)"] --> L3["Голова влево (слой 3)"] R1["Голова вправо (слой 1)"] --> R2["Голова вправо (слой 2)"] --> R3["Голова вправо (слой 3)"] L2 -. "торможение" .-> R3 R2 -. "торможение" .-> L3 L3 --> U["Голова собаки в любой позе (объединение)"] R3 --> U
Этот шаблон мы называем «объединением по случаям» (unioning over cases). Сеть отдельно детектирует два случая (влево и вправо), а затем берёт их объединение и создаёт инвариантные «многогранные» (multifaceted; Nguyen и др., 2016) нейроны. Заметьте: поскольку два пути тормозят друг друга, у этой цепи есть свойства, напоминающие исключающее ИЛИ.
Цепь поразительна тем, что сеть легко могла бы сделать что-то гораздо менее изощрённое. Она могла бы создать инвариантные нейроны, не особо заботясь о том, где глаза, шерсть и нос, а просто ища их мешанину. Но вместо этого сеть научилась разделять случаи «влево» и «вправо» и обрабатывать их отдельно. Мы несколько удивлены, что градиентный спуск смог этому научиться! [сноска 6]
Но это описание цепи — лишь верхушка того, что происходит. Каждая связь между нейронами — свёртка, поэтому можно посмотреть и на то, где входной нейрон возбуждает следующий. И модель, как правило, делает то, на что можно было оптимистично надеяться. Например, рассмотрим нейроны «голова с шеей». Голова детектируется только с правильной стороны:
Рисунок (интерактивный): веса между нейронами «голова влево/вправо» и нейронами «голова с шеей» — возбуждение сосредоточено с той стороны, где у повёрнутой головы должна быть морда.
На детали шага объединения тоже интересно посмотреть. Сеть не реагирует на головы двух ориентаций без разбора: области возбуждения тянутся от центра в разные стороны в зависимости от ориентации, так что морды сходятся в одну точку.
Рисунок (интерактивный): веса шага объединения — для головы влево и головы вправо пятна возбуждения смещены так, что носы попадают в одно место.
Об этой цепи можно сказать ещё многое, поэтому мы планируем вернуться к ней в будущей статье и разобрать её подробно, включая проверку нашей теории цепи редактированием весов.
Цепь 3: автомобили в суперпозиции
Заголовок раздела «Цепь 3: автомобили в суперпозиции»В mixed4c, слое в средне-поздней части InceptionV1, есть нейрон, детектирующий автомобили. Используя признаки
предыдущих слоёв, он ищет колёса в нижней части своего окна свёртки и окна — в верхней.
Рисунок (интерактивный): тот же, что заглавный, — «окна» возбуждают нейрон «автомобиль» в верхней части окна свёртки, «колёса» — в нижней.
Но дальше модель делает нечто удивительное. Вместо того чтобы создать в следующем слое ещё один чистый детектор автомобилей, она распределяет признак «автомобиль» по нескольким нейронам, которые, похоже, в основном заняты чем-то другим, — в частности, по детекторам собак.
Рисунок (интерактивный): нейрон «автомобиль» из mixed4c и его сильнейшие связи в следующем слое — несколько нейронов,
визуализации которых показывают в основном собак, но с примесью автомобилей.
Эта цепь наводит на мысль, что полисемантичные нейроны в каком-то смысле преднамеренны. То есть можно было бы представить мир, где процессы детектирования автомобилей и собак почему-то глубоко переплетены в модели, и поэтому полисемантичных нейронов трудно избежать. Но здесь мы видим, что у модели был «чистый нейрон», а потом она перемешала его с другими признаками.
Это явление мы называем суперпозицией (superposition).
Зачем модели так поступать? Мы считаем, что суперпозиция позволяет модели использовать меньше нейронов, сберегая их для более важных задач. Пока автомобили и собаки не встречаются вместе, модель может в следующем слое безошибочно извлечь признак собаки, а значит, хранить признак, не выделяя под него нейрон [сноска 7].
Прим. пер.: числа к сноске 7. В пространстве размерности ровно ортогональных направлений не больше . Но случайные единичные векторы в высокой размерности почти ортогональны: при косинус между двумя случайными векторами обычно порядка . Поэтому «почти независимых» направлений можно уместить гораздо больше, чем нейронов, — ценой небольших помех между признаками. Подробно — в уроке 9.3.2.
Мотивы цепей
Заголовок раздела «Мотивы цепей»Изучая цепи по всей InceptionV1 и в других моделях, мы снова и снова видели одни и те же абстрактные шаблоны. Эквивариантность — как у детекторов кривых. Объединение по случаям — как у детектора собачьей головы, не зависящего от позы. Суперпозиция — как у детектора автомобилей.
В биологии мотив цепи (circuit motif; Alon, 2019) — повторяющийся шаблон в сложных графах вроде сетей регуляции транскрипции или биологических нейронных сетей. Мотивы полезны тем, что понимание одного мотива даёт исследователям рычаг ко всем графам, где он встречается.
Мы считаем весьма вероятным, что изучение мотивов окажется важным для понимания цепей искусственных нейросетей. В долгосрочной перспективе оно может оказаться важнее изучения отдельных цепей. В то же время мы ожидаем, что исследованию мотивов очень поможет, если сначала заложить прочный фундамент хорошо понятых цепей.
Гипотеза 3: универсальность
Заголовок раздела «Гипотеза 3: универсальность»Аналогичные признаки и цепи возникают в разных моделях и задачах.
Широко принятый факт: первый слой моделей зрения, обученных на естественных изображениях, выучивает фильтры Габора. Если принять, что в поздних слоях есть осмысленные признаки, так ли удивительно, что одни и те же признаки возникают и в слоях после первого? А если верить, что аналогичные признаки есть в нескольких слоях, не естественно ли, что они и соединяются одинаково?
Универсальность (или «сходящееся обучение», convergent learning) признаков предполагали и раньше. Предыдущие работы показали, что разные нейросети могут вырабатывать сильно коррелированные нейроны (Li и др., 2015) и что они учат похожие представления в скрытых слоях (Raghu и др., 2017; Kornblith и др., 2019). Эти работы наводят на серьёзные размышления, но у возникновения аналогичных признаков есть и альтернативные объяснения. Например, можно представить два признака — детектор текстуры шерсти и сложный детектор собачьего тела, — которые сильно коррелируют, хотя это существенно разные признаки. С точки зрения скептика осмысленных признаков это не выглядит окончательным.
В идеале хотелось бы описать несколько признаков, а затем строго показать, что именно эти признаки — а не просто коррелирующие с ними — возникают во многих моделях. Затем, чтобы установить, что возникают и аналогичные цепи, надо бы найти аналогичные признаки в нескольких слоях нескольких моделей и показать, что между ними в каждой модели формируется одинаковая структура весов.
К сожалению, сегодня мы можем предложить лишь отдельные наблюдения: мы пока просто недостаточно вложились в сравнительное изучение признаков и цепей, чтобы отвечать уверенно. Тем не менее мы наблюдали, что пара низкоуровневых признаков, похоже, возникает в самых разных архитектурах моделей зрения (включая AlexNet, InceptionV1, InceptionV3 и остаточные сети) и в моделях, обученных на Places365 вместо ImageNet. Мы также видели, как они раз за разом возникают в обычных свёрточных сетях, обученных на ImageNet с нуля.
Рисунок: две таблицы визуализаций — «Детекторы кривых» и «Детекторы высокой — низкой частоты» — по четыре нейрона из каждой модели: AlexNet (Krizhevsky и др., 2012), InceptionV1 (Szegedy и др., 2015), VGG19 (Simonyan и Zisserman, 2014), ResNetV2-50 (He и др., 2016). Во всех четырёх моделях видны те же дуги и те же «пёстрое против гладкого». Картинки ведут в OpenAI Microscope.
Эти результаты заставляют нас подозревать, что гипотеза универсальности, скорее всего, верна, но нужна дальнейшая работа, чтобы понять, является ли кажущаяся универсальность некоторых низкоуровневых визуальных признаков исключением или правилом.
Если окажется, что гипотеза универсальности в целом верна для нейросетей, будет соблазнительно пофантазировать: может быть, и биологические нейронные сети учат похожие признаки? Исследователи на стыке нейронауки и глубокого обучения уже показали, что нейроны искусственных моделей зрения полезны для моделирования биологических нейронов (Yamins и др., 2014; Güçlü и van Gerven, 2015; Eickenberg и др., 2017). А некоторые признаки, обнаруженные нами в искусственных нейросетях, — например, детекторы кривых — предположительно существуют и в биологических нейронных сетях (например, Jiang и др., 2019; Pasupathy и Connor, 2001). Это кажется серьёзным поводом для оптимизма [сноска 8].
Если сосредоточиться на изучении цепей, так ли нужна универсальность? В отличие от первых двух гипотез, исследование цепей не погибнет совсем, если эта гипотеза окажется ложной. Но она сильно определяет, какие исследования имеют смысл. Мы представили цепи как своего рода «клеточную биологию глубокого обучения». Но представьте мир, где у каждого вида клетки с совершенно разным набором органелл и белков. Имело бы смысл изучать клетки вообще — или мы ограничились бы узким изучением нескольких особенно важных видов клеток? Или представьте анатомию в мире, где у каждого вида животных совершенно несвязанное строение: стали бы мы всерьёз изучать кого-то, кроме человека и пары домашних животных?
Точно так же гипотеза универсальности определяет, какая форма исследования цепей имеет смысл. Если она верна в сильнейшем смысле, можно представить своего рода «периодическую таблицу визуальных признаков», которые мы наблюдаем и каталогизируем в разных моделях. Если же она в основном ложна, придётся сосредоточиться на нескольких моделях особой общественной важности и надеяться, что они не будут меняться каждый год. Возможны и промежуточные миры, где одни уроки переносятся между моделями, а другие приходится учить заново.
Прим. пер.: для трансформеров сильный довод в пользу универсальности — индукционные головы (индукционная головаиндукционная головаEN induction headПара голов, которая находит в контексте прошлое появление текущего токена и копирует токен, шедший после него ([A][B] … [A] → [B]). Механизм in-context learning (Olsson и др., 2022).): они возникают в языковых моделях самых разных размеров (урок 9.3.1).
Интерпретируемость как естественная наука
Заголовок раздела «Интерпретируемость как естественная наука»«Структура научных революций» Томаса Куна (Kuhn, 1962) — классический текст по истории и социологии науки. В нём Кун различает «нормальную науку», где у научного сообщества есть парадигма, и «экстраординарную науку», где у сообщества парадигмы нет — либо её никогда не было, либо она ослаблена кризисом. Стоит заметить, что «экстраординарная наука» — не желанное состояние: это период, когда исследователям трудно работать продуктивно.
Описание Куном допарадигмальных областей пугающе напоминает сегодняшнюю интерпретируемость [сноска 9]. Нет согласия ни в том, что является объектом изучения, ни в том, какими методами отвечать на вопросы, ни в том, как оценивать результаты. Процитируем недавнее интервью Яна Гудфеллоу: «Мне кажется, для интерпретируемости у нас нет даже правильных определений» (Goodfellow, 2019).
Особенно трудная сторона допарадигмальной области — отсутствие общего понимания того, как оценивать работы по интерпретируемости. Есть два распространённых предложения, опирающихся на стандарты соседних областей. Некоторые исследователи, особенно с опытом в глубоком обучении, хотят «бенчмарк интерпретируемости», который оценивал бы, насколько эффективен метод. Другие, с опытом в HCI (взаимодействии человека и компьютера), предпочли бы оценивать методы интерпретируемости через исследования с пользователями.
Но интерпретируемость может позаимствовать и третью парадигму — естественнонаучную. В этом взгляде нейросети — объект эмпирического исследования, похожий, быть может, на организм в биологии. Такая работа стремилась бы делать эмпирические утверждения о конкретной сети, к которым можно применить стандарт фальсифицируемости.
Почему мы не видим больше такой оценки работ по интерпретируемости и визуализации [сноска 10]? Особенно если учесть, что в соседнем машинном обучении так много работ, принимающих эту рамку! Одна причина может быть в том, что очень трудно делать надёжно верные утверждения о поведении нейросети в целом. Это невероятно сложные объекты. Трудно и формализовать, какими, собственно, должны быть интересные эмпирические утверждения о них. Поэтому стандарты оценки часто нацелены на то, полезен ли метод интерпретируемости, а не на то, узнаём ли мы истинные утверждения.
Цепи обходят эти трудности, сосредотачиваясь на крошечных подграфах нейросети, для которых строгое эмпирическое исследование посильно. Они вполне фальсифицируемы: например, если вы понимаете цепь, вы должны уметь предсказать, что изменится, если отредактировать веса. Более того, для достаточно маленьких цепей утверждения об их поведении становятся вопросами математического рассуждения. Конечно, цена этой строгости — утверждения о цепях гораздо уже по охвату, чем поведение модели в целом. Но, похоже, при достаточных усилиях утверждения о поведении модели можно разложить на утверждения о цепях. Если так, цепи, возможно, станут своего рода эпистемическим фундаментом интерпретируемости.
Заключительные мысли
Заголовок раздела «Заключительные мысли»Мы считаем само собой разумеющимся, что микроскоп — важный научный инструмент. Он практически символ науки. Но так было не всегда, и поначалу микроскопы как научный инструмент не прижились. Похоже, они пребывали в забвении около пятидесяти лет. Поворотным моментом стала «Микрография» Роберта Гука (Hooke, 1665) — сборник рисунков того, что он увидел в микроскоп, включая первое изображение клетки.
У нас сложилось впечатление, что в сообществе интерпретируемости есть некоторая тревога: что нас не воспринимают всерьёз. Что эти исследования слишком качественные. Что они ненаучны. Но урок микроскопа и клеточной биологии в том, что, возможно, так и должно быть. Открытие клеток было качественным научным результатом. Это не помешало ему изменить мир.
Эта статья входит в ветку Circuits — собрание коротких статей и комментариев открытого научного сотрудничества, изучающего внутреннее устройство нейросетей. Ветка Circuits · следующая статья: «An Overview of Early Vision in InceptionV1».
Глоссарий
Заголовок раздела «Глоссарий»Эссе вводит новые термины и использует некоторые нераспространённые. Чтобы помочь, приводим глоссарий.
- Цепь (circuit) — подграф нейросети. Вершины соответствуют нейронам или направлениям (линейным комбинациям нейронов). Две вершины соединены ребром, если они в соседних слоях. У рёбер есть веса — веса между этими нейронами (или , если вершины — линейные комбинации). Для свёрточных слоёв веса — двумерные матрицы: веса для разных относительных позиций слоёв.
- Мотив цепи (circuit motif) — повторяющийся абстрактный шаблон в цепях, например эквивариантность или объединение по случаям. Навеян мотивами цепей в системной биологии (Alon, 2019).
- Нейрон-клиент или признак-клиент (client neuron / feature) — нейрон более позднего слоя, который опирается на определённый более ранний нейрон. Например, детектор окружностей — клиент детекторов кривых.
- Направление (direction) — линейная комбинация нейронов слоя. Равносильно — вектор в представлении слоя. Направлением может быть отдельный нейрон (базисное направление векторного пространства). Интуицию о направлениях как объектах дают Building Blocks (Olah и др., 2018; особенно раздел «What Does the Network See?») и Activation Atlases (Carter и др., 2019).
- Ниже / выше по течению (downstream / upstream) — в более позднем / в более раннем слое.
- Эквивариантность (equivariance) — об эквивариантности в контексте цепей (эквивариантные признаки и цепи) см. статью ветки об эквивариантности; об общей математической идее — статью Википедии «Equivariant map».
- Семейство (family) — набор признаков одного слоя, детектирующих небольшие вариации одного и того же. Например, детекторы кривых образуют семейство, детектирующее кривые в разных ориентациях.
- Признак (feature) — скалярная функция входа. В этом эссе признаки нейросети — направления, а часто просто отдельные нейроны. Мы утверждаем, что такие признаки нейросетей, как правило, осмысленны и их можно строго изучать (гипотеза 1).
- Осмысленный признак (meaningful feature) — признак, который действительно реагирует на формулируемое свойство входа, например наличие кривой или висячего уха. Осмысленные признаки могут быть шумными или несовершенными.
- Полисемантичный признак (polysemantic feature) — признак, реагирующий на несколько несвязанных скрытых переменных, как нейрон «кошка/автомобиль» (Olah и др., 2017). Это частный случай «многогранных признаков» (multifaceted; Nguyen и др., 2016), которые реагируют на несколько разных случаев; многогранными бывают и «настоящие» многогранные признаки вроде позонезависимой собачьей головы, и полисемантичные нейроны. Противоположность — чистый.
- Чистый признак (pure feature) — признак, реагирующий только на одну скрытую переменную. Противоположность — полисемантичный.
- Универсальный признак (universal feature) — признак, надёжно возникающий в разных моделях и задачах.
- Представление (representation) — векторное пространство, образованное активациями всех нейронов слоя, с векторами вида (активация нейрона 1, активация нейрона 2, …). Представление можно понимать как совокупность всех признаков слоя. Интуицию о представлениях в моделях зрения даёт Activation Atlases (Carter и др., 2019).
Вклад авторов
Заголовок раздела «Вклад авторов»Текст. Текст эссе написан в основном Кристофером Олой и широко опирается на исследования и размышления всей команды Clarity. Ник Каммарата глубоко участвовал в выработке подачи и в правке итогового текста.
Исследования. Эссе формулирует темы, выросшие из исследований нескольких человек о том, как нейросети реализуют признаки. Крис начал первые попытки понять механистическую реализацию нейронов через их веса в 2018 году и создал несколько инструментов, сделавших эту работу возможной. Работу продолжил Габриэль Гоу: он открыл первый из того, что мы теперь называем мотивами (отрицательные веса для специализации), и описал механизмы ряда нейронов. Затем эту линию подхватил Ник Каммарата: он описал гораздо более крупные и глубокие цепи, сильно расширил число механистически понятых нейронов и провёл подробное строгое описание детекторов кривых. Ник же предложил связь с системной биологией. Людвиг Шуберт подробно проанализировал детекторы «высокая — низкая частота». Крис всё это время давал исследовательские советы и был наставником.
Инфраструктура. Майкл Петров, Шан Картер, Людвиг и Ник создали множество инфраструктурных инструментов, без которых исследование было бы невозможно.
Историческая справка
Заголовок раздела «Историческая справка»Идеи этого вводного эссе ранее были представлены Крисом Олой в пленарном докладе на VISxAI 2019. Неформально они также представлялись в MILA, Vector Institute, Redwood Center for Neuroscience и на закрытом семинаре.
Благодарности
Заголовок раздела «Благодарности»Вся наша работа по пониманию InceptionV1 в долгу у Алекса Мордвинцева, чьи ранние исследования моделей зрения проложили пути, по которым мы идём до сих пор. Мы глубоко благодарны Нику Барри и Софии Санборн за глубокое участие в поиске возможных связей нашей работы с нейронаукой и Тому Макграту, который указал нам на сходство между «допарадигмальной наукой» Куна и состоянием интерпретируемости как области. Внимательные комментарии и критика Брайса Менара также были бесценны для оттачивания эссе.
Помимо глубокого участия Ника и Софии, мы в целом признательны сообществу нейронауки за взаимодействие с нами, особенно за то, что с нами делились выстраданными уроками о методологических слабостях нашей работы. В частности, мы ценим, что Брайан Ванделл в 2019 году убеждал нас не полагаться на кривые настройки и подчёркивал важность семейств нейронов — мы думаем, это сделало нашу работу гораздо сильнее. Мы также очень благодарны за комментарии и поддержку Mareike Grotheer, Natalia Bilenko, Bruno Olshausen, Michael Eickenberg, Charles Frye, Philip Sabes, Paul Merolla, James Redd, Thong-Wei Koh и Ivan Alvarez. Нам есть чему поучиться у сообщества нейронауки, и мы рады продолжать.
Одна из привилегий работы над цепями — открытое сотрудничество и обратная связь в канале #circuits Slack журнала Distill. Мы особенно ценим подробные отзывы Stefan Sietzen, Shahab Bakhtiari и Flora Liu (Стефан к тому же развил многие из этих идей, и мы ждём его работ в будущих статьях ветки!).
Нам очень помогли комментарии многих людей о метанауке и подаче эссе, особенно — Arvind Satyanarayan, Miles Brundage, Amanda Askell, Aaron Courville и Martin Wattenberg. Мы благодарны Taco Cohen, Tess Smidt и Sara Sabour за чрезвычайно полезные комментарии об эквивариантности; Nikita Obidin, Nick Barry и Chelsea Voss — за полезные разговоры и ссылки о системной биологии и мотивах цепей (Никита и Ник первыми познакомили Ника Каммарату с мотивами цепей). Наконец, мы благодарны OpenAI за институциональную поддержку, а также за поддержку и комментарии всем нашим коллегам и друзьям из разных организаций, включая Dario Amodei, Daniela Amodei, Jonathan Uesato, Laura Ball, Katarina Slama, Alethea Power, Jacob Hilton, Jacob Steinhardt, Tom Brown, Preetum Nakkiran, Ilya Sutskever, Ryan Lowe, Erin McCloskey, Eli Chen, Fred Hohman, Jason Yosinski, Pallavi Koppol, Reiichiro Nakano, Sam McCandlish, Daniel Dewey, Anna Goldie, Jochen Görtler, Hendrik Strobelt, Ravi Chunduru, Tom White, Roger Grosse, David Duvenaud, Daniel Burkhardt, Janelle Tam, Jeff Clune, Christian Szegedy, Alec Radford, Alex Ray, Evan Hubinger, Scott Gray, Augustus Odena, Mikhail Pavlov, Daniel Filan, Jascha Sohl-Dickstein и Kris Sankaran.
Сноски авторов
Заголовок раздела «Сноски авторов»Сноска 1. Под «направлением» мы понимаем линейную комбинацию нейронов слоя. Можно думать о нём как о векторе направления в векторном пространстве активаций нейронов данного слоя. Часто удобнее всего говорить об отдельных нейронах, но мы увидим, что в некоторых случаях полезнее анализировать сеть через другие комбинации — особенно когда нейроны «полисемантичны». (Подробное определение — в глоссарии.)
Сноска 2. «Цепь» — вычислительный подграф нейросети. Она состоит из набора признаков и взвешенных рёбер между ними в исходной сети. Часто мы изучаем совсем маленькие цепи — скажем, меньше дюжины признаков, — но они могут быть и гораздо больше. (Подробное определение — в глоссарии.)
Сноска 3. Разногласия сообщества об осмысленных признаках трудно зафиксировать, и в литературе они выражены лишь частично. Основополагающие описания глубокого обучения часто говорят, что нейросети детектируют иерархию осмысленных признаков (LeCun и др., 2015), и написан ряд статей, показывающих кажущиеся осмысленными признаки в разных областях (Mikolov и др., 2013; Karpathy и др., 2015; Radford и др., 2017; Zhou и др., 2014; Olah и др., 2017; Bau и др., 2017). В то же время параллельно развилась более скептическая литература, утверждающая, что нейросети в основном или только опираются на текстуру, локальную структуру или незаметные глазу узоры (Jo и Bengio, 2017; Geirhos и др., 2018; Brendel и Bethge, 2019; Ilyas и др., 2019), что осмысленные признаки, когда они есть, менее важны, чем неинтерпретируемые (Morcos и др., 2018), и что кажущиеся интерпретируемыми нейроны могут быть поняты неверно (Donnelly и Roegiest, 2019). Хотя многие из этих статей выражают очень взвешенную позицию, их не всегда так понимали. Вышел ряд статей в СМИ, принимающих сильные версии этих взглядов, и, по нашим наблюдениям, убеждение, будто нейросети не понимают ничего, кроме текстуры, довольно распространено. Наконец, людям часто трудно чётко сформулировать свою позицию, потому что нет ясного языка для нюансов между «детектором текстуры, сильно коррелирующим с объектом» и «детектором объекта».
Сноска 4. Почему полисемантичные нейроны так мешают? Если один нейрон с пятью разными значениями связан с другим нейроном с пятью разными значениями, это по сути 25 связей, которые нельзя рассматривать по отдельности.
Сноска 5. Многие нейроны, о которых идёт речь в статье, включая детекторы кривых, живут в ветвях InceptionV1, устроенных так: свёртка сжимает число каналов до небольшого «бутылочного горлышка», а за ней идёт свёртка или . Веса, которые мы показываем в эссе, — перемноженные веса свёртки и большей свёртки. Мы считаем, что часто полезно рассматривать это как одну матрицу весов низкого ранга, но технически это игнорирует одну нелинейность ReLU.
Сноска 6. Уточним: есть и более прямые пути, по которым разные составные части головы влияют на эти поздние детекторы головы, минуя пути «влево» и «вправо».
Сноска 7. По сути, это свойство геометрии многомерных пространств: в них помещается лишь ортогональных векторов, но экспоненциально много почти ортогональных.
Сноска 8. Особенно волнующей была бы возможность, если бы искусственные нейросети могли предсказывать признаки, ранее неизвестные, которые затем удалось бы найти в биологии. (Некоторые нейроучёные, с которыми мы говорили, предположили, что кандидатом могут быть детекторы «высокая — низкая частота».) Если бы такое предсказание удалось, это было бы чрезвычайно сильным свидетельством в пользу гипотезы универсальности.
Сноска 9. С работой Куна и этой связью нас познакомили разговоры с Томом Макгратом из DeepMind.
Сноска 10. Уточним: исследователи, придерживающиеся более естественнонаучного подхода, есть, особенно в более ранних работах по интерпретируемости. Просто сейчас это, похоже, встречается реже.
Словарик
Заголовок раздела «Словарик»| EN | RU |
|---|---|
| zoom in | приблизить изображение, «зум» |
| circuit, circuits thread | цепь, ветка Circuits |
| feature, direction | признак, направление |
| curve detector, family | детектор кривых, семейство |
| high-low frequency detector | детектор «высокая — низкая частота» |
| pose-invariant | не зависящий от позы |
| dataset examples, synthetic examples, tuning curve | примеры из набора данных, синтетические примеры, кривая настройки |
| polysemantic / pure neuron | полисемантичный / чистый нейрон |
| superposition | суперпозиция |
| equivariance, equivariant circuit | эквивариантность, эквивариантная цепь |
| unioning over cases | объединение по случаям |
| circuit motif | мотив цепи |
| universality, convergent learning | универсальность, сходящееся обучение |
| upstream / downstream, client | выше / ниже по течению, клиент |
| pre-paradigmatic science, falsifiability | допарадигмальная наука, фальсифицируемость |
Оригинал: Olah, Cammarata, Schubert, Goh, Petrov, Carter, «Zoom In: An Introduction to Circuits», Distill, 2020, distill.pub/2020/circuits/zoom-in, CC BY 4.0. Перевод распространяется на тех же условиях.