CS224N: векторы слов — SVD, word2vec, GloVe и их оценка (конспект)

Что это за страница

Пересказ своими словами двух официальных конспектов CS224N (зима 2019): «Word Vectors I» и «Word Vectors II». У них нет открытой лицензии, поэтому это не перевод: порядок тем и формулы сохранены, объяснения и пример кода — наши. Цифры из таблиц оригинала приведены как факты со ссылкой на источник. Путеводитель по курсу — здесь.

1. Зачем словам векторы

Язык — дискретная символьная система: слово «кот» ничем не похоже на «кошку» как строка, хотя по смыслу они близки. Задачи NLP варьируются от простых (проверка орфографии, поиск синонимов) до сложных (машинный перевод, ответы на вопросы, диалог), и почти всем нужно представление слов, в котором видна похожесть.

Простейшее представление — одногорячий вектор (one-hot): словарь из $\lvert V \rvert$ слов, у каждого слова вектор длины $\lvert V \rvert$ с единственной единицей. Беда в том, что любые два разных одногорячих вектора ортогональны: скалярное произведение «отеля» и «мотеля» равно нулю, как и «отеля» и «кошки». Хочется сжать слова в пространство гораздо меньшей размерности $d \ll \lvert V \rvert$, где близкие по смыслу слова лежат рядом. Идея, на которой строятся все методы ниже, — распределительная гипотеза: значение слова определяется контекстами, в которых оно встречается.

2. Счётные методы и SVD

Матрица «слово — документ». Считаем, сколько раз слово $i$ встречается в документе $j$. Матрица получается размером $\lvert V \rvert \times M$, где $M$ — число документов, — огромной.

Матрица совместной встречаемости в окне. Считаем, сколько раз слово $j$ встречается в окне заданной ширины вокруг слова $i$. Матрица $X$ размером $\lvert V \rvert \times \lvert V \rvert$, симметричная. Затем применяем к ней сингулярное разложение $X = U S V^T$ и оставляем $k$ первых сингулярных векторов: строки $U_{:, 1:k}$ (иногда умноженные на сингулярные числа) — $k$-мерные векторы слов.

Небольшой пример на игрушечном корпусе из трёх предложений с окном 1 (наш код):

import numpy as np

corpus = ["I like deep learning .", "I like NLP .", "I enjoy flying ."]
words = sorted({w for s in corpus for w in s.split()})
idx = {w: i for i, w in enumerate(words)}

# матрица совместной встречаемости с окном 1
X = np.zeros((len(words), len(words)))
for s in corpus:
    toks = s.split()
    for i, w in enumerate(toks):
        for j in (i - 1, i + 1):
            if 0 <= j < len(toks):
                X[idx[w], idx[toks[j]]] += 1

U, S, Vt = np.linalg.svd(X)
emb = U[:, :2] * S[:2]          # двумерные векторы слов

def cos(a, b):
    return a @ b / (np.linalg.norm(a) * np.linalg.norm(b))
print(cos(emb[idx["like"]], emb[idx["enjoy"]]))   # ≈ 1.0
print(cos(emb[idx["like"]], emb[idx["NLP"]]))     # ≈ 0.02

«like» и «enjoy» оказались почти одинаковыми векторами: оба стоят после «I» и перед существительным. Это и есть распределительная гипотеза в действии.

Недостатки, которые перечисляют конспекты: размер матрицы меняется при каждом новом слове; она очень разреженная и огромная (порядка $10^6 \times 10^6$); SVD стоит квадратично (и больше) по размеру; нужны «костыли» против перекоса частот. Костыли тоже перечислены: выбрасывать служебные слова («the», «he»), взвешивать встречи по расстоянию в окне, заменять счётчики корреляцией Пирсона с обнулением отрицательных значений. Итерационные методы ниже решают эти проблемы изящнее.

3. word2vec: учим векторы, предсказывая контекст

Вместо того чтобы считать глобальную статистику, заведём модель, параметры которой и есть векторы слов, и будем учить её на простой задаче предсказания по одному окну за раз. Это word2vec (Миколов и др., 2013). У каждого слова два вектора: $v_w$ — когда слово «в центре», и $u_w$ — когда оно «в контексте» (матрицы $\mathcal{V}$ и $\mathcal{U}$ размером $n \times \lvert V \rvert$ и $\lvert V \rvert \times n$).

Сначала конспект вводит понятие языковой модели: вероятность последовательности слов. Униграммная модель считает слова независимыми, биграммная — зависящими от предыдущего слова. Обе грубы, но подсказывают идею: учить вероятности слов по соседям.

CBOW (Continuous Bag of Words) предсказывает центральное слово по окружающим $2m$ словам:

1. берём векторы контекстных слов и усредняем: $\hat v = \frac{1}{2m} \sum v_{c+j}$;
2. считаем оценки $z = \mathcal{U} \hat v$ и вероятности $\hat y = \operatorname{softmax}(z)$;
3. минимизируем кросс-энтропию с истинным центральным словом, то есть $-\log P(w_c \mid \text{контекст})$.

Skip-gram делает наоборот: по центральному слову $c$ предсказывает каждое слово контекста. Ключевое предположение — наивное байесовское: при данном центральном слове слова контекста независимы, так что функция потерь — сумма по окну:

$$J = -\sum_{j = -m,\, j \neq 0}^{m} \log P(w_{c+j} \mid w_c), \qquad P(o \mid c) = \frac{\exp(u_o^T v_c)}{\sum_{w \in V} \exp(u_w^T v_c)}.$$

Отрицательное сэмплирование

Знаменатель softmax — сумма по всему словарю, то есть $O(\lvert V \rvert)$ на каждый шаг. Отрицательное сэмплирование (negative sampling) заменяет многоклассовую задачу бинарной: «пара (центр, контекст) взята из корпуса или подделана?» Для настоящей пары $(c, o)$ и $K$ случайных слов $\tilde u_k$ из шумового распределения $P_n(w)$:

$$J = -\log \sigma(u_o^T v_c) - \sum_{k=1}^{K} \log \sigma(-\tilde u_k^T v_c).$$

Первый член тянет вверх скалярное произведение настоящей пары, второй — вниз для подделанных. Шумовое распределение — униграммные частоты в степени $3/4$: это подтягивает редкие слова. Пример из конспекта: вероятность 0,9 становится $0{,}9^{3/4} \approx 0{,}92$, а 0,01 — $0{,}01^{3/4} \approx 0{,}032$ (до перенормировки), то есть редкое слово сэмплируется втрое чаще относительно частого, чем без степени.

Иерархический softmax

Альтернатива — иерархический softmax: слова словаря — листья двоичного дерева, и вероятность слова — произведение вероятностей поворотов «влево/вправо» на пути от корня, где каждый поворот — сигмоида от скалярного произведения вектора внутреннего узла с $v_c$. Стоимость падает до $O(\log \lvert V \rvert)$. Миколов и др. строили дерево Хаффмана: частые слова получают короткие пути. По наблюдениям авторов конспекта, иерархический softmax лучше работает для редких слов, а отрицательное сэмплирование — для частых слов и векторов меньшей размерности.

Попробуйте сами

В уроке 4.3.2 «Обучаем word2vec» мы пишем skip-gram с отрицательным сэмплированием. Задание 2 CS224N — вывести градиенты этих двух функций потерь по $v_c$, $u_o$ и $\tilde u_k$ вручную; хорошая проверка — сравнить вывод с численным градиентом, как в конспекте CS231n.

4. GloVe: глобальная статистика плюс обучение

Счётные методы быстро обучаются и используют всю статистику корпуса, но плохо решают аналогии и перекошены частыми словами. word2vec хорошо решает аналогии, но смотрит на корпус окно за окном и не использует глобальные счётчики напрямую. GloVe (Global Vectors; Пеннингтон, Сокер, Мэннинг, 2014) объединяет оба подхода.

Пусть $X_{ij}$ — сколько раз слово $j$ встречается в контексте слова $i$. GloVe учит векторы так, чтобы скалярное произведение приближало логарифм счётчика, и решает задачу взвешенных наименьших квадратов:

$$J = \sum_{i, j = 1}^{\lvert V \rvert} f(X_{ij}) \left( w_i^T \tilde w_j - \log X_{ij} \right)^2 ,$$

где весовая функция $f$ гасит вклад редких пар (и равна нулю при $X_{ij} = 0$), но не даёт очень частым парам доминировать. Конспект выводит эту цель из функции потерь skip-gram: если сгруппировать одинаковые пары слов, кросс-энтропия становится взвешенной суммой по матрице $X$, а кросс-энтропию заменяют квадратичной ошибкой по логарифмам ненормированных вероятностей, чтобы не считать дорогую нормировку. Итог: модель обучается быстро, масштабируется на огромные корпуса и хорошо работает даже на маленьких корпусах и с небольшими векторами.

5. Как оценивать векторы слов

Внутренняя оценка (intrinsic) проверяет векторы на специальной быстрой подзадаче: аналогии, корреляция с человеческими оценками похожести. Она быстрая и помогает понять систему, но полезна, только если коррелирует с реальными задачами. Внешняя оценка (extrinsic) — качество на настоящей задаче (например, распознавание именованных сущностей): честнее, но медленнее, и при неудаче непонятно, виноваты векторы или остальная система.

Аналогии. Для «a : b :: c : ?» ищем слово $d$, максимизирующее косинус между $x_b - x_a + x_c$ и $x_d$ (слова задачи исключаются). Классический пример — «мужчина : король :: женщина : королева». Подводные камни: аналогии про факты зависят от корпуса (столицы и президенты меняются), а синтаксические («big : bigger :: fast : faster») проверяют другое, чем семантические.

Что показали эксперименты (таблица в конспекте взята из статьи о GloVe). Три главных наблюдения: качество сильно зависит от метода (векторы GloVe размерности 300 на сравнимых корпусах решали аналогии лучше skip-gram, CBOW и вариантов SVD); качество растёт с размером корпуса (аналогию не решить, если слова не встречались при обучении); слишком маленькая размерность не может закодировать нужные различия — чтобы различить «король», «королева», «мужчина» и «женщина», нужны хотя бы два измерения вроде «пол» и «власть». Слишком большая размерность, казалось бы, должна вести к переобучению, но, как показали Инь и Шэнь (статья «On the Dimensionality of Word Embedding»), skip-gram и GloVe к этому устойчивы. Практический совет из конспекта: для GloVe обычно хорошо работает окно в 8 слов вокруг центрального.

Корреляция с людьми. Другой внутренний тест — сравнить косинусы векторов с оценками похожести пар слов, которые дали люди (наборы вроде WordSim353). Отдельная тема — многозначность: одно слово, несколько смыслов. Конспект упоминает подход с несколькими векторами на слово: кластеризуем контексты вхождений и учим по вектору на кластер.

6. Обучение поверх векторов: внешние задачи

Типичная постановка: классифицировать слова или окна (например, тональность или тип сущности) по векторам слов. Конспект обсуждает:

• Переобучать ли векторы. Если обучающая выборка задачи маленькая, лучше не трогать предобученные векторы: дообучение сдвинет только слова из выборки, и похожие слова, которых в ней не было, «разъедутся». Если выборка большая — дообучение помогает.
• Softmax-классификатор с регуляризацией поверх векторов (а при дообучении векторов число параметров резко растёт и переобучение становится серьёзнее).
• Оконную классификацию: слово классифицируется вместе с соседями — вектор окна склеивается из векторов слов, потому что значение слова зависит от контекста.
• Нелинейные классификаторы (нейросети), которые могут провести более сложную границу, чем линейный softmax, — переход к следующей лекции о нейросетях.

Что из этого живо в 2026 году

Статические векторы word2vec и GloVe в больших моделях заменены контекстными представлениями трансформеров и обучаемыми слоями эмбеддингов. Но идеи никуда не делись: отрицательное сэмплирование живёт в контрастивном обучении (CLIP, поисковые эмбеддинги для RAG), распределительная гипотеза — в самом предобучении LLM, а аналогии и смещения (bias) в векторах — в работах по интерпретируемости и этике. Подробнее — в уроке 4.3.1 «Векторы слов».

Словарик

EN	RU
one-hot vector	одногорячий вектор
distributional hypothesis	распределительная гипотеза
co-occurrence matrix	матрица совместной встречаемости
CBOW, skip-gram	«непрерывный мешок слов», skip-gram
negative sampling, noise distribution	отрицательное сэмплирование, шумовое распределение
hierarchical softmax, Huffman tree	иерархический softmax, дерево Хаффмана
intrinsic vs extrinsic evaluation	внутренняя и внешняя оценка
word analogy	аналогия слов
window classification	оконная классификация