Retrieval-Augmented Generation

Зачем это нужно

У любой LLM три слабости, которые не лечатся размером модели:

1. Знания заморожены. Модель знает мир до даты отсечкидата среза знанийEN knowledge cutoffМомент, на котором закончились обучающие данные модели. О более поздних событиях модель не знает, если ей не дать поиск. обучающих данных. О вчерашнем релизе или новом тарифе она не слышала.
2. Приватных данных она не видела. Регламенты вашей компании, документация вашего продукта, переписка с клиентом не попадали в обучение — и не должны.
3. Она уверенно выдумывает. Если ответа нет в «памяти», модель часто генерирует правдоподобный текст — галлюцинациягаллюцинацияEN hallucination.

генерация с дополнением извлечёнными даннымигенерация с дополнением извлечёнными данными (RAG)EN retrieval-augmented generation (RAG) решает все три проблемы одной идеей: сначала найти релевантные куски текста в вашей базе, потом передать их модели вместе с вопросом. Это экзамен с открытой книгой: модели не нужно помнить регламент, нужно уметь его прочитать. Термин RAG ввели Lewis и др. в статье 2020 года; сегодня это один из самых распространённых способов построить LLM-продукт поверх своих данных.

RAG, дообучение или длинный контекст?

	RAG	Дообучение (SFT, LoRA)	Всё в длинный контекст
Свежие данные	обновить индекс — минуты	заново обучать	вставлять каждый раз
Приватные данные, права доступа	фильтр на уровне документов	«вшиты» в веса, не удалить	да, но всё сразу
Ссылки на источник	да	нет	частично
Цена одного запроса	промпт на несколько тысяч токенов	дёшево	огромный промпт каждый раз
Что даёт лучше всего	факты	стиль, формат, навыки	—
Главный риск	плохой поиск	галлюцинации фактов, забывание	окно, «lost in the middle»

Простой пример масштаба. Внутренняя вики на 10 000 страниц по ~500 токенов — это 5 млн токенов. В окно на 1 млн не влезет. А если бы и влезла, при условной цене 0.30 долл. за миллион входных токенов каждый вопрос стоил бы 1.5 долл. RAG отправит в модель 3 000 токенов с пятью нужными кусками — 0.0009 долл.

Дообучение (модуль 6.2) и RAG не конкуренты: дообучением учат как отвечать (тон, формат, навык работы с документами), а через RAG дают что знать. Как выбирать ступень «промпт → RAG → дообучение → своя модель» на работе, с ценой и порогом качества, — в уроке 11.1.5.

Конвейер RAG

flowchart LR
subgraph IDX["Индексация — заранее"]
  D["Документы"] --> C["Чанкинг"] --> E1["Эмбеддинги чанков"] --> V[("Индекс")]
end
subgraph ASK["Ответ — на каждый вопрос"]
  Q["Вопрос"] --> E2["Эмбеддинг вопроса"] --> S["Поиск top-k"]
  S --> P["Промпт: инструкция,<br/>источники, вопрос"] --> L["LLM"] --> A["Ответ со ссылками"]
end
V --> S

Две половины RAG: индексация делается один раз, поиск и генерация — на каждый вопрос

Индексация выполняется один раз (и при обновлении документов), а поиск и генерация — на каждый вопрос. Разберём шаги по порядку.

Шаг 1. Загрузка и чанкинг

Документы (PDF, HTML, Markdown, таблицы) сначала превращают в чистый текст, затем режут на фрагменты — чанки. Это чанкингчанкинг (нарезка документов)EN chunkingРазбиение документов на фрагменты (чанки) для индексации. Каждый чанк получает свой эмбеддинг.. Зачем резать:

• Лимит модели эмбеддингов. Многие модели на энкодерах семейства BERT (multilingual-e5, BGE v1.5) читают до 512 токенов, а остальное отбрасывают. Напомним: BERT — encoder-onlyencoder-only (только энкодер)EN encoder-only architectureДвунаправленное внимание, обучение через маскированное языковое моделирование (BERT, RoBERTa). Сегодня — модели эмбеддингов, реранкеры, классификаторы.-трансформер без причинной маски (урок 4.5.1; устройство и дообучение — в уроке 4.5.4), он видит весь текст сразу и поэтому хорошо подходит, чтобы «сжать» текст в вектор.
• Размывание смысла. Эмбеддинг — один вектор на весь кусок. Если в чанке десять тем, вектор «усреднит» их, и ни один конкретный вопрос не окажется к нему близко.
• Бюджет промпта. В модель пойдут 3–10 чанков, а не целые документы.

Стартовое правило: чанки по 300–500 токенов с перекрытием 10–20%, чтобы фраза на границе не потерялась. К каждому чанку сохраняйте метаданные: источник, заголовок раздела, дату, ссылку. Они нужны для цитат и фильтров («только документы за 2026 год»). Стратегии чанкинга подробно — в следующем уроке.

Шаг 2. Эмбеддинги: смысл как вектор

В уроке 4.3 вы видели эмбеддинги отдельных слов. эмбеддинг-модельэмбеддинг-модельEN embedding modelМодель, которая превращает текст целиком в один вектор так, что близкие по смыслу тексты дают близкие векторы (BGE, multilingual-e5, Qwen3-Embedding). делает то же для текста целиком: превращает чанк в вектор из сотен или тысяч чисел так, чтобы близкие по смыслу тексты давали близкие векторы, даже без общих слов. «Как сбросить пароль?» и «Забыл пароль от аккаунта» окажутся рядом, а «Как сбросить вес?» — дальше.

Такие модели учат контрастивно (контрастивное обучениеконтрастивное обучениеEN contrastive learningсближаем представления «правильных пар» и раздвигаем «неправильные»). Берут пары «запрос $q$ → подходящий фрагмент $p^+$» и заставляют модель давать паре высокое сходство, а остальным фрагментам из батча $p_j^-$ — низкое:

$$\mathcal{L} = -\log \frac{e^{s(q,\,p^+)/\tau}}{e^{s(q,\,p^+)/\tau} + \sum_j e^{s(q,\,p_j^-)/\tau}}$$

Здесь $s$ — сходство векторов (обычно косинусное, о нём в шаге 3), $\tau$ — температура, небольшое число порядка 0.01–0.05. Это уже знакомая cross-entropy (урок 1.3), только «классы» — кандидаты-фрагменты, а логиты — сходства $s$, делённые на $\tau$. Правильный «класс» — подходящий фрагмент $p^+$. Та же функция (InfoNCEInfoNCE (контрастивная функция потерь)EN InfoNCE losscross-entropy по матрице сходств, где правильные пары стоят на диагонали) обучает CLIP в уроке 9.1.1. Идея «притянуть пару, оттолкнуть негативы» вам знакома по негативному сэмплированию word2vec (урок 4.3.2): там пары «слово — контекст», негативы — случайные слова, и вместо softmax по кандидатам стоит сигмоида на каждую пару.

Пример с числами: пусть $\tau = 0.05$, сходство с подходящим фрагментом $s(q, p^+) = 0.8$, а с двумя чужими — $0.7$ и $0.3$. Логиты $0.8/0.05 = 16$, $14$ и $6$; softmax даёт подходящему фрагменту вероятность $e^{16} / (e^{16} + e^{14} + e^{6}) \approx 0.88$, и loss $= -\ln 0.88 \approx 0.13$. Если бы чужой фрагмент был так же близок ($0.8$), вероятность упала бы до $\approx 0.5$, а loss вырос бы до $\approx 0.69$ — градиент «раздвинет» векторы.

Запрос и документ кодируются независимо — такая схема называется биэнкодербиэнкодерEN bi-encoderЗапрос и документ кодируются независимо, сходство — скалярное произведение векторов. Векторы документов считаются заранее, поэтому поиск быстрый.. Это главное инженерное преимущество: векторы всех чанков считаются заранее, при запросе кодируется только вопрос.

Префиксы и инструкции — не опция

Запросы короткие, документы длинные, и многие модели учили различать их явно:

• multilingual-e5: "query: " перед вопросом и "passage: " перед чанком;
• BGE v1.5 (английская и китайская): короткая инструкция перед запросом — для английской модели Represent this sentence for searching relevant passages: , для китайской — фраза на китайском с тем же смыслом («сгенерируй представление этого предложения для поиска связанных статей»; точный текст — в README модели);
• Qwen3-Embedding: запрос в виде Instruct: <описание задачи>\nQuery:<вопрос> (в README модели после Query: пробела нет), документы без инструкции.

Забыли префикс — модель работает «не в том режиме», и поиск молча становится хуже. Ошибки не будет.

Шаг 3. Косинусный поиск

Близость векторов меряют косинусным сходствомкосинусное сходствоEN cosine similarityКосинус угла между векторами — скалярное произведение, делённое на произведение длин. Для нормированных векторов равно скалярному произведению. (урок 1.1):

$$\cos(q, d) = \frac{q \cdot d}{\lVert q \rVert \, \lVert d \rVert} \in [-1, 1]$$

Если один раз при индексации нормировать все векторы на длину 1 (и так же нормировать вектор запроса при поиске), косинус превращается в обычное скалярное произведение: знаменатель равен $1 \cdot 1$. Поиск по всей базе — одно умножение матрицы эмбеддингов $E \in \mathbb{R}^{N \times d}$ на вектор запроса: $\text{scores} = E\,q$. Дальше берём $k$ лучших.

Оценим масштаб. 1 млн чанков × 1024 числа × 4 байта (float32) ≈ 4.1 ГБ — помещается в память обычного сервера. Умножение — около миллиарда умножений-сложений на запрос, это доли секунды на CPU. Полный перебор отлично работает до миллионов чанков. Для сотен миллионов нужен приближённый поиск (приближённый поиск ближайших соседейприближённый поиск ближайших соседей (ANN)EN approximate nearest neighbor search (ANN)Поиск похожих векторов без полного перебора (HNSW, IVF, PQ) ценой небольшой потери полноты.) и векторная база данныхвекторная база данныхEN vector database — это следующий урок.

Шаг 4. Сборка промпта

Найденные чанки вставляют в промпт по правилам прошлого урока: инструкция сверху, данные в разделителях, вопрос в конце. Шаблон, который вы реализуете в практике:

Ответь на вопрос, используя только источники ниже. Если ответа в источниках нет, напиши «Не знаю».
После каждого факта ставь номер источника в квадратных скобках, например [1].

Источники:
[1] DeepSeek-V3 — MoE-модель: 671 млрд параметров, из них 37 млрд активны на каждый токен.
[2] DeepSeek-R1 научилась рассуждать благодаря обучению с подкреплением по алгоритму GRPO.

Вопрос: Сколько параметров у DeepSeek-V3?
Ответ:

Три детали делают его надёжнее:

• «Только источники» + «Не знаю». Разрешение не отвечать снижает галлюцинации, когда поиск ничего не нашёл. Ещё лучше — не звать модель вовсе, если лучший score ниже порога.
• Нумерация и цитаты. [1], [2] позволяют показать пользователю, откуда факт, и проверить ответ автоматически (метрика faithfulness — в следующем уроке).
• Метаданные в источнике. Название документа и дата помогают модели разрешать противоречия («по регламенту 2026 года…»).

Лексический поиск: TF-IDF

До нейросетевых эмбеддингов поиск строили на словах — и он до сих пор полезен. TF-IDFTF-IDFEN TF-IDF (term frequency – inverse document frequency)Вес слова = частота в документе × «редкость» в корпусе. Классический разреженный (лексический) поиск. даёт каждому слову документа вес:

$$\begin{gathered} \text{tf}(t, d) = \frac{\text{count}(t, d)}{|d|}, \\ \text{idf}(t) = \ln\frac{1 + N}{1 + \text{df}(t)} + 1, \\ w(t, d) = \text{tf}(t, d)\cdot \text{idf}(t) \end{gathered}$$

Здесь $\text{count}(t, d)$ — сколько раз слово $t$ встречается в документе $d$, $|d|$ — сколько всего слов в документе, $N$ — число документов, $\text{df}(t)$ (document frequency) — в скольких из них встречается слово. Частое во всех документах слово («на», «от») получает маленький idf, редкое («MuonClip», «E-1042») — большой. Документ становится разреженным вектором: ненулевые веса только у его слов. Сравниваем запрос и документы тем же косинусом.

Пример с числами: в базе $N = 8$ документов. Слово «MuonClip» есть в одном из них: $\text{idf} = \ln\frac{9}{2} + 1 \approx 2.50$. Слово «модель» есть во всех восьми: $\text{idf} = \ln\frac{9}{9} + 1 = 1$. Если в документе из 20 слов «MuonClip» встречается дважды, $\text{tf} = 2/20 = 0.1$ и вес $w = 0.1 \cdot 2.50 = 0.25$; у «модели» при тех же двух вхождениях вес всего $0.1$. Единицы в формуле нужны, чтобы не делить на ноль и чтобы даже самое частое слово сохраняло ненулевой вес.

	TF-IDF / BM25 (лексический)	Эмбеддинги (плотный)
Точные термины: «Qwen3-235B-A22B», «ошибка E-1042»	отлично	может промахнуться
Синонимы, перефразировки	не видит	отлично
Формы слов: «контексте» ↔ «контекст»	не видит (нужен стемминг или лемматизация)	отлично
Однокоренные слова: «Пекине» ↔ «Пекинской»	не видит	обычно видит
Вопрос по-русски, документ по-английски	не работает	работает (мультиязычные модели)
Нужна модель и GPU/CPU-инференс	нет	да

Стемминг — обрезка окончаний по правилам («контексте» → «контекст»), лемматизация — приведение слова к словарной форме с помощью словаря («шли» → «идти»). Обе приводят формы одного слова к общему термину.

Для китайского текста есть дополнительная сложность: пробелов нет. Регулярное выражение \w+ («одна или больше букв или цифр подряд») режет текст по пробелам и знакам препинания, поэтому re.findall(r"\w+", …) вернёт всё китайское предложение одним «словом». Нужна сегментация словсегментация слов (в китайском тексте)EN word segmentationВ китайском письме нет пробелов, поэтому границы слов приходится находить алгоритмом. Поэтому по-китайски токенизатор часто так и называют — «сегментатор слов». (например, библиотека jieba) или поиск по символьным биграммам.

Лучшие системы используют оба подхода — гибридный поискгибридный поискEN hybrid searchОдновременный лексический (BM25) и векторный поиск с последующим слиянием выдач, например через RRF. разберём в следующем уроке. А сейчас соберём мини-RAG на TF-IDF своими руками.

Практика

Реализуйте на чистом Python TF-IDF-поиск по восьми документам о китайских моделях и сборку промпта с источниками. Обратите внимание на запрос «Какая погода в Пекине?»: все score равны нулю. В базе есть «Пекинской», но для TF-IDF «пекине» и «пекинской» — разные термины, а других общих слов нет. Здесь это к лучшему: про погоду в базе ничего нет, и нулевой score — честный сигнал «ответа нет». Но тот же эффект помешает, когда ответ в базе есть, а слово стоит в другой форме. Такой случай разберём в следующем уроке.

Мини-RAG на TF-IDF6 тестов

import math
import re
from collections import Counter

DOCS = [
    "Qwen — семейство открытых языковых моделей от Alibaba; многие версии выходят под лицензией Apache 2.0.",
    "DeepSeek-V3 — MoE-модель: 671 млрд параметров, из них 37 млрд активны на каждый токен.",
    "BGE — семейство эмбеддинг-моделей от BAAI, Пекинской академии искусственного интеллекта.",
    "Kimi K2 от Moonshot AI обучали оптимизатором MuonClip на 15.5 трлн токенов.",
    "RAG сначала находит релевантные документы, а затем передаёт их языковой модели вместе с вопросом.",
    "Косинусное сходство векторов — это скалярное произведение, делённое на произведение их длин.",
    "GLM-4.5 от Zhipu AI выпущена под лицензией MIT.",
    "DeepSeek-R1 научилась рассуждать благодаря обучению с подкреплением по алгоритму GRPO.",
]

INSTRUCTION = (
    "Ответь на вопрос, используя только источники ниже. "
    "Если ответа в источниках нет, напиши «Не знаю». "
    "После каждого факта ставь номер источника в квадратных скобках, например [1]."
)


def tokenize(text):
    """Нижний регистр + слова из букв и цифр (кириллица и латиница). Уже готово."""
    return re.findall(r"\w+", text.lower())


def compute_idf(docs_tokens):
    """Словарь {термин: idf} по списку токенизированных документов.

    idf(t) = ln((1 + N) / (1 + df(t))) + 1,
    где N — число документов, df(t) — в скольких документах встречается t
    (термин считается один раз на документ, сколько бы раз он там ни был).
    """
    # TODO: ваш код
    ...


def tfidf_vector(tokens, idf):
    """Разреженный TF-IDF-вектор {термин: вес}, нормированный на длину 1.

    tf(t) = (сколько раз t в tokens) / len(tokens); вес = tf(t) * idf[t].
    Нормировка: поделите каждый вес на sqrt(сумма квадратов всех весов).
    Термины, которых нет в idf, пропускайте. Пустой вход -> {}.
    Если ни одного термина нет в idf (длина вектора 0) -> тоже {}: делить на ноль нельзя.
    """
    # TODO: ваш код
    ...


def cosine(a, b):
    """Косинусное сходство двух разреженных векторов-словарей. Пустой вектор -> 0.0."""
    # TODO: ваш код
    ...


def search(query, docs, k=2):
    """Top-k документов: список пар (индекс, score) по убыванию score.

    При равных score меньший индекс идёт раньше.
    """
    # TODO: токенизируйте документы, посчитайте idf, векторы документов и запроса
    ...


def build_prompt(question, docs, hits):
    """Соберите промпт ровно в таком виде:

    <INSTRUCTION>
    (пустая строка)
    Источники:
    [1] <текст первого найденного документа>
    [2] <текст второго>
    (пустая строка)
    Вопрос: <question>
    Ответ:
    """
    # TODO: ваш код
    ...


# Проверьте себя кнопкой «Запустить»:
hits = search("Сколько параметров у DeepSeek-V3?", DOCS, k=2)
print(hits)
print(build_prompt("Сколько параметров у DeepSeek-V3?", DOCS, hits))

ЗапуститьПроверитьПодсказкаСбросить

Настоящие эмбеддинги локально

Тот же поиск на нейросетевых эмбеддингах — через библиотеку sentence-transformers (pip install sentence-transformers). Код требует скачать модель с Hugging Face (multilingual-e5-small — несколько сотен МБ, BGE-M3 — больше 2 ГБ), поэтому в среде курса мы его не запускали. Порядок результатов у вас должен совпасть с интуицией.

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("intfloat/multilingual-e5-small")   # или "BAAI/bge-m3" (без префиксов)

chunks = [
    "Чтобы сбросить пароль, откройте настройки профиля.",
    "Тарифы API: кэшированные токены дешевле.",
    "DeepSeek-V3 — MoE-модель на 671 млрд параметров.",
]
E = model.encode(["passage: " + c for c in chunks], normalize_embeddings=True)
q = model.encode("query: забыл пароль от аккаунта", normalize_embeddings=True)

scores = E @ q                          # косинус = скалярное произведение
for i in scores.argsort()[::-1]:
    print(f"{scores[i]:.3f}  {chunks[i]}")

У TF-IDF запрос «забыл пароль от аккаунта» найдёт первый чанк только по слову «пароль» и ничего не поймёт про «сбросить». Эмбеддинг-модель поставит его первым по смыслу.

Как устроен поиск по матрице, можно проверить и без скачивания — на случайных векторах (NumPy):

import time

import numpy as np

rng = np.random.default_rng(0)
N, d = 100_000, 1024                       # 100 тыс. чанков, размерность как у BGE-M3

E = rng.standard_normal((N, d), dtype=np.float32)
E /= np.linalg.norm(E, axis=1, keepdims=True)          # нормируем один раз при индексации

q = E[42] + 0.02 * rng.standard_normal(d, dtype=np.float32)  # «запрос», близкий к чанку 42
q /= np.linalg.norm(q)

t0 = time.perf_counter()
scores = E @ q                                         # косинус = скалярное произведение
top = np.argpartition(-scores, 5)[:5]                  # 5 лучших без полной сортировки
top = top[np.argsort(-scores[top])]
dt = (time.perf_counter() - t0) * 1000

print("top-5:", top.tolist())
print("score:", [round(float(s), 3) for s in scores[top]])
print(f"индекс: {E.nbytes / 1e6:.0f} МБ, поиск: {dt:.0f} мс")

top-5: [42, 2709, 18896, 17010, 8306]
score: [0.837, 0.134, 0.127, 0.126, 0.125]
индекс: 410 МБ, поиск: 35 мс

Время поиска зависит от процессора и библиотеки BLAS (низкоуровневая библиотека быстрых матричных операций, которую NumPy вызывает внутри @, урок 1.1.2): у нас выходило от 35 до 110 мс. Индексы top-5 и score у вас совпадут, потому что генератор зафиксирован (default_rng(0)).

Посмотрите на score «соседей»: даже лучшие из 99 999 случайных векторов набрали лишь около 0.13. В пространстве размерности 1024 случайные направления почти ортогональны: косинус двух случайных векторов в среднем равен 0, а его стандартное отклонение — $1/\sqrt{d} = 1/32 \approx 0.031$. Значение 0.13 — это примерно четыре таких отклонения, редкий выброс, который среди 100 тысяч кандидатов всё же находится. У настоящих эмбеддингов «фон» выше (тексты на одном языке и на похожие темы уже немного похожи), и у разных моделей он разный. Поэтому порог «ответа нет» подбирают для конкретной модели на своих данных.

Выбор эмбеддинг-модели

Модель	Кто	Языки	Размерность	Макс. длина	Особенности
BAAI/bge-m3	BAAI, Пекин	100+	1024	8192	dense, sparse и multi-vector в одной модели
intfloat/multilingual-e5-large / -small	Microsoft	≈100	1024 / 384	512	префиксы query: и passage:
Qwen/Qwen3-Embedding-0.6B (есть 4B и 8B)	Alibaba, Qwen	100+	1024 (у 4B — 2560, у 8B — 4096)	32K	инструкция в запросе; размерность можно урезать
BAAI/bge-large-zh-v1.5	BAAI	китайский	1024	512	инструкция для запросов

Как выбирать:

1. Начните с лидерборда MTEB (Massive Text Embedding Benchmark): там есть мультиязычные и отдельные языковые разделы, для китайского — C-MTEB.
2. Проверьте на своих данных. 30–50 реальных вопросов с известными ответами быстро покажут разницу. Как считать recall@k — в следующем уроке.
3. Учтите стоимость. Размерность 4096 вместо 1024 — вчетверо больше памяти индекса. Модель на 8B параметров для индексации миллиона чанков требует GPU.

Для русского языка разумная отправная точка — bge-m3 или multilingual-e5: обе мультиязычные, бесплатные и работают на CPU.

🖥 На вашей машине (4×GPU)

На CPU BGE-M3 хороша для сотен и тысяч чанков. С четырьмя картами можно проиндексировать настоящий корпус — 100 тыс. абзацев и больше: свои конспекты или русскую Википедию (датасет wikimedia/wikipedia, конфигурация 20231101.ru). Библиотека FlagEmbedding от авторов BGE сама разделит работу между картами:

# embed_corpus.py — pip install -U FlagEmbedding; в chunks.txt — по чанку на строку
import time

import numpy as np
import torch
from FlagEmbedding import BGEM3FlagModel

if __name__ == "__main__":         # обязательно: FlagEmbedding запускает отдельный процесс на каждую карту
    chunks = [line.strip() for line in open("chunks.txt", encoding="utf-8") if line.strip()]
    model = BGEM3FlagModel("BAAI/bge-m3", use_fp16=True,
                           devices=["cuda:0", "cuda:1", "cuda:2", "cuda:3"])
    t0 = time.time()
    out = model.encode(chunks, batch_size=128, max_length=512,
                       return_dense=True, return_sparse=True)
    dt = time.time() - t0
    print(f"{len(chunks)} чанков за {dt:.0f} с — {len(chunks) / dt:.0f} чанков/с")
    E = out["dense_vecs"]          # (N, 1024), векторы уже нормированы
    np.save("index_bge_m3.npy", E.astype(np.float16))
    # out["lexical_weights"] — разреженные веса слов, понадобятся для гибридного поиска (урок 8.2.2)

    # Поиск на GPU — та же формула E @ q, что в NumPy-примере выше
    E_gpu = torch.from_numpy(E).half().to("cuda:0")   # 1 млн векторов × 1024 × 2 байта ≈ 2 ГБ
    q = model.encode("забыл пароль от аккаунта")["dense_vecs"]
    scores = E_gpu @ torch.from_numpy(q).half().to("cuda:0")
    top = torch.topk(scores, 5)
    for s, i in zip(top.values.tolist(), top.indices.tolist()):
        print(f"{s:.3f}  {chunks[i][:80]}")

Сколько это займёт (оценка). Без таблицы эмбеддингов в BGE-M3 около 300M параметров, то есть ~0.6 GFLOPs на токен (правило $2N$ из урока 7.1.1). 100 тыс. чанков по ~256 токенов — это ~$1.5 \cdot 10^{16}$ FLOPs. На четырёх картах выйдут минуты, на одной — около десяти минут, на процессоре — часы. Замерьте чанков/с на CPU (devices="cpu", use_fp16=False, первые 2000 чанков) и на GPU — это ваше личное «во сколько раз». Память: веса в FP16 занимают чуть больше 1 ГБ, остальное — активации батча; если не хватает, уменьшите batch_size.

Что ещё попробовать.

• Порог «ответа нет». На настоящем корпусе постройте гистограмму лучших score для вопросов, ответ на которые в базе есть, и для «чужих» вопросов. Где проходит граница у BGE-M3 на ваших данных?
• Большая модель эмбеддингов. Qwen/Qwen3-Embedding-8B в BF16 весит около 16 ГБ — ровно случай «модель на 8B требует GPU» из списка выше. Проиндексируйте тот же корпус и сравните с BGE-M3 recall@5 на 30–50 своих вопросах (как считать — в следующем уроке). Инструкцию для запросов возьмите из карточки модели. Окупает ли выигрыш вчетверо больший индекс (4096 против 1024 чисел на вектор)?

Подробнее о машине — на странице «Ваша лаборатория».

Китайский угол: BGE и Qwen3-Embedding

BGE — от Пекинской академии ИИ. Серию BGE (BAAI General Embedding) выпускает BAAI — Пекинская академия искусственного интеллекта «Чжиюань». Работа C-Pack (arXiv:2309.07597) сразу дала всё для китайского языка: модели BGE, бенчмарк C-MTEB и обучающие данные. Код и модели лежат в репозитории FlagEmbedding под лицензией MIT.

BGE-M3 (январь 2024, arXiv:2402.03216) — «три M»: Multi-Linguality (100+ языков, включая русский), Multi-Granularity (тексты до 8192 токенов) и Multi-Functionality. Одна модель выдаёт плотный вектор, разреженные веса слов (как у лексического поиска) и мульти-векторное представление в стиле ColBERT — по вектору на каждый токен текста, а не один на весь чанк. Это делает её удобной основой гибридного поиска — следующий урок.

Qwen3-Embedding (arXiv:2506.05176) — эмбеддинг- и реранкер-модели на 0.6B, 4B и 8B на основе Qwen3. В README команда Qwen сообщает, что 8B-версия заняла первое место в мультиязычном лидерборде MTEB (на 5 июня 2025 года, балл 70.58).

Где учиться на китайском. Курс all-in-rag от Datawhale (CC BY-NC-SA) — полный стек RAG: от главы «RAG за четыре шага» через чанкинг, эмбеддинги и Milvus до гибридного поиска, оценки и графового RAG. Глава «Векторные эмбеддинги» объясняет выбор модели по MTEB — хорошее дополнение к этому уроку.

Проверь себя

Проверь себя6 вопросов·

1 Бот должен отвечать по внутренним регламентам компании, которые обновляются каждую неделю, и показывать, откуда взят ответ. Что выбрать?

Дообучить модель (LoRA) на регламентах раз в неделюRAG: индексировать регламенты и искать нужные кускиПоложить все регламенты в системный промптВзять модель побольше — она и так знает

2 2 млн чанков, эмбеддинги размерности 768 во float32. Сколько гигабайт ($10^9$ байт) займёт матрица? Округлите до десятых.

3 Вы используете multilingual-e5, но забыли префиксы query: и passage: . Что произойдёт?

Ошибка при вызове моделиНичего: префиксы — это просто комментарииПоиск будет работать, но тихо станет хуже: модель обучали с префиксамиВекторы получатся другой размерности

4 Какие утверждения верны?Можно выбрать несколько ответов

Для векторов единичной длины косинусное сходство равно скалярному произведениюКосинусное сходство лежит в отрезке $[-1, 1]$Косинусное сходство растёт, если вектор документа умножить на 10Случайные векторы большой размерности почти ортогональны

5 TF-IDF не нашёл ничего по запросу «Какая погода в Пекине?», хотя в базе есть «…Пекинской академии…». Почему?

Слово «Пекин» слишком частое, у него нулевой idf«пекине» и «пекинской» — разные термины для TF-IDF; он сравнивает слова, а не смыслНужно увеличить kДокумент слишком длинный

6 Как называется схема, где запрос и документ кодируются в векторы независимо друг от друга?

Проверить ответы

Итоги

• RAG = найти релевантные куски в своей базе + передать их модели с вопросом. Он даёт свежие и приватные знания, ссылки на источник и меньше галлюцинаций.
• Конвейер: загрузка → чанкинг → эмбеддинги → индекс; на запрос — эмбеддинг вопроса → top-k → промпт с источниками.
• Эмбеддинг-модели (BGE-M3, multilingual-e5, Qwen3-Embedding) обучены контрастивно и требуют своих префиксов или инструкций. Нормируйте векторы — и косинус станет скалярным произведением.
• TF-IDF ловит точные термины, эмбеддинги — смысл. Лучше всего работают вместе.

Когда документов много и они из разных частей бизнеса, полезно делить индексы по смыслу, а не по папкам: одно и то же слово в разных отделах значит разное. Как ограниченные контексты из DDD помогают строить RAG-индексы и инструменты агента — в уроке DDD.4.4 «DDD и системы с ИИ».

Дальше: продвинутый RAG — стратегии чанкинга, BM25 и гибридный поиск, реранкеры, векторные БД и, главное, как измерить качество RAG числами.