Что такое ИИ, машинное обучение и LLM — карта местности
Без формул и жаргона: чем ИИ отличается от машинного обучения и нейросетей, как ChatGPT, DeepSeek и Qwen пишут ответ по одному токену, чего они не умеют и какой путь от нуля до своей LLM ждёт вас в курсе.
Зачем это нужно
Заголовок раздела «Зачем это нужно»Добро пожаловать в самый первый урок! Если вы никогда не программировали — вы ровно там, где нужно. Курс начинается с нуля и шаг за шагом доходит до того, что вы сами обучите небольшую языковую модель на своих видеокартах и разберётесь, как устроены DeepSeek, Qwen и Kimi изнутри.
Перед дальним походом полезно посмотреть на карту. В этом уроке нет обязательного кода и формул. Мы разберём слова, которые вы будете слышать весь курс, — ИИ, машинное обучение, нейросеть, LLM, токен, — поймём, как чат-бот на самом деле пишет ответ, чего он не умеет, и посмотрим на маршрут. После урока вы сможете за пять минут объяснить другу, как работает ChatGPT, — и это будет правдой, а не магией.
Матрёшка: ИИ → машинное обучение → нейросети → LLM
Заголовок раздела «Матрёшка: ИИ → машинное обучение → нейросети → LLM»Эти четыре слова часто путают. На самом деле они вложены друг в друга, как матрёшка: каждое следующее — частный случай предыдущего.
flowchart TB
subgraph AI["Искусственный интеллект"]
R["Правила, написанные людьми:<br/>шахматная программа, навигатор"]
subgraph ML["Машинное обучение — правила из примеров"]
C["Спам-фильтр, рекомендации товаров,<br/>оценка цены квартиры"]
subgraph DL["Нейросети и глубокое обучение"]
V["Распознавание лиц и речи,<br/>машинный перевод"]
subgraph LLM["Большие языковые модели (LLM)"]
G["ChatGPT, DeepSeek, Qwen,<br/>Kimi, GLM, Claude"]
end
end
end
end
R ~~~ C
C ~~~ V
V ~~~ GИскусственный интеллект — большая цель
Заголовок раздела «Искусственный интеллект — большая цель»Искусственный интеллектискусственный интеллект (ИИ)EN artificial intelligence (AI) (ИИ) — это не конкретная технология, а цель: заставить компьютер делать то, что раньше умел только человек. Играть в шахматы, переводить, узнавать лица, отвечать на вопросы. Сам термин придумали в середине 1950-х для летнего семинара 1956 года в Дартмутском колледже (США).
Долгое время ИИ строили из правил, написанных людьми. Шахматная программа Deep Blue, обыгравшая Гарри Каспарова в 1997 году, перебирала ходы по алгоритмам, которые придумали инженеры. Навигатор ищет кратчайший путь по точному алгоритмуалгоритмEN algorithmТочная последовательность шагов для решения задачи — как рецепт. Программа — это алгоритм, записанный на языке программирования. — пошаговому рецепту. Это тоже ИИ, хотя в нём ничего не «учится».
Проблема правил видна на простом примере. Попробуйте описать правилами, как отличить кошку на фотографии от собаки. «Если острые уши — кошка»? У овчарки тоже острые уши. Каждое правило ломается об исключения, и через неделю у вас тысяча правил, которые всё равно ошибаются.
Машинное обучение — правила из примеров
Заголовок раздела «Машинное обучение — правила из примеров»Машинное обучениемашинное обучениеEN machine learning (ML) переворачивает подход. Человек не пишет правила — он показывает примеры с ответами, а компьютер сам находит правило. Так учится ребёнок: ему не дают определение кошки, ему показывают сотню кошек.
| Обычная программа | Машинное обучение | |
|---|---|---|
| Что даёт человек | Правила + данные | Данные + правильные ответы |
| Что получает | Ответы | Правило (его называют моделью) |
| Пример | «Если в письме слово “выигрыш” — спам» | 10 000 писем с пометками «спам / не спам» → фильтр |
Разберём на числах. Допустим, у нас есть данные о квартирах в одном районе:
| Площадь, м² | Цена, млн ₽ |
|---|---|
| 30 | 3,0 |
| 45 | 4,5 |
| 60 | 6,0 |
| 80 | 8,0 |
Нетрудно заметить правило: цена ≈ 0,1 × площадь (то есть 100 тысяч рублей за квадратный метр). Квартира на 52 м² по этому правилу стоит около 5,2 млн. Вот и вся идея машинного обучения:
- МодельмодельEN model — форма правила: «цена = k × площадь».
- ПараметрпараметрEN parameter — число внутри модели, которое нужно подобрать. Здесь это k = 0,1.
- ОбучениеобучениеEN training — подбор параметров так, чтобы модель меньше ошибалась на примерах.
- Датасетнабор данных, датасетEN dataset — набор примеров, на которых учимся (наша таблица).
В жизни данные «шумные»: одна квартира с ремонтом, другая у шоссе. Точного правила нет, и обучение ищет такое k, при котором ошибка в среднем минимальна. Ровно это вы сделаете своими руками на ступени 2 — с кодом и графиками.
Нейросети — миллионы «ручек»
Заголовок раздела «Нейросети — миллионы «ручек»»У модели «цена = k × площадь» один параметр. Чтобы узнавать лица или понимать речь, нужны модели с миллионами и миллиардами параметров. Самый успешный способ строить такие модели — нейронная сетьнейронная сетьEN neural network.
Представьте огромный микшерный пульт звукорежиссёра с миллионами ручек. На вход подаются числа (пиксели фотографии, слова текста), проходят через слои простых операций «умножить на число и сложить», а на выходе получается ответ. Каждая ручка — параметр (его ещё называют весом).
Обучение выглядит так:
- Показываем пример — фото кошки.
- Сеть отвечает «собака на 70%» — ошиблась.
- Чуть-чуть поворачиваем каждую ручку в ту сторону, где ошибка станет меньше.
- Повторяем миллионы раз на разных примерах.
Никто не настраивает ручки вручную: направление поворота вычисляет математика (производные и градиентный спуск — ступень 1). Когда слоёв много, говорят о глубоком обученииглубокое обучениеEN deep learning (deep learning). Слово «нейросеть» пришло из биологии, но современная нейросеть похожа на мозг примерно как самолёт на птицу: идея та же, устройство другое.
LLM — нейросеть, которая продолжает текст
Заголовок раздела «LLM — нейросеть, которая продолжает текст»Большая языковая модельбольшая языковая модель (БЯМ, LLM)EN large language model (LLM)В китайском «большая модель» («да мосин») — разговорное общее название для LLM и вообще foundation models. (LLM, large language model) — это нейросеть, обученная на огромном количестве текста решать одну задачу: угадывать следующий кусочек текста. Китайцы обычно говорят просто «большая модель» — «да мосин».
Насколько «большая»? Возьмём DeepSeek-V3 (декабрь 2024):
- 671 млрд параметров — ручек на нашем пульте. Причём на каждый кусочек текста работают только 37 млрд из них: модель состоит из множества «экспертов» и для каждого кусочка включает лишь нескольких. Об этом трюке (MoE) — на ступени 5.
- 14,8 трлн токенов (кусочков текста, о них чуть ниже) обучающего текста. Если читать по одному токену в секунду без сна и выходных, на это ушло бы около 470 тысяч лет.
ChatGPT, DeepSeek, Qwen, Kimi, GLM, Claude — всё это LLM, обёрнутые в удобный чат. Программу, с которой разговаривают текстом, называют чат-ботомчат-бот, ИИ-ассистентEN chatbot, AI assistantПрограмма, с которой разговаривают текстом. Современные чат-боты (ChatGPT, DeepSeek, Qwen Chat, Kimi) построены на LLM., а ИИ, который создаёт новый текст, картинки или код, — генеративным ИИгенеративный ИИEN generative AIИИ, который создаёт новый контент (текст, картинки, звук, код), а не только классифицирует готовый. В китайских документах часто пишут сокращённо — «генеративный AI», с английской аббревиатурой..
Как чат-бот пишет ответ: вид с высоты птичьего полёта
Заголовок раздела «Как чат-бот пишет ответ: вид с высоты птичьего полёта»Вы задаёте вопрос, и ответ появляется на экране не сразу, а по кусочку, будто кто-то печатает. Это не спецэффект: модель действительно пишет по одному кусочку за раз. Вот весь путь целиком.
flowchart LR A["Ваш текст:<br/>«Столица Китая —»"] --> B["Токены:<br/>кусочки текста"] B --> C["Числа:<br/>номера токенов"] C --> D["Нейросеть<br/>(миллиарды параметров)"] D --> E["Вероятности<br/>следующего токена"] E --> F["Выбор:<br/>« Пекин»"] F -->|"добавляем к тексту<br/>и повторяем"| B
Шаг 1. Текст режется на токены
Заголовок раздела «Шаг 1. Текст режется на токены»Нейросеть не видит буквы — она работает с числами. Поэтому текст сначала нарезают на кусочки — токенытокенEN tokenВ разговорной речи и статьях китайцы чаще всего пишут просто «token». — и каждому кусочку сопоставляют номер из словаря. Токен — это обычно часть слова: частое слово может быть одним токеном, редкое разбивается на несколько.
Условный пример (настоящее деление зависит от конкретной модели):
| Текст | Токены (условно) |
|---|---|
| «Карп прыгает» | «Карп» · « пры» · «гает» |
| «Hello, world» | «Hello» · «,» · « world» |
Словари современных моделей огромны: у Qwen около 152 тысяч токенов, у DeepSeek-V3 около 129 тысяч. Как строить такой словарь, вы узнаете на ступени 4 и сами напишете токенизатор.
Шаг 2. Модель угадывает следующий токен
Заголовок раздела «Шаг 2. Модель угадывает следующий токен»Получив номера токенов, нейросеть выдаёт вероятность для каждого токена словаря: насколько он подходит следующим. Это и есть предсказание следующего токенапредсказание следующего токенаEN next-token predictionГлавная задача языковой модели — по началу текста оценить вероятности следующего токена. Ответ чат-бота собирается из таких шагов по одному токену.. Условные числа для начала «Столица Китая —»:
| Следующий токен | Вероятность |
|---|---|
| « Пекин» | 0,92 |
| « город» | 0,03 |
| « Бэйцзин» | 0,01 |
| …ещё 150 тысяч вариантов | всё остальное |
Похоже на подсказки клавиатуры в телефоне, только клавиатура смотрит на 2–3 последних слова, а LLM — на весь разговор (до сотен тысяч токенов), и при обучении она «прочитала» огромную часть интернета.
Шаг 3. Выбор и повтор
Заголовок раздела «Шаг 3. Выбор и повтор»Из вероятностей выбирается один токен — иногда самый вероятный, иногда случайный с учётом вероятностей (поэтому на один и тот же вопрос модель может ответить по-разному). Токен дописывается к тексту, и весь цикл повторяется. Ответ из 300 токенов — это 300 оборотов цикла. Остановка — когда модель выберет специальный токен «конец ответа».
Откуда у модели манеры ассистента
Заголовок раздела «Откуда у модели манеры ассистента»Если обучить модель только продолжать интернет-текст, получится эрудит со странностями. На вопрос «Как сварить борщ?» такая модель может продолжить список вопросов, как на форуме, вместо ответа. Поэтому обучение идёт в два этапа:
- Предобучениепредобучение, претрейнEN pretraining (pretraining). Модель «читает» триллионы токенов и учится продолжать любой текст. Так она набирается знаний о языке и мире. Это самый дорогой этап: недели работы тысяч видеокарт.
- Пост-трейнингпост-трейнинг, дообучение после претрейнаEN post-training (post-training). Модель доучивают на примерах диалогов «вопрос → хороший ответ», а потом — с помощью обучения с подкреплениемобучение с подкреплениемEN reinforcement learning (RL): модель пробует разные ответы, а за полезные и безопасные получает «награду» и начинает выдавать такие чаще. Эрудит проходит стажировку консультантом.
Аналогия: сначала студент прочитал всю библиотеку, потом научился отвечать на вопросы клиентов. С 2025 года популярны ещё и рассуждающиерассуждениеEN reasoning⚠️ В китайском одно слово («туйли») означает и «рассуждение» (reasoning), и «инференс» (inference). Смысл определяется по контексту. «Модель туйли» — reasoning-модель, «ускорение туйли» — ускорение инференса. модели — например, DeepSeek-R1. Перед ответом они пишут длинный черновик рассуждений: пробуют, проверяют себя, исправляются. Как этого добились с помощью обучения с подкреплением, вы разберёте на ступени 6.
Чего ИИ не умеет
Заголовок раздела «Чего ИИ не умеет»LLM впечатляют, но у них есть системные слабости. Важно знать их с первого дня — особенно тому, кто будет учиться вместе с ИИ-помощником.
| Умеет хорошо | Слабое место | Почему так |
|---|---|---|
| Объяснять, пересказывать, переводить | Галлюцинации: уверенно выдумывает факты, книги, функции в библиотеках | Модель обучена выдавать правдоподобный текст, а не проверять факты |
| Писать и объяснять код | Не знает событий после даты среза знаний | Учебные данные закончились в какой-то момент |
| Решать задачи с рассуждением | Ошибается в подсчёте букв и в длинной арифметике «в уме» | Видит токены, а не буквы и цифры по отдельности |
| Работать с инструментами (поиск, код) | Не помнит вас между разговорами и не видит текст длиннее своего «окна» (контекста) | Модель не меняется после обучения; её «память» — только текст, который ей подали в этом разговоре |
Пара пояснений:
- ГаллюцинациигаллюцинацияEN hallucination — главный риск. Попросите модель рассказать про несуществующий роман Пушкина, и слабая модель охотно перескажет сюжет. Для того, кто учится программировать, опаснее всего выдуманные команды в коде (например, несуществующие функции из готовых наборов чужого кода — библиотек, о них в модуле 0.1): код выглядит убедительно, но не запускается.
- Дата среза знанийдата среза знанийEN knowledge cutoffМомент, на котором закончились обучающие данные модели. О более поздних событиях модель не знает, если ей не дать поиск.: модель не знает свежих новостей, если ей не дали поиск в интернете.
- Подсчёт букв. В слове «обороноспособность» 7 букв «о». Модели долго ошибались в таких вопросах: слово для них — несколько токенов, а не 18 отдельных букв. Современные рассуждающие модели справляются лучше, потому что «выписывают» слово по буквам в черновике.
Почему Китай — второй центр AI-мира
Заголовок раздела «Почему Китай — второй центр AI-мира»Ещё несколько лет назад почти все сильные модели делали в США. Сейчас у мира AI два центра, и второй — Китай. Вот факты, которые вы встретите в курсе не раз:
| Лаборатория | Модели | Чем известна |
|---|---|---|
| DeepSeek | V3, R1, V4 | Эффективное обучение, открытые веса по лицензии MIT |
| Alibaba | Qwen | Огромная линейка открытых моделей — от 0,6 млрд до сотен миллиардов параметров |
| Moonshot AI | Kimi | K2 — 1 трлн параметров, оптимизатор MuonClip |
| Zhipu (Z.ai) | GLM | GLM-4.5 и GLM-5 с открытыми весами |
| MiniMax | MiniMax-01, M1–M3 | Эксперименты с эффективным вниманием для длинных текстов |
«Момент DeepSeek». В январе 2025 года вышла DeepSeek-R1 — рассуждающая модель, сопоставимая с лучшими американскими моделями того времени, и с открытыми весами. Приложение DeepSeek поднялось на первое место в американском App Store, а акции NVIDIA за один день упали примерно на 17%. Позже статью о R1 опубликовал журнал Nature.
Эффективность вместо грубой силы. Из-за экспортных ограничений США китайские лаборатории не могут свободно покупать лучшие видеокарты NVIDIA. Им пришлось выжимать максимум из того, что есть: финальное обучение DeepSeek-V3 заняло около 2,8 млн GPU-часов на урезанных картах H800 — примерно 5,6 млн долларов по ценам аренды. Это только финальный прогон, без экспериментов и зарплат, но для модели такого уровня — удивительно мало. Как это сделано (MoE, MLA, FP8) — тема ступени 5.
Открытые веса. Модель с открытыми весамиоткрытые весаEN open weights можно скачать и запустить у себя. По отчёту Hugging Face за весну 2026 года, на китайские модели пришлось около 41% скачиваний за год, а у Qwen больше 113 тысяч производных моделей — больше, чем у Google и Meta вместе. Для нас это значит: лучшие учебные «подопытные» — Qwen и DeepSeek — бесплатно доступны и разобраны в открытых статьях.
Люди и образование. В Китае огромное сообщество разработчиков и бесплатные учебные материалы мирового уровня: книги и курсы Datawhale, «Dive into Deep Learning» на китайском (d2l-zh), лекции Ли Хунъи, учебная модель MiniMind. Мы будем опираться на них весь курс. А ещё Китай учит ИИ со школы — об этом ниже.
Карта курса: от нуля до своей LLM
Заголовок раздела «Карта курса: от нуля до своей LLM»Курс устроен как путешествие по шести «островам» — эту идею мы взяли у китайского практического лагеря по большим моделям InternLM Camp Шанхайской лаборатории ИИ.
flowchart LR L0["🏝 Вход<br/>ступень 0:<br/>Python, NumPy"] --> L1["🏝 Фундамент<br/>ступени 1–3:<br/>математика, ML, нейросети"] L1 --> L2["🏝 Трансформер<br/>ступени 4–5:<br/>GPT с нуля, большие модели"] L2 --> L3["🏝 Пост-трейнинг и системы<br/>ступени 6–7:<br/>SFT, GRPO, инференс"] L3 --> L4["🏝 Приложения и фронтир<br/>ступени 8–10:<br/>RAG, агенты, своя LLM"] L4 --> L5["🏝 Профессия<br/>ступень 11:<br/>работа, собеседования"]
| Ступень | Что вы научитесь делать | Часов |
|---|---|---|
| 0. Инструменты и Python | Писать на Python и NumPy, работать в терминале и Git | 27 |
| 1. Математика для ML | Вспомнить и применить ровно ту математику, на которой стоят нейросети | 38 |
| 2. Основы ML | Обучать простые модели и честно измерять их качество | 26 |
| 3. Нейросети | Написать нейросеть и автоград с нуля, освоить PyTorch | 29 |
| 4. Языковые модели | Написать токенизатор и GPT с нуля, сгенерировать текст | 51 |
| 5. Большие модели | Разобрать MoE, MLA, FP8 и обучить свою мини-LLM | 53 |
| 6. Пост-трейнинг | Превратить модель в ассистента: SFT, LoRA, DPO, GRPO | 33 |
| 7. Инференс и оценка | Запускать модели быстро и дёшево, измерять качество | 15 |
| 8. Приложения | Строить RAG и агентов с инструментами | 28 |
| 9. Мультимодальность и фронтир | Понимать модели для картинок и звука, следить за новинками, разбираться в безопасности ИИ | 34 |
| 10. Выпускной проект | Собрать полный цикл: токенизатор → претрейн → SFT → GRPO → сервер → агент | 30 |
| 11. Профессия | Работать «как на работе», проектировать ML-системы, пройти собеседование | 108 |
Всего около 470 часов, из них около 110 — ступень «Профессия». При 8–10 часах в неделю ступени 0–10 займут 9–12 месяцев вместе с повторением, а «Профессия» — ещё 3–4 месяца. Три правила маршрута:
- Спираль. Темы возвращаются на новом уровне. Например, кодировку текста вы встретите в следующем уроке, потом при работе с файлами, а потом — при написании токенизатора.
- Сначала руками, потом фреймворк. Сначала пишем механизм сами на чистом Python, потом берём готовую библиотеку.
- Ваше железо. С 4 видеокартами по 32 ГБ вы на ступени 5 обучите учебную модель MiniMind за часы, а на ступени 6 дообучите настоящую Qwen. До ступени 5 хватит обычного процессора.
Практика
Заголовок раздела «Практика»Эксперимент 1. Поговорите с LLM как исследователь
Заголовок раздела «Эксперимент 1. Поговорите с LLM как исследователь»Откройте любой чат-бот: DeepSeek, Qwen Chat или другой, которым вы пользуетесь. Проделайте четыре опыта и запишите, что заметили:
- Генерация по кусочку. Попросите длинный ответ («Расскажи историю шахмат на 10 абзацев») и посмотрите, как он появляется.
- Случайность. Задайте один и тот же вопрос дважды в новых чатах («Придумай название для кота»). Ответы совпали?
- Галлюцинация. Спросите о несуществующем: «Перескажи роман Пушкина „Карп и дракон”». Модель признаётся, что такого романа нет, или сочиняет?
- Буквы. «Сколько букв „о” в слове „обороноспособность”?» Правильный ответ — 7.
Эксперимент 2. Языковая модель в 25 строк
Заголовок раздела «Эксперимент 2. Языковая модель в 25 строк»Заглянем под капот. Ниже — настоящая, хоть и крошечная, языковая модель. Она «обучается» на четырёх предложениях:
запоминает, какое слово шло после какого, и по этим подсчётам предсказывает следующее слово.
Понимать каждую строку пока не нужно — комментарии после # объясняют идею.
Запустить код можно в окне Python из следующего урока: вставьте его туда (можно ниже кода задания) и нажмите «▶ Запустить» — эта кнопка выполняет любой код.
from collections import Counter
# 1. Обучающий «корпус» — крошечный текст. Точка — тоже «слово».text = ("карп плывёт против течения . " "карп прыгает через врата . " "карп становится драконом . " "дракон летит над рекой .")words = text.split() # режем текст по пробелам на слова
# 2. «Обучение»: для каждого слова запоминаем, какие слова шли после негоfollowing = {}for current, nxt in zip(words, words[1:]): following.setdefault(current, []).append(nxt)
# 3. «Модель»: вероятности следующего слова = доли в подсчётеdef predict(word): counts = Counter(following[word]) total = sum(counts.values()) return {w: round(c / total, 2) for w, c in counts.items()}
print(predict("карп"))print(predict("."))
# 4. «Генерация»: много раз берём самое вероятное следующее словоword = "дракон"sentence = [word]for _ in range(10): word = Counter(following[word]).most_common(1)[0][0] sentence.append(word)print(" ".join(sentence))Ожидаемый вывод:
{'плывёт': 0.33, 'прыгает': 0.33, 'становится': 0.33}{'карп': 0.67, 'дракон': 0.33}дракон летит над рекой . карп плывёт против течения . карпЧто здесь видно:
- После «карп» в тексте было три разных слова, поэтому у каждого вероятность ⅓. После точки два раза шёл «карп» и один раз «дракон»: ⅔ и ⅓.
- Генерация — тот же цикл, что у DeepSeek: предсказать → выбрать → дописать → повторить.
- Модель смотрит только на одно предыдущее слово, поэтому быстро начнёт ходить по кругу («карп плывёт против течения . карп…»). Настоящие LLM смотрят на весь текст сразу — за это отвечает механизм внимания (attention), который вы напишете на ступени 4.
Проверь себя
Заголовок раздела «Проверь себя»- ИИ ⊃ машинное обучение ⊃ нейросети ⊃ LLM. Машинное обучение находит правила по примерам; нейросеть — модель с миллионами «ручек»-параметров.
- LLM угадывает следующий токен. Ответ собирается в цикле: токены → модель → вероятности → выбор → дописать → повторить.
- Ассистент получается в два этапа: предобучение на триллионах токенов и пост-трейнинг на диалогах.
- У LLM есть системные слабости: галлюцинации, дата среза знаний, подсчёт букв. ИИ — репетитор, а не источник истины.
- Китай — второй центр AI-мира: сильные открытые модели, эффективное обучение и ИИ-образование со школы.
Дальше: как компьютер вообще выполняет программу — процессор, память, видеокарта, байты и кодировки. И первые строки на Python прямо в браузере.