MIT 18.06SC: путеводитель по линейной алгебре Стрэнга

18.06 Linear Algebra — самый известный курс линейной алгебры в мире. Его десятилетиями читает в MIT Гилберт Стрэнг, автор учебника Introduction to Linear Algebra. Версия 18.06SC (буквы SC означают OCW Scholar) собрана специально для тех, кто учится сам, без преподавателя. Всё лежит в открытом доступе под лицензией CC BY-NC-SA 4.0, поэтому ключевые конспекты лекций мы перевели полностью — ссылки ниже.

Что на этой странице и откуда

Путеводитель составлен по официальному архиву курса на OCW: описанию курса, страницам занятий («Session Overview», рекомендованные разделы учебника, названия разборов задач) и конспектам лекций в PDF. Описание курса и краткие описания занятий переведены, остальное — наш комментарий: зачем каждое занятие нужно для нейросетей и к какому уроку курса ChinaAI оно относится. Страница распространяется на тех же условиях, что и оригинал: CC BY-NC-SA 4.0, © MIT OpenCourseWare.

Что это за курс (перевод описания с OCW)

Курс охватывает теорию матриц и линейную алгебру с упором на темы, полезные в других дисциплинах: физике, экономике и общественных науках, естественных науках и инженерии. Он повторяет сочетание теории и приложений из учебника профессора Стрэнга Introduction to Linear Algebra.

Формат курса. Курс рассчитан на самостоятельное изучение и содержит всё, что нужно, чтобы понять изучаемые понятия:

• полный набор видеолекций профессора Гилберта Стрэнга;
• краткие конспекты ко всем видео и рекомендованные разделы учебника Стрэнга;
• видеоразборы задач по каждой теме от опытного преподавателя семинаров MIT;
• задачи для самостоятельной работы с решениями для проверки;
• подборка Java-демонстраций, иллюстрирующих ключевые понятия;
• полный набор экзаменов с решениями и материалы для подготовки к ним.

Видео лекций записаны осенью 1999 года (это сказано на странице занятия о псевдообратной матрице), поэтому картинка старая. Объяснения от этого не устарели: Стрэнг рисует мелом на доске, и это до сих пор лучшие лекции по предмету.

Как учиться по нему вместе с ChinaAI

Наш модуль 1.1 «Линейная алгебра» даёт ровно ту часть, без которой не понять нейросети: векторы, матрицы как преобразования, ранг, SVD. Стрэнг идёт шире и глубже. Целиком 18.06SC — это семестр (около 35 занятий по 50 минут плюс задачи), а нужна вам примерно треть.

1. Сначала интуиция. Посмотрите 3Blue1Brown «Essence of linear algebra» (есть русские субтитры) — картинки, как матрица двигает плоскость.

2. Потом урок курса. Например, «Матрицы и матричное умножение».

3. Потом занятие Стрэнга по той же теме — видео, а затем конспект. Переведённые конспекты лежат на страницах ниже; читайте их до или после видео.

4. Задачи. У каждого занятия на OCW есть задачи (Problems) и решения (Solutions). Решите 2–3 задачи на бумаге и проверьте себя в NumPy.

Если английский на слух даётся тяжело, включите автоперевод субтитров на YouTube или закадровый перевод в Яндекс Браузере. К каждой лекции на OCW есть ещё и расшифровка (transcript) в PDF: её удобно прогнать через переводчик и читать параллельно.

Переведённые конспекты

Страница	Лекции Стрэнга	К уроку ChinaAI
Часть 1: матрицы как преобразования	1, 3, 30	1.1.2 Матрицы
Часть 2: ранг и четыре подпространства	7, 8, 10, 11	1.1.3 Ранг, SVD
Часть 3: собственные числа	21, 22, 25	1.1.3
Часть 4: SVD, смена базиса, псевдообратная	29, 31, 33	1.1.3

Карта курса

Курс разбит на три раздела (Unit). Важность — для того, кто идёт к LLM: ★★★ — обязательно, ★★ — полезно, ★ — можно пропустить при первом проходе. Разделы учебника указаны для 5-го издания (в 4-м они почти совпадают; где нет — смотрите страницу занятия на OCW).

Раздел I. Ax = b и четыре подпространства

Занятие (номер лекции)	О чём (по описанию OCW)	Урок ChinaAI	Важность
1.1. The Geometry of Linear Equations (1)	Три взгляда на систему уравнений: по строкам, по столбцам и матричный. Конспект переведён	1.1.2	★★★
1.2. Elimination with Matrices (2)	Метод исключения Гаусса как простой алгоритм, записанный через умножение матриц	—	★
1.3. Multiplication and Inverse Matrices (3)	Умножение матриц с пяти точек зрения; обратная матрица методом Гаусса — Жордана. Конспект переведён	1.1.2	★★★
1.4. Factorization into A = LU (4)	Обратные, транспонированные и перестановочные матрицы; разложение $A = LU$; сколько работы стоит обратить большую матрицу	—	★
1.5. Transposes, Permutations, Vector Spaces (5)	Перестановки в методе исключения ($PA = LU$), затем векторные пространства и подпространства	1.1.1	★★
1.6. Column Space and Nullspace (6)	Пространство столбцов говорит, когда у $Ax = b$ есть решение; нуль-пространство — какие $x$ решают $Ax = 0$	1.1.3	★★
1.7. Solving Ax = 0: Pivot Variables, Special Solutions (7)	Исключение для любых матриц; число ведущих элементов — это ранг; ступенчатая форма $R$. Конспект переведён	1.1.3	★★★
1.8. Solving Ax = b: Row Reduced Form R (8)	Все решения $Ax = b$ через свободные переменные и частные решения. Конспект переведён	1.1.3	★★
1.9. Independence, Basis and Dimension (9)	Базис — наименьший набор векторов, комбинации которых дают всё пространство; их число — размерность	1.1.1	★★★
1.10. The Four Fundamental Subspaces (10)	Пространство столбцов, нуль-пространство, пространство строк и левое нуль-пространство. Конспект переведён	1.1.3	★★★
1.11. Matrix Spaces; Rank 1; Small World Graphs (11)	Векторами бывают не только столбцы чисел; матрицы ранга 1; начало графов. Конспект переведён	1.1.3	★★★
1.12. Graphs, Networks, Incidence Matrices (12)	Линейная алгебра электрических цепей и интернета	—	★
1.13. An Overview of Key Ideas	Обзорная лекция из курса Стрэнга 18.085: векторы → матрицы → подпространства	1.1.2	★★
1.14. Exam 1 Review, Exam 1	Повторение и экзамен с решениями	—	★

Раздел II. Наименьшие квадраты, определители и собственные числа

Занятие (номер лекции)	О чём (по описанию OCW)	Урок ChinaAI	Важность
2.1. Orthogonal Vectors and Subspaces (14)	Ортогональные базисы; четыре подпространства попарно ортогональны; матрица $A^T A$	1.1.1	★★
2.2. Projections onto Subspaces (15)	Проекция вектора на подпространство — начало «наилучшего приближения»	1.1.1	★★★
2.3. Projection Matrices and Least Squares (16)	Линейная регрессия как проекция; метод наименьших квадратов через $A^T A$	2.2.1 Линейная регрессия	★★★
2.4. Orthogonal Matrices and Gram-Schmidt (17)	Ортонормированные векторы и ортогональные матрицы; процесс Грама — Шмидта	5.4.4 Muon	★★
2.5. Properties of Determinants (18)	Определитель задают три свойства, из них выводятся ещё семь, например $\det AB = \det A \cdot \det B$	—	★
2.6. Determinant Formulas and Cofactors (19)	Две формулы для определителя	—	★
2.7. Cramer’s Rule, Inverse Matrix and Volume (20)	Формула обратной матрицы через алгебраические дополнения; правило Крамера; определитель как объём	—	★
2.8. Eigenvalues and Eigenvectors (21)	Если $Ax$ смотрит туда же, куда $x$, то $x$ — собственный вектор. Конспект переведён	1.1.3	★★★
2.9. Diagonalization and Powers of A (22)	$A = S \Lambda S^{-1}$, степени матрицы, разностные уравнения. Конспект переведён	1.1.3	★★★
2.10. Differential Equations and exp(At) (23)	Матричная экспонента и системы дифференциальных уравнений	—	★
2.11. Markov Matrices; Fourier Series (24)	Марковские матрицы и ряды Фурье	6.0.1	★★
2.12. Exam 2 Review, Exam 2	Повторение и экзамен с решениями	—	★

Раздел III. Положительно определённые матрицы и приложения

Занятие (номер лекции)	О чём (по описанию OCW)	Урок ChinaAI	Важность
3.1. Symmetric Matrices and Positive Definiteness (25)	У симметричных матриц вещественные собственные числа и ортогональные собственные векторы. Конспект переведён	2.3.2 PCA	★★★
3.2. Complex Matrices; Fast Fourier Transform (26)	Комплексные матрицы, матрица Фурье и быстрое преобразование Фурье	4.5.2 RoPE	★★
3.3. Positive Definite Matrices and Minima (27)	Минимум функции многих переменных: матрица вторых производных положительно определена	1.4.1	★★
3.4. Similar Matrices and Jordan Form (28)	Подобные матрицы $B = M^{-1} A M$ и жорданова форма	—	★
3.5. Singular Value Decomposition (29)	Любая матрица $A = U \Sigma V^T$. Конспект переведён	1.1.3	★★★
3.6. Linear Transformations and their Matrices (30)	Что линейное преобразование делает со всеми векторами пространства. Конспект переведён	1.1.2	★★★
3.7. Change of Basis; Image Compression (31)	Смена базиса и сжатие изображений. Конспект переведён	1.1.3	★★★
3.8. Left and Right Inverses; Pseudoinverse (33)	Левая и правая обратные, псевдообратная матрица. Конспект переведён	1.1.3	★★
3.9. Exam 3 Review, Exam 3; Final Exam	Повторение, экзамены с решениями и итоговое повторение курса	—	★

Минимальный маршрут для LLM (≈12 лекций)

1, 3, 7, 9, 10, 11 → 15, 16 → 21, 22, 25 → 29, 30, 31. После них вы свободно читаете любые формулы с матрицами в статьях о трансформерах, понимаете, почему LoRA — это «низкий ранг», и что делает SVD при сжатии весов.

Почему эти темы важны именно для нейросетей

• Матрица как преобразование (лекции 1, 3, 30). Линейный слой nn.Linear — это умножение на матрицу. Взгляд «$Ax$ — комбинация столбцов $A$» помогает читать код внимания: выход головы — взвешенная сумма векторов value.
• Ранг и подпространства (7–11). Матрица ранга $r$ «пропускает» только $r$ независимых направлений. На этом построены LoRA (урок 6.2.1) и сжатие KV-кэша в MLA (урок 5.2.2).
• Проекции и наименьшие квадраты (15, 16). Это линейная регрессия в матричной форме — первая модель, которую вы обучаете на ступени 2 (урок 2.2.1).
• Собственные числа (21, 22, 25). Объясняют, почему при многократном умножении на одну матрицу сигнал взрывается или затухает (исчезающий градиент в RNN), и что такое «спектральная норма».
• SVD (29, 31, 33). Лучшее приближение матрицы матрицей низкого ранга, PCA (урок 2.3.2), анализ весов моделей.

Что ещё есть на OCW

• Recitation videos — разборы задач преподавателем семинаров по каждой теме (короткие, 10–15 минут).
• Problems and Solutions к каждому занятию; три экзамена и итоговый экзамен с решениями.
• Instructor Insights — заметки Стрэнга о том, как он преподаёт.
• Учебник Introduction to Linear Algebra — платный, но курс проходится и без него: конспектов хватает.

Что смотреть дальше

• MIT 18.065 «Matrix Methods in Data Analysis, Signal Processing, and Machine Learning» — следующий курс Стрэнга, прямо про матрицы в машинном обучении (материалы — в репозитории mitmath/18065).
• MIT 18.S096 Matrix Calculus — производные по матрицам; наш путеводитель — здесь.