MIT 18.06SC, часть 1: матрицы как преобразования

Это перевод официальных конспектов (lecture summaries) к трём лекциям Гилберта Стрэнга из курса MIT 18.06SC. Карта всего курса — в путеводителе. Перевод распространяется под лицензией CC BY-NC-SA 4.0, © MIT OpenCourseWare.

Как читать вместе с курсом ChinaAI

Все три конспекта — к уроку «Матрицы и матричное умножение». Лекцию 1 можно читать сразу после урока о векторах, лекцию 30 — когда в уроке дойдёте до раздела «Матрица — это преобразование пространства». Рисунки оригинала описаны словами; блоки «Проверьте в NumPy» — наше дополнение, в оригинале их нет. Опечатки оригинала исправлены и отмечены примечаниями переводчика.

Лекция 1. Геометрия линейных уравнений

Основная задача линейной алгебры — решить $n$ линейных уравнений с $n$ неизвестными, например:

$$\begin{aligned} 2x - y &= 0 \\ -x + 2y &= 3. \end{aligned}$$

В этой первой лекции по линейной алгебре мы посмотрим на эту задачу тремя способами.

Система выше двумерная ($n = 2$). Добавив третью переменную $z$, мы могли бы расширить её до трёх измерений.

Картина по строкам

Нарисуйте точки, которые удовлетворяют каждому уравнению. Пересечение графиков (если они пересекаются) и есть решение системы. По рисунку 1 видно, что решение системы — $x = 1$, $y = 2$.

Рисунок 1: прямые $2x - y = 0$ и $-x + 2y = 3$ пересекаются в точке $(1, 2)$. На рисунке на плоскости $xy$ проведены две прямые: первая проходит через начало координат, вторая — через точку $(0;\,1{,}5)$; они встречаются в точке $(1, 2)$.

Подставим решение в исходную систему, чтобы проверить себя:

$$\begin{aligned} 2 \cdot 1 - 2 &= 0 \\ -1 + 2 \cdot 2 &= 3. \end{aligned}$$

Решение трёхмерной системы уравнений — общая точка пересечения трёх плоскостей (если такая есть).

Картина по столбцам

В картине по столбцам мы переписываем систему линейных уравнений как одно уравнение: коэффициенты из столбцов системы превращаются в векторы:

$$x \begin{bmatrix} 2 \\ -1 \end{bmatrix} + y \begin{bmatrix} -1 \\ 2 \end{bmatrix} = \begin{bmatrix} 0 \\ 3 \end{bmatrix}.$$

Для двух векторов $c$ и $d$ и чисел $x$ и $y$ сумма $xc + yd$ называется линейной комбинацией векторов $c$ и $d$. Линейные комбинации важны на протяжении всего курса.

Геометрически мы хотим найти такие числа $x$ и $y$, чтобы $x$ копий вектора $\begin{bmatrix} 2 \\ -1 \end{bmatrix}$, сложенные с $y$ копиями вектора $\begin{bmatrix} -1 \\ 2 \end{bmatrix}$, дали вектор $\begin{bmatrix} 0 \\ 3 \end{bmatrix}$. Как видно на рисунке 2, $x = 1$ и $y = 2$, что совпадает с картиной по строкам.

Рисунок 2: линейная комбинация векторов-столбцов равна вектору $b$. На рисунке из начала координат отложен вектор $(2, -1)$, к его концу пристроены две копии вектора $(-1, 2)$, и цепочка приходит в точку $(0, 3)$.

В трёх измерениях картина по столбцам требует найти линейную комбинацию трёх трёхмерных векторов, равную вектору $b$.

Матричная картина

Систему уравнений

$$\begin{aligned} 2x - y &= 0 \\ -x + 2y &= 3 \end{aligned}$$

запишем одним уравнением с помощью матриц и векторов:

$$\begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 0 \\ 3 \end{bmatrix}.$$

Матрица $A = \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix}$ называется матрицей коэффициентов. Вектор $x = \begin{bmatrix} x \\ y \end{bmatrix}$ — вектор неизвестных. Значения в правых частях уравнений образуют вектор $b$:

$$Ax = b.$$

Трёхмерная матричная картина очень похожа на двумерную, только векторы и матрицы становятся больше.

Умножение матрицы на вектор

Как умножить матрицу $A$ на вектор $x$?

$$\begin{bmatrix} 2 & 5 \\ 1 & 3 \end{bmatrix} \begin{bmatrix} 1 \\ 2 \end{bmatrix} = \; ?$$

Первый способ — считать элементы $x$ коэффициентами линейной комбинации векторов-столбцов матрицы:

$$\begin{bmatrix} 2 & 5 \\ 1 & 3 \end{bmatrix} \begin{bmatrix} 1 \\ 2 \end{bmatrix} = 1 \begin{bmatrix} 2 \\ 1 \end{bmatrix} + 2 \begin{bmatrix} 5 \\ 3 \end{bmatrix} = \begin{bmatrix} 12 \\ 7 \end{bmatrix}.$$

Этот приём показывает, что $Ax$ — линейная комбинация столбцов $A$.

Произведение $Ax$ можно посчитать и иначе: взять скалярное произведение каждой строки $A$ с вектором $x$:

$$\begin{bmatrix} 2 & 5 \\ 1 & 3 \end{bmatrix} \begin{bmatrix} 1 \\ 2 \end{bmatrix} = \begin{bmatrix} 2 \cdot 1 + 5 \cdot 2 \\ 1 \cdot 1 + 3 \cdot 2 \end{bmatrix} = \begin{bmatrix} 12 \\ 7 \end{bmatrix}.$$

Линейная независимость

В картинах по столбцам и матричной правая часть уравнения — вектор $b$. Можно ли для данной матрицы $A$ решить

$$Ax = b$$

при любом векторе $b$? Иначе говоря, заполняют ли линейные комбинации столбцов всю плоскость $xy$ (или всё пространство в трёхмерном случае)?

Если ответ «нет», матрица $A$ называется вырожденной (singular). В вырожденном случае её столбцы линейно зависимы: все их линейные комбинации лежат в точке или на прямой (в двумерном случае) либо в точке, на прямой или в плоскости (в трёхмерном). Комбинации не заполняют всё пространство.

Проверьте в NumPy (дополнение переводчика)

import numpy as np

A = np.array([[2, -1],
              [-1, 2]])
b = np.array([0, 3])
print(np.linalg.solve(A, b))      # решаем Ax = b → [1. 2.]

M = np.array([[2, 5],
              [1, 3]])
x = np.array([1, 2])
print(M @ x)                      # [12  7]
print(1 * M[:, 0] + 2 * M[:, 1])  # то же самое как комбинация столбцов: [12  7]

Лекция 3. Умножение матриц и обратные матрицы

Умножение матриц

Разберём четыре разных способа думать о произведении $AB = C$ двух матриц. Если $A$ — матрица размера $m \times n$, а $B$ — размера $n \times p$, то $C$ — матрица $m \times p$. Через $c_{ij}$ обозначаем элемент матрицы $C$ в строке $i$ и столбце $j$.

Стандартный способ (строка на столбец)

Обычно произведение матриц описывают так: $c_{ij}$ равно скалярному произведению строки $i$ матрицы $A$ и столбца $j$ матрицы $B$. Иначе говоря,

$$c_{ij} = \sum_{k=1}^{n} a_{ik} b_{kj}.$$

По столбцам

Произведение матрицы $A$ на столбец $j$ матрицы $B$ равно столбцу $j$ матрицы $C$. Значит, столбцы $C$ — комбинации столбцов $A$.

По строкам

Произведение строки $i$ матрицы $A$ на матрицу $B$ равно строке $i$ матрицы $C$. Значит, строки $C$ — комбинации строк $B$.

Столбец на строку

Столбец $A$ — вектор размера $m \times 1$, строка $B$ — вектор размера $1 \times p$. Их произведение — матрица:

$$\begin{bmatrix} 2 \\ 3 \\ 4 \end{bmatrix} \begin{bmatrix} 1 & 6 \end{bmatrix} = \begin{bmatrix} 2 & 12 \\ 3 & 18 \\ 4 & 24 \end{bmatrix}.$$

Столбцы этой матрицы кратны столбцу из $A$, а строки кратны строке из $B$. Если считать строки этой матрицы координатами точек $(2, 12)$, $(3, 18)$, $(4, 24)$, то все эти точки лежат на одной прямой; то же верно и для двух векторов-столбцов. Позже мы увидим, что это равносильно утверждению: пространство строк этой матрицы — одна прямая, и пространство столбцов тоже.

Произведение $A$ и $B$ — сумма таких матриц «столбец на строку»:

$$AB = \sum_{k=1}^{n} \begin{bmatrix} a_{1k} \\ \vdots \\ a_{mk} \end{bmatrix} \begin{bmatrix} b_{k1} & \cdots & b_{kp} \end{bmatrix}.$$

Примечание переводчика: в PDF-оригинале последний элемент строки записан как $b_{kn}$; у матрицы $B$ размера $n \times p$ строка заканчивается элементом $b_{kp}$.

Блоками

Если разбить $A$ и $B$ на блоки подходящих размеров, произведение $AB = C$ можно записать через произведения блоков:

$$\begin{bmatrix} A_1 & A_2 \\ A_3 & A_4 \end{bmatrix} \begin{bmatrix} B_1 & B_2 \\ B_3 & B_4 \end{bmatrix} = \begin{bmatrix} C_1 & C_2 \\ C_3 & C_4 \end{bmatrix}.$$

Здесь $C_1 = A_1 B_1 + A_2 B_3$.

Обратные матрицы

Квадратные матрицы

Если $A$ — квадратная матрица, самый важный вопрос о ней — есть ли у неё обратная $A^{-1}$. Если есть, то $A^{-1} A = I = A A^{-1}$, и мы говорим, что $A$ обратима, или невырожденна.

Если $A$ вырожденна, то есть обратной у неё нет, её определитель равен нулю, и найдётся ненулевой вектор $x$, для которого $Ax = 0$. Например:

$$\begin{bmatrix} 1 & 3 \\ 2 & 6 \end{bmatrix} \begin{bmatrix} 3 \\ -1 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}.$$

В этом примере первый столбец, умноженный на три, минус второй столбец дают нулевой вектор: два вектора-столбца лежат на одной прямой.

Поиск обратной матрицы тесно связан с решением систем линейных уравнений:

$$\underbrace{\begin{bmatrix} 1 & 3 \\ 2 & 7 \end{bmatrix}}_{A} \underbrace{\begin{bmatrix} a & c \\ b & d \end{bmatrix}}_{A^{-1}} = \underbrace{\begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}}_{I}$$

можно прочитать так: «$A$, умноженная на столбец $j$ матрицы $A^{-1}$, равна столбцу $j$ единичной матрицы». Это просто частный случай уравнения $Ax = b$.

Метод Гаусса — Жордана

Методом исключения можно решать сразу два и больше уравнений. Достаточно дописать к матрице справа всю единичную матрицу $I$:

$$\left[\begin{array}{cc|cc} 1 & 3 & 1 & 0 \\ 2 & 7 & 0 & 1 \end{array}\right] \longrightarrow \left[\begin{array}{cc|cc} 1 & 3 & 1 & 0 \\ 0 & 1 & -2 & 1 \end{array}\right] \longrightarrow \left[\begin{array}{cc|cc} 1 & 0 & 7 & -3 \\ 0 & 1 & -2 & 1 \end{array}\right].$$

(Когда метод исключения Гаусса привёл исходную матрицу к верхнетреугольному виду, мы продолжаем по идее Жордана и исключаем элементы в правой верхней части матрицы.)

$$A^{-1} = \begin{bmatrix} 7 & -3 \\ -2 & 1 \end{bmatrix}.$$

Как и в прошлой лекции, результат исключения можно записать как произведение нескольких матриц исключения $E_{ij}$ на матрицу $A$. Обозначив через $E$ произведение всех $E_{ij}$, запишем итог исключения Гаусса — Жордана блочными матрицами: $E[\,A \mid I\,] = [\,I \mid E\,]$. Но раз $EA = I$, то $E = A^{-1}$.

Проверьте в NumPy (дополнение переводчика)

import numpy as np

A = np.array([[1, 3],
              [2, 7]])
print(np.linalg.inv(A))          # [[ 7. -3.]  [-2.  1.]]

col = np.array([[2], [3], [4]])  # столбец 3×1
row = np.array([[1, 6]])         # строка 1×2
print(col @ row)                 # матрица ранга 1: [[2 12] [3 18] [4 24]]

# Произведение матриц = сумма произведений «столбец на строку»
A = np.random.default_rng(0).integers(-3, 4, size=(3, 4))
B = np.random.default_rng(1).integers(-3, 4, size=(4, 2))
S = sum(np.outer(A[:, k], B[k, :]) for k in range(4))
print(np.array_equal(S, A @ B))  # True

Лекция 30. Линейные преобразования и их матрицы

В старых курсах линейной алгебры линейные преобразования вводили раньше матриц. Такой геометрический подход поначалу обходится без координат. Но рано или поздно координаты и матрицы нужны — когда доходит до вычислений.

Без координат (без матрицы)

Пример 1: проекция

Проекцию можно описать как линейное преобразование $T$, которое переводит каждый вектор из $\mathbb{R}^2$ в другой вектор из $\mathbb{R}^2$. Иначе говоря,

$$T : \mathbb{R}^2 \longrightarrow \mathbb{R}^2.$$

Правило этого отображения: каждый вектор $v$ проецируется в вектор $T(v)$ на прямой проекции. Проекция — линейное преобразование.

Определение линейности

Преобразование $T$ линейно, если

$$T(v + w) = T(v) + T(w) \quad\text{и}\quad T(cv) = c\,T(v)$$

для всех векторов $v$ и $w$ и всех чисел $c$. Равносильно:

$$T(cv + dw) = c\,T(v) + d\,T(w)$$

для всех векторов $v$, $w$ и чисел $c$, $d$. Стоит заметить, что $T(0) = 0$: иначе не могло бы выполняться $T(c \cdot 0) = c\,T(0)$.

Не пример 1: сдвиг всей плоскости

Рассмотрим преобразование $T(v) = v + v_0$, которое сдвигает каждый вектор плоскости, прибавляя к нему фиксированный вектор $v_0$. Это преобразование не линейно, потому что $T(2v) = 2v + v_0 \neq 2T(v)$.

Не пример 2: $T(v) = \lVert v \rVert$

Преобразование $T(v) = \lVert v \rVert$, которое переводит любой вектор в его длину, не линейно, потому что $T(cv) \neq c\,T(v)$ при $c$ меньше нуля.

Нелинейные преобразования мы изучать не будем. Дальше буквой $T$ обозначаем только линейные преобразования.

Пример 2: поворот на 45°

Это преобразование $T : \mathbb{R}^2 \to \mathbb{R}^2$ берёт входной вектор $v$ и выдаёт вектор $T(v)$, который получается поворотом $v$ против часовой стрелки на 45° вокруг начала координат. Заметьте: мы можем описать его и убедиться в линейности, не используя никаких координат.

Общая картина

Одно из достоинств геометрического описания преобразований — оно помогает увидеть общую картину, а не следить за действием преобразования на одну точку. Мы сразу понимаем, как поворот на 45° изменит рисунок домика на плоскости. Если бы преобразование было задано матрицей, а не словом «поворот», догадаться, куда перейдёт домик, было бы труднее.

Часто лучший способ понять линейное преобразование — найти матрицу, которая за ним стоит. Для этого нужно выбрать базис и ввести координаты.

С координатами (матрица!)

Все линейные преобразования, о которых мы говорили, можно описать матрицами. В каком-то смысле линейное преобразование — это абстрактное описание умножения на матрицу, как в следующем примере.

Пример 3: $T(v) = Av$

Дана матрица $A$; положим $T(v) = Av$. Это линейное преобразование:

$$A(v + w) = Av + Aw \quad\text{и}\quad A(cv) = c\,Av.$$

Пример 4

Пусть $A = \begin{bmatrix} 1 & 0 \\ 0 & -1 \end{bmatrix}$. Как геометрически описать преобразование $T(v) = Av$?

Когда мы умножаем $A$ на вектор $v$ из $\mathbb{R}^2$, компонента $x$ вектора не меняется, а знак компоненты $y$ меняется на противоположный. Преобразование $v \mapsto Av$ отражает плоскость $xy$ относительно оси $x$.

Пример 5

Как найти линейное преобразование $T : \mathbb{R}^3 \to \mathbb{R}^2$, которое переводит трёхмерное пространство в двумерное? Возьмите любую матрицу $A$ размера $2 \times 3$ и положите $T(v) = Av$.

Как задать $T(v)$

Сколько нужно знать о $T$, чтобы найти $T(v)$ для всех $v$? Если мы знаем, как $T$ действует на один вектор $v_1$, то по линейности можем посчитать $T(cv_1)$ для любого числа $c$. Если мы знаем $T(v_1)$ и $T(v_2)$ для двух независимых векторов $v_1$ и $v_2$, то можем предсказать, как $T$ преобразует любой вектор $cv_1 + dv_2$ в плоскости, натянутой на $v_1$ и $v_2$. Чтобы знать $T(v)$ для всех векторов $v$ из $\mathbb{R}^n$, достаточно знать $T(v_1), T(v_2), \ldots, T(v_n)$ для любого базиса $v_1, v_2, \ldots, v_n$ входного пространства. Дело в том, что любой вектор $v$ входного пространства записывается как линейная комбинация базисных векторов, а $T$ линейно:

$$\begin{aligned} v &= c_1 v_1 + c_2 v_2 + \cdots + c_n v_n \\ T(v) &= c_1 T(v_1) + c_2 T(v_2) + \cdots + c_n T(v_n). \end{aligned}$$

Так мы переходим от линейного преобразования (без координат) к матрице (с координатами); числа $c_i$ и есть наши координаты. Когда базис выбран, каждый вектор пространства записывается как комбинация базисных векторов ровно одним способом. Коэффициенты этой комбинации — координаты $v$ в этом базисе.

Координаты берутся из базиса; смена базиса меняет координаты векторов. Мы не всегда пользуемся стандартным базисом: иногда удобнее базис из собственных векторов или какой-то другой.

Матрица линейного преобразования

Как по линейному преобразованию $T$ построить матрицу $A$, которая его представляет?

Сначала нужно выбрать два базиса: скажем, $v_1, v_2, \ldots, v_n$ в $\mathbb{R}^n$ — чтобы задавать координаты входных векторов, и $w_1, w_2, \ldots, w_m$ в $\mathbb{R}^m$ — чтобы задавать координаты выходных. Мы ищем матрицу $A$, для которой $T(v) = Av$, где $v$ и $Av$ берут координаты из этих базисов.

Первый столбец $A$ состоит из коэффициентов $a_{11}, a_{21}, \ldots, a_{m1}$ разложения $T(v_1) = a_{11} w_1 + a_{21} w_2 + \cdots + a_{m1} w_m$. Элементы столбца $i$ матрицы $A$ определяются из $T(v_i) = a_{1i} w_1 + a_{2i} w_2 + \cdots + a_{mi} w_m$. Раз мы добились $T(v_i) = Av_i$ для каждого базисного вектора $v_i$, а $T$ линейно, то $T(v) = Av$ для всех векторов $v$ входного пространства.

Примечание переводчика: в PDF-оригинале индексы здесь записаны с опечатками ($a_{1m}$ вместо $a_{m1}$, $a_{1i} w_m$ вместо $a_{mi} w_m$); выше они исправлены.

В примере с матрицей проекции $n = m = 2$. Преобразование $T$ проецирует каждый вектор плоскости на прямую. Здесь разумно взять один и тот же базис для входа и выхода. Чтобы вычисления были как можно проще, выберем $v_1$ — единичный вектор на прямой проекции, а $v_2$ — единичный вектор, перпендикулярный $v_1$. Тогда

$$T(c_1 v_1 + c_2 v_2) = c_1 v_1 + 0,$$

и матрица преобразования проекции — просто $A = \begin{bmatrix} 1 & 0 \\ 0 & 0 \end{bmatrix}$:

$$Av = \begin{bmatrix} 1 & 0 \\ 0 & 0 \end{bmatrix} \begin{bmatrix} c_1 \\ c_2 \end{bmatrix} = \begin{bmatrix} c_1 \\ 0 \end{bmatrix}.$$

Хорошая матрица! Если выбранный базис состоит из собственных векторов, то матрица преобразования будет диагональной матрицей $\Lambda$ с собственными числами на диагонали.

Чтобы увидеть, как важен выбор базиса, возьмём стандартный базис для линейного преобразования, которое проецирует плоскость на прямую под углом 45°. Если выбрать $v_1 = w_1 = \begin{bmatrix} 1 \\ 0 \end{bmatrix}$ и $v_2 = w_2 = \begin{bmatrix} 0 \\ 1 \end{bmatrix}$, получим матрицу проекции

$$P = \frac{a a^T}{a^T a} = \begin{bmatrix} 1/2 & 1/2 \\ 1/2 & 1/2 \end{bmatrix}.$$

Нарисовав график, можно убедиться, что матрица верная, но посчитать $P$ напрямую в этом базисе труднее, чем в базисе из собственных векторов.

Пример 6: $T = \dfrac{d}{dx}$

Пусть $T$ — преобразование, которое берёт производную:

$$T(c_1 + c_2 x + c_3 x^2) = c_2 + 2c_3 x. \qquad (1)$$

Входное пространство — трёхмерное пространство квадратных многочленов $c_1 + c_2 x + c_3 x^2$ с базисом $v_1 = 1$, $v_2 = x$, $v_3 = x^2$. Выходное пространство — двумерное подпространство входного с базисом $w_1 = v_1 = 1$ и $w_2 = v_2 = x$.

Это линейное преобразование! Значит, можно найти $A = \begin{bmatrix} 0 & 1 & 0 \\ 0 & 0 & 2 \end{bmatrix}$ и записать преобразование (1) как умножение на матрицу (2):

$$T\left(\begin{bmatrix} c_1 \\ c_2 \\ c_3 \end{bmatrix}\right) = A \begin{bmatrix} c_1 \\ c_2 \\ c_3 \end{bmatrix} = \begin{bmatrix} c_2 \\ 2c_3 \end{bmatrix}. \qquad (2)$$

Вывод

Для любого линейного преобразования $T$ можно найти матрицу $A$, такую что $T(v) = Av$. Если преобразование обратимо, то у обратного преобразования матрица $A^{-1}$. Произведению двух преобразований $T_1 : v \mapsto A_1 v$ и $T_2 : w \mapsto A_2 w$ соответствует произведение $A_2 A_1$ их матриц. Вот откуда взялось умножение матриц!

Проверьте в NumPy (дополнение переводчика)

import numpy as np

a = np.array([1.0, 1.0])                 # прямая под углом 45°
P = np.outer(a, a) / (a @ a)             # P = a aᵀ / (aᵀ a)
print(P)                                 # [[0.5 0.5] [0.5 0.5]]
print(P @ np.array([2.0, 0.0]))          # проекция (2, 0) на прямую → [1. 1.]

D = np.array([[0, 1, 0],
              [0, 0, 2]])                # матрица производной в базисах {1, x, x²} и {1, x}
print(D @ np.array([5, 3, 4]))           # (5 + 3x + 4x²)' = 3 + 8x → [3 8]

th = np.pi / 4                           # поворот на 45° и отражение относительно оси x
R = np.array([[np.cos(th), -np.sin(th)],
              [np.sin(th),  np.cos(th)]])
F = np.array([[1, 0],
              [0, -1]])
v = np.array([1.0, 0.0])
print(np.allclose(F @ (R @ v), (F @ R) @ v))   # сначала R, потом F — это матрица F·R → True

Словарик

EN	RU
linear combination	линейная комбинация
coefficient matrix	матрица коэффициентов
singular / nonsingular (invertible) matrix	вырожденная / невырожденная (обратимая) матрица
linearly dependent / independent	линейно зависимые / независимые
row picture / column picture	картина по строкам / по столбцам
inverse matrix	обратная матрица
identity matrix	единичная матрица
Gauss-Jordan elimination	метод Гаусса — Жордана
linear transformation	линейное преобразование
basis, coordinates	базис, координаты
projection	проекция
upper triangular	верхнетреугольная

Дальше: часть 2 — ранг и четыре фундаментальных подпространства.