MIT 18.06SC, часть 3: собственные числа и диагонализация

Это перевод официальных конспектов (lecture summaries) к трём лекциям Гилберта Стрэнга из курса MIT 18.06SC. Карта всего курса — в путеводителе. Перевод распространяется под лицензией CC BY-NC-SA 4.0, © MIT OpenCourseWare.

Как читать вместе с курсом ChinaAI

Все три конспекта — к разделу «Собственные числа — коротко» урока 1.1.3. В уроке собственные числа даны одной страницей; здесь — полная картина от Стрэнга. Лекцию 25 о симметричных матрицах полезно перечитать перед уроком о PCA: главные компоненты — это собственные векторы симметричной матрицы ковариаций. Лекция 22 объясняет, почему в RNN градиенты взрываются или затухают: при многократном умножении на одну матрицу всё решают её собственные числа. Блоки «Проверьте в NumPy» и примечания переводчика — наше дополнение, в оригинале их нет.

Лекция 21. Собственные числа и собственные векторы

Собственные числа и собственные векторы займут бо́льшую часть оставшегося курса. Мы снова работаем с квадратными матрицами. Собственные числа — особые числа, связанные с матрицей, а собственные векторы — особые векторы.

Собственные векторы и собственные числа

Матрица $A$ действует на векторы $x$ как функция: на входе $x$, на выходе $Ax$. Собственные векторы — это векторы, для которых $Ax$ параллелен $x$. Иными словами:

$$Ax = \lambda x.$$

В этом уравнении $x$ — собственный вектор матрицы $A$, а $\lambda$ — её собственное число (собственное значение).

Как это читать: матрица $A$ ничего не делает с направлением вектора $x$, а только растягивает его в $\lambda$ раз (при $\lambda < 0$ — ещё и разворачивает).

Собственное число 0

Если собственное число $\lambda$ равно 0, то $Ax = 0x = 0$. Векторы с собственным числом 0 образуют нуль-пространство матрицы $A$; если $A$ вырождена, то $\lambda = 0$ — её собственное число.

Примеры

Пусть $P$ — матрица проекции на плоскость. Для любого $x$ в этой плоскости $Px = x$, так что $x$ — собственный вектор с собственным числом 1. Вектор $x$, перпендикулярный плоскости, даёт $Px = 0$, так что это собственный вектор с собственным числом $\lambda = 0$. Собственные векторы $P$ порождают всё пространство (но так бывает не у каждой матрицы).

У матрицы $B = \begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix}$ есть собственный вектор $x = \begin{bmatrix} 1 \\ 1 \end{bmatrix}$ с собственным числом 1 и ещё один собственный вектор $x = \begin{bmatrix} 1 \\ -1 \end{bmatrix}$ с собственным числом $-1$. Эти собственные векторы порождают пространство. Они перпендикулярны, потому что $B = B^T$ (это мы докажем).

det(A − λI) = 0

У матрицы $n \times n$ есть $n$ собственных чисел, и их сумма равна сумме диагональных элементов матрицы: $a_{11} + a_{22} + \dots + a_{nn}$. Эта сумма называется следом (trace) матрицы. Для матрицы $2 \times 2$, зная одно собственное число, по этому факту можно найти второе.

Можно ли решить $Ax = \lambda x$ относительно собственных чисел и собственных векторов $A$? Неизвестны и $\lambda$, и $x$; чтобы решить задачу, нужна хитрость:

$$\begin{aligned} Ax &= \lambda x \\ (A - \lambda I)x &= 0. \end{aligned}$$

Чтобы $\lambda$ было собственным числом, матрица $A - \lambda I$ должна быть вырожденной. Иными словами, $\det(A - \lambda I) = 0$. Решив это характеристическое уравнение относительно $\lambda$, получим $n$ корней. Если повезёт, они все различны. Если нет, будут одно или несколько повторяющихся собственных чисел.

Примечание переводчика: в оригинале здесь опечатка — «чтобы $\lambda$ было собственным вектором».

Почему вырожденной? Нам нужен ненулевой $x$, который $A - \lambda I$ переводит в ноль. Такой $x$ есть, только если у $A - \lambda I$ нетривиальное нуль-пространство, то есть она необратима (см. часть 2 о нуль-пространстве).

Найдя собственное число $\lambda$, мы методом исключения находим нуль-пространство $A - \lambda I$. Векторы в этом нуль-пространстве и есть собственные векторы $A$ с собственным числом $\lambda$.

Вычисляем собственные числа и векторы

Пусть $A = \begin{bmatrix} 3 & 1 \\ 1 & 3 \end{bmatrix}$. Тогда

$$\det(A - \lambda I) = \begin{vmatrix} 3 - \lambda & 1 \\ 1 & 3 - \lambda \end{vmatrix} = (3 - \lambda)^2 - 1 = \lambda^2 - 6\lambda + 8.$$

Заметьте: коэффициент 6 — это след (сумма диагональных элементов), а 8 — определитель $A$. Вообще, собственные числа матрицы $2 \times 2$ — это корни уравнения

$$\lambda^2 - \operatorname{trace}(A) \cdot \lambda + \det A = 0.$$

Как след равен сумме собственных чисел матрицы, так произведение собственных чисел любой матрицы равно её определителю.

Для $A = \begin{bmatrix} 3 & 1 \\ 1 & 3 \end{bmatrix}$ собственные числа $\lambda_1 = 4$ и $\lambda_2 = 2$. Собственный вектор $x_1 = \begin{bmatrix} 1 \\ 1 \end{bmatrix}$ для $\lambda_1 = 4$ находим в нуль-пространстве матрицы $A - \lambda_1 I = \begin{bmatrix} -1 & 1 \\ 1 & -1 \end{bmatrix}$.

Вектор $x_2$ лежит в нуль-пространстве $A - 2I = \begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix}$. Это нуль-пространство — целая прямая; $x_2$ может быть любым вектором на ней. Естественный выбор — $x_2 = \begin{bmatrix} -1 \\ 1 \end{bmatrix}$.

Заметьте, что это те же собственные векторы, что у $B = \begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix}$. Прибавив $3I$ к матрице $B$, мы прибавили 3 к каждому её собственному числу и не изменили собственных векторов, потому что $Ax = (B + 3I)x = \lambda x + 3x = (\lambda + 3)x$.

Проверка числами: $\lambda_1 + \lambda_2 = 4 + 2 = 6$ — это след $3 + 3$; $\lambda_1 \lambda_2 = 4 \cdot 2 = 8$ — это определитель $3 \cdot 3 - 1 \cdot 1$. И напрямую: $A x_1 = (3 + 1,\ 1 + 3) = (4, 4) = 4 x_1$.

Предостережение

Аналогично, если $Ax = \lambda x$ и $Bx = \alpha x$, то $(A + B)x = (\lambda + \alpha)x$. Было бы удобно, если бы собственные числа суммы матриц всегда были суммами собственных чисел, но это верно, только если у $A$ и $B$ одинаковые собственные векторы. Собственные числа произведения $AB$ тоже обычно не равны произведениям $\lambda(A)\lambda(B)$.

Комплексные собственные числа

Матрица $Q = \begin{bmatrix} 0 & -1 \\ 1 & 0 \end{bmatrix}$ поворачивает каждый вектор плоскости на $90^\circ$. Её след $0 = \lambda_1 + \lambda_2$, а определитель $1 = \lambda_1 \cdot \lambda_2$. Единственный её вещественный «собственный вектор» — нулевой; направление любого другого вектора при умножении на $Q$ меняется. Как это скажется на вычислении собственных чисел?

$$\det(Q - \lambda I) = \begin{vmatrix} -\lambda & -1 \\ 1 & -\lambda \end{vmatrix} = \lambda^2 + 1.$$

Уравнение $\det(Q - \lambda I) = 0$ имеет корни $\lambda_1 = i$ и $\lambda_2 = -i$. Если у матрицы есть комплексное собственное число $a + bi$, то комплексно сопряжённое $a - bi$ — тоже её собственное число.

У симметричных матриц собственные числа вещественные. У антисимметричных матриц вроде $Q$, для которых $A^T = -A$, все собственные числа чисто мнимые ($\lambda = bi$).

Примечание переводчика: нулевой вектор по определению не считается собственным; Стрэнг говорит о нём лишь для того, чтобы подчеркнуть: вещественных собственных направлений у поворота нет.

Треугольные матрицы и повторяющиеся собственные числа

У треугольных матриц, например $A = \begin{bmatrix} 3 & 1 \\ 0 & 3 \end{bmatrix}$, собственные числа — это ровно элементы на диагонали. Здесь собственные числа 3 и 3:

$$\det(A - \lambda I) = \begin{vmatrix} 3 - \lambda & 1 \\ 0 & 3 - \lambda \end{vmatrix} = (3 - \lambda)(3 - \lambda) = 0,$$

так что $\lambda_1 = 3$ и $\lambda_2 = 3$. (В общем случае определитель такой матрицы равен $(a_{11} - \lambda)(a_{22} - \lambda)$.) Чтобы найти собственные векторы, решим

$$(A - \lambda I)x = \begin{bmatrix} 0 & 1 \\ 0 & 0 \end{bmatrix} x = 0$$

и получим $x_1 = \begin{bmatrix} 1 \\ 0 \end{bmatrix}$. Второго независимого собственного вектора $x_2$ нет.

Примечание переводчика: в оригинале в формуле опечатка — «$\det(A - \lambda \det I)$»; должно быть $\det(A - \lambda I)$.

Проверьте в NumPy (дополнение переводчика)

import numpy as np

A = np.array([[3., 1.],
              [1., 3.]])
lam, X = np.linalg.eig(A)   # собственные числа и собственные векторы (по столбцам X)
print(lam)                  # [4. 2.]
print(X)                    # столбцы ∝ (1, 1) и (-1, 1), нормированы до длины 1:
                            # [[ 0.7071 -0.7071]
                            #  [ 0.7071  0.7071]]
print(np.trace(A), lam.sum())           # 6.0 6.0  — след = сумма собственных чисел
print(np.linalg.det(A), lam.prod())     # ≈8.0 8.0 — определитель = произведение

Q = np.array([[0., -1.],
              [1.,  0.]])  # поворот на 90°
print(np.linalg.eigvals(Q))             # [0.+1.j 0.-1.j] — комплексные i и -i

T = np.array([[3., 1.],
              [0., 3.]])   # треугольная, собственное число 3 повторяется
print(np.linalg.eig(T))
# eigenvalues=[3., 3.]; оба столбца eigenvectors почти параллельны (1, 0):
# второго независимого собственного вектора нет

Лекция 22. Диагонализация и степени A

Мы умеем находить собственные числа и собственные векторы. На этой лекции мы научимся диагонализовать любую матрицу, у которой $n$ независимых собственных векторов, и увидим, как диагонализация упрощает вычисления. В конце лекции собственные числа и векторы помогут решить разностные уравнения.

Диагонализация матрицы: S⁻¹AS = Λ

Если у $A$ есть $n$ линейно независимых собственных векторов, их можно поставить в столбцы (квадратной, обратимой) матрицы $S$. Тогда

$$AS = A \begin{bmatrix} x_1 & x_2 & \cdots & x_n \end{bmatrix} = \begin{bmatrix} \lambda_1 x_1 & \lambda_2 x_2 & \cdots & \lambda_n x_n \end{bmatrix} = S \begin{bmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & & 0 \\ \vdots & & \ddots & \vdots \\ 0 & \cdots & 0 & \lambda_n \end{bmatrix} = S\Lambda.$$

Заметьте: $\Lambda$ — диагональная матрица, ненулевые элементы которой — собственные числа $A$. Поскольку столбцы $S$ независимы, $S^{-1}$ существует, и обе части $AS = S\Lambda$ можно умножить на $S^{-1}$:

$$S^{-1} A S = \Lambda.$$

Равносильно: $A = S \Lambda S^{-1}$.

Как это читать: перейдите в базис из собственных векторов ($S^{-1}$), там матрица просто растягивает каждую ось в $\lambda_i$ раз ($\Lambda$), и вернитесь обратно ($S$).

Степени A

Каковы собственные числа и собственные векторы $A^2$?

$$\text{Если } Ax = \lambda x, \quad \text{то } A^2 x = \lambda A x = \lambda^2 x.$$

Собственные числа $A^2$ — квадраты собственных чисел $A$. Собственные векторы у $A^2$ те же, что у $A$. Если записать $A = S\Lambda S^{-1}$, то

$$A^2 = S \Lambda S^{-1} S \Lambda S^{-1} = S \Lambda^2 S^{-1}.$$

Аналогично, $A^k = S \Lambda^k S^{-1}$: возведя собственные числа $A$ в степень $k$, получаем собственные числа $A^k$, а собственные векторы $A^k$ те же, что у $A$.

Теорема. Если у $A$ есть $n$ независимых собственных векторов с собственными числами $\lambda_i$, то $A^k \to 0$ при $k \to \infty$ тогда и только тогда, когда все $|\lambda_i| < 1$.

У $A$ гарантированно есть $n$ независимых собственных векторов (и она диагонализуема), если все её собственные числа различны. У большинства матриц собственные числа различны.

Зачем это нейросетям (комментарий переводчика)

Простая рекуррентная сеть много раз умножает скрытое состояние на одну и ту же матрицу весов. По теореме выше сигнал, умноженный на $A^k$, затухает, если все $|\lambda_i| < 1$, и взрывается, если хоть одно $|\lambda_i| > 1$. Отсюда проблема исчезающих и взрывающихся градиентов в RNN и идея держать собственные числа около 1.

Повторяющиеся собственные числа

Если у $A$ есть повторяющиеся собственные числа, $n$ независимых собственных векторов у неё может быть, а может и не быть. Например, все собственные числа единичной матрицы равны 1, но у неё всё равно $n$ независимых собственных векторов.

Если $A$ — треугольная матрица $\begin{bmatrix} 2 & 1 \\ 0 & 2 \end{bmatrix}$, её собственные числа 2 и 2. Её собственные векторы лежат в нуль-пространстве $A - \lambda I = \begin{bmatrix} 0 & 1 \\ 0 & 0 \end{bmatrix}$, которое порождается вектором $x = \begin{bmatrix} 1 \\ 0 \end{bmatrix}$. У этой конкретной $A$ нет двух независимых собственных векторов.

Разностные уравнения $u_{k+1} = A u_k$

Начнём с заданного вектора $u_0$. Можно построить последовательность векторов, в которой каждый следующий вектор — это $A$, умноженная на предыдущий: $u_{k+1} = A u_k$. Уравнение $u_{k+1} = A u_k$ — разностное уравнение первого порядка, и $u_k = A^k u_0$ — решение этой системы.

Решение получится нагляднее, если записать $u_0$ как комбинацию собственных векторов $A$:

$$u_0 = c_1 x_1 + c_2 x_2 + \dots + c_n x_n = Sc.$$

Тогда

$$A u_0 = c_1 \lambda_1 x_1 + c_2 \lambda_2 x_2 + \dots + c_n \lambda_n x_n$$

и

$$u_k = A^k u_0 = c_1 \lambda_1^k x_1 + c_2 \lambda_2^k x_2 + \dots + c_n \lambda_n^k x_n = S \Lambda^k c.$$

Примечание переводчика: в оригинале последнее равенство записано как $\Lambda^k S c$ — это опечатка; верно $S \Lambda^k c$ (сначала каждую координату $c_i$ умножаем на $\lambda_i^k$, потом собираем комбинацию столбцов $S$).

Числа Фибоначчи

Последовательность Фибоначчи: $0, 1, 1, 2, 3, 5, 8, 13, \dots$ В общем виде $F_{k+2} = F_{k+1} + F_k$. Если бы мы смогли описать её через матрицы, собственные числа этих матриц сказали бы нам, как быстро растут числа последовательности.

$u_{k+1} = A u_k$ — система первого порядка. $F_{k+2} = F_{k+1} + F_k$ — скалярное уравнение второго порядка, но хитрый приём превращает его в линейную систему первого порядка. Если $u_k = \begin{bmatrix} F_{k+1} \\ F_k \end{bmatrix}$, то пара уравнений

$$\begin{aligned} F_{k+2} &= F_{k+1} + F_k \qquad (1) \\ F_{k+1} &= F_{k+1} \qquad\qquad\ \ (2) \end{aligned}$$

равносильна системе первого порядка $u_{k+1} = \begin{bmatrix} 1 & 1 \\ 1 & 0 \end{bmatrix} u_k$.

Каковы собственные числа и собственные векторы $A = \begin{bmatrix} 1 & 1 \\ 1 & 0 \end{bmatrix}$? Поскольку $A$ симметрична, её собственные числа вещественные, а собственные векторы ортогональны.

Поскольку $A$ — матрица $2 \times 2$, мы знаем, что сумма её собственных чисел равна 1 (след), а произведение равно $-1$ (определитель).

$$|A - \lambda I| = \begin{vmatrix} 1 - \lambda & 1 \\ 1 & -\lambda \end{vmatrix} = \lambda^2 - \lambda - 1.$$

Приравняв это к нулю, находим $\lambda = \dfrac{1 \pm \sqrt{1 + 4}}{2}$, то есть $\lambda_1 = \tfrac{1}{2}(1 + \sqrt{5}) \approx 1{,}618$ и $\lambda_2 = \tfrac{1}{2}(1 - \sqrt{5}) \approx -0{,}618$. Скорость роста $F_k$ определяется $\lambda_1$ — единственным собственным числом, модуль которого больше 1. Значит, при больших $k$ получаем $F_k \approx c_1 \left(\frac{1 + \sqrt{5}}{2}\right)^k$ для некоторой константы $c_1$. (Вспомните: $u_k = A^k u_0 = c_1 \lambda_1^k x_1 + c_2 \lambda_2^k x_2$, а $\lambda_2^k$ здесь стремится к нулю, поскольку $|\lambda_2| < 1$.)

Чтобы найти собственные векторы $A$, заметим, что

$$(A - \lambda I)x = \begin{bmatrix} 1 - \lambda & 1 \\ 1 & -\lambda \end{bmatrix} x$$

равно 0 при $x = \begin{bmatrix} \lambda \\ 1 \end{bmatrix}$, так что $x_1 = \begin{bmatrix} \lambda_1 \\ 1 \end{bmatrix}$ и $x_2 = \begin{bmatrix} \lambda_2 \\ 1 \end{bmatrix}$.

Наконец, $u_0 = \begin{bmatrix} F_1 \\ F_0 \end{bmatrix} = \begin{bmatrix} 1 \\ 0 \end{bmatrix} = c_1 x_1 + c_2 x_2$ даёт $c_1 = -c_2 = \frac{1}{\sqrt{5}}$.

Поскольку $\begin{bmatrix} F_{k+1} \\ F_k \end{bmatrix} = u_k = c_1 \lambda_1^k x_1 + c_2 \lambda_2^k x_2$, получаем:

$$F_k = \frac{1}{\sqrt{5}} \left( \frac{1 + \sqrt{5}}{2} \right)^k - \frac{1}{\sqrt{5}} \left( \frac{1 - \sqrt{5}}{2} \right)^k.$$

С помощью собственных чисел и собственных векторов мы нашли явную формулу для чисел Фибоначчи.

Проверка числами: при $k = 10$ первое слагаемое $\approx 122{,}99 / 2{,}236 \approx 55{,}004$, второе $\approx 0{,}0081 / 2{,}236 \approx 0{,}004$; разность — ровно $55 = F_{10}$.

Итог. Когда последовательность меняется во времени по правилу системы первого порядка, собственные числа матрицы этой системы определяют её поведение в долгосрочной перспективе. Чтобы получить точную формулу для последовательности, находим собственные векторы матрицы и затем коэффициенты $c_1, c_2, \dots$

Проверьте в NumPy (дополнение переводчика)

import numpy as np

A = np.array([[1., 1.],
              [1., 0.]])                 # матрица Фибоначчи
lam, S = np.linalg.eig(A)
print(lam)                               # [ 1.618 -0.618]

Lam = np.diag(lam)
print(np.allclose(S @ Lam @ np.linalg.inv(S), A))     # True: A = S Λ S⁻¹

k = 10
Ak = S @ np.diag(lam**k) @ np.linalg.inv(S)          # A^10 через собственные числа
print(np.round(Ak))                      # [[89. 55.]
                                         #  [55. 34.]]
print(np.linalg.matrix_power(A, k))      # то же самое прямым умножением

phi, psi = (1 + 5**0.5) / 2, (1 - 5**0.5) / 2
print([round((phi**n - psi**n) / 5**0.5) for n in range(12)])
# [0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89]

Лекция 25. Симметричные матрицы и положительная определённость

Симметричные матрицы хороши: их собственные числа вещественны, и у каждой есть полный набор ортонормированных собственных векторов. Положительно определённые матрицы ещё лучше.

Симметричные матрицы

Симметричная матрица — это матрица, для которой $A = A^T$. Если у матрицы есть особое свойство (например, это марковская матрица), то у её собственных чисел и векторов, скорее всего, тоже будут особые свойства. У симметричной матрицы с вещественными элементами собственные числа вещественны, и можно выбрать полный набор перпендикулярных (и даже ортонормированных) собственных векторов.

Если у $A$ есть $n$ независимых собственных векторов, можно записать $A = S \Lambda S^{-1}$. Если $A$ симметрична, можно записать $A = Q \Lambda Q^{-1} = Q \Lambda Q^T$, где $Q$ — ортогональная матрица. Математики называют это спектральной теоремой и считают собственные числа «спектром» матрицы. В механике это называется теоремой о главных осях.

Кроме того, любая матрица вида $Q \Lambda Q^T$ симметрична.

Вещественные собственные числа

Почему собственные числа симметричной матрицы вещественны? Пусть $A$ симметрична и $Ax = \lambda x$. Возьмём комплексное сопряжение обеих частей: $\bar{A} \bar{x} = \bar{\lambda} \bar{x}$. Если элементы $A$ вещественны, это превращается в $A \bar{x} = \bar{\lambda} \bar{x}$. (Это доказывает, что комплексные собственные числа вещественных матриц идут сопряжёнными парами.)

Теперь транспонируем: $\bar{x}^T A^T = \bar{x}^T \bar{\lambda}$. Поскольку $A$ симметрична, получаем $\bar{x}^T A = \bar{x}^T \bar{\lambda}$. Умножив обе части этого равенства справа на $x$, получаем:

$$\bar{x}^T A x = \bar{x}^T \bar{\lambda} x.$$

С другой стороны, можно умножить $Ax = \lambda x$ слева на $\bar{x}^T$:

$$\bar{x}^T A x = \bar{x}^T \lambda x.$$

Сравнивая два равенства, видим, что $\bar{x}^T \bar{\lambda} x = \bar{x}^T \lambda x$, и, если только $\bar{x}^T x$ не равно нулю, заключаем, что $\bar{\lambda} = \lambda$, то есть число вещественное.

Откуда мы знаем, что $\bar{x}^T x \ne 0$?

$$\bar{x}^T x = \begin{bmatrix} \bar{x}_1 & \bar{x}_2 & \cdots & \bar{x}_n \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix} = |x_1|^2 + |x_2|^2 + \dots + |x_n|^2.$$

Если $x \ne 0$, то $\bar{x}^T x \ne 0$.

С комплексными векторами, как и с комплексными числами, часто помогает умножение на сопряжённое.

Симметричные матрицы с вещественными элементами удовлетворяют $A = A^T$, имеют вещественные собственные числа и перпендикулярные собственные векторы. Если у $A$ комплексные элементы, то у неё вещественные собственные числа и перпендикулярные собственные векторы тогда и только тогда, когда $A = \bar{A}^T$. (Доказательство устроено так же.)

Примечание переводчика: в текстовой версии PDF черта сопряжения над буквами теряется, и доказательство выглядит бессмысленным («$x^T \lambda x = x^T \lambda x$»). Мы восстановили черту по смыслу: без неё доказательство не работает.

Проекции на собственные векторы

Если $A = A^T$, можно записать:

$$A = Q \Lambda Q^T = \begin{bmatrix} q_1 & q_2 & \cdots & q_n \end{bmatrix} \begin{bmatrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & \lambda_n \end{bmatrix} \begin{bmatrix} q_1^T \\ q_2^T \\ \vdots \\ q_n^T \end{bmatrix} = \lambda_1 q_1 q_1^T + \lambda_2 q_2 q_2^T + \dots + \lambda_n q_n q_n^T.$$

Матрица $q_k q_k^T$ — матрица проекции на $q_k$, так что любая симметричная матрица — это комбинация перпендикулярных матриц проекции.

Как это читать: каждое слагаемое $\lambda_k q_k q_k^T$ — матрица ранга 1 (см. часть 2 о матрицах ранга 1). Симметричная матрица раскладывается в сумму таких «слоёв», и у каждого слоя свой вес $\lambda_k$. Ровно эту идею для любых (не только симметричных) матриц даёт SVD — см. часть 4.

Что можно узнать о собственных числах

Если мы знаем, что собственные числа вещественны, можно спросить, положительны они или отрицательны. (Вспомните, что знаки собственных чисел важны при решении систем дифференциальных уравнений.)

Для очень больших матриц $A$ находить собственные числа решением $|A - \lambda I| = 0$ непрактично. Однако ведущие элементы вычислить нетрудно, а знаки ведущих элементов симметричной матрицы совпадают со знаками её собственных чисел:

$$\text{число положительных ведущих элементов} = \text{число положительных собственных чисел}.$$

Поскольку собственные числа $A + bI$ ровно на $b$ больше собственных чисел $A$, этим фактом можно воспользоваться, чтобы узнать, какие собственные числа симметричной матрицы больше или меньше любого вещественного числа $b$. Это многое говорит о собственных числах $A$, даже если вычислить их напрямую мы не можем.

Положительно определённые матрицы

Положительно определённая матрица — это симметричная матрица $A$, у которой все собственные числа положительны. Хороший способ проверить, что матрица положительно определена, — убедиться, что все её ведущие элементы положительны.

Пусть $A = \begin{bmatrix} 5 & 2 \\ 2 & 3 \end{bmatrix}$. Ведущие элементы этой матрицы — 5 и $(\det A)/5 = 11/5$. Матрица симметрична, и её ведущие элементы (а значит, и собственные числа) положительны, так что $A$ положительно определена. Её собственные числа — корни уравнения

$$|A - \lambda I| = \lambda^2 - 8\lambda + 11 = 0,$$

то есть $4 \pm \sqrt{5}$.

Проверка числами: $4 - \sqrt{5} \approx 1{,}76$ и $4 + \sqrt{5} \approx 6{,}24$ — оба положительны; их сумма 8 (след $5 + 3$), произведение 11 (определитель $15 - 4$).

Определитель положительно определённой матрицы всегда положителен, но определитель $\begin{bmatrix} -1 & 0 \\ 0 & -3 \end{bmatrix}$ тоже положителен, а эта матрица не положительно определённая. Если положительны все угловые миноры $A$ (определители матриц $k \times k$ в левом верхнем углу $A$, где $1 \le k \le n$), то $A$ положительно определена.

Тема положительно определённых матриц связывает воедино всё, что мы узнали о ведущих элементах, определителях и собственных числах квадратных матриц. Скоро у нас будет случай собрать вместе всё, что мы изучили в курсе, и применить к неквадратным матрицам.

Проверьте в NumPy (дополнение переводчика)

import numpy as np

A = np.array([[5., 2.],
              [2., 3.]])
w, Q = np.linalg.eigh(A)    # eigh — для симметричных матриц: числа вещественные, Q ортогональна
print(w)                    # [1.7639 6.2361]  = 4 ∓ √5
print(np.allclose(Q @ np.diag(w) @ Q.T, A))   # True: A = Q Λ Qᵀ (спектральная теорема)
print(np.allclose(Q.T @ Q, np.eye(2)))        # True: столбцы Q ортонормированы

# A как сумма проекций λ_k q_k q_kᵀ
layers = [w[k] * np.outer(Q[:, k], Q[:, k]) for k in range(2)]
print(np.round(sum(layers), 6))               # [[5. 2.] [2. 3.]]

# Положительную определённость на практике проверяют разложением Холецкого:
# оно существует только для положительно определённых матриц
print(np.linalg.cholesky(A))

Где это встретится в курсе (комментарий переводчика)

• PCA (урок 2.3.2): матрица ковариаций симметрична и положительно полуопределена; её собственные векторы — главные компоненты, собственные числа — дисперсии вдоль них.
• Оптимизация (урок 1.4.1): в точке минимума матрица вторых производных (гессиан) положительно определена. Отношение наибольшего собственного числа к наименьшему показывает, насколько «вытянута» чаша функции потерь и как трудно градиентному спуску.

Словарик

EN	RU
eigenvalue, eigenvector	собственное число (значение), собственный вектор
characteristic equation	характеристическое уравнение
trace	след матрицы
singular matrix	вырожденная матрица
repeated eigenvalue	повторяющееся (кратное) собственное число
complex conjugate	комплексно сопряжённое
antisymmetric (skew-symmetric) matrix	антисимметричная (кососимметричная) матрица
diagonalization, diagonalizable	диагонализация, диагонализуемая
difference equation	разностное уравнение
spectral theorem, spectrum	спектральная теорема, спектр
principal axis theorem	теорема о главных осях
orthonormal	ортонормированный
positive definite	положительно определённая
pivot	ведущий элемент
leading principal minors («subdeterminants»)	угловые (главные) миноры

Дальше: часть 4 — SVD, смена базиса и псевдообратная матрица.