特征值与特征向量：把演化拆成独立方向

上一讲的正交矩阵 $Q$ 保持长度与夹角；本讲先研究一般方阵 $A$，再进入实对称矩阵 $S$，最后为下一讲的正定矩阵作准备。Strang 的第一个问题不是怎么算，而是：为什么这么多课程都要讲特征向量？

设 $A\in\mathbb R^{n\times n}$。如果一个非零向量 $x$ 满足

$$Ax=\lambda x,\qquad x\ne0,$$

那么 $x$ 是特征向量，$\lambda$ 是对应的特征值。一般向量经过 $A$ 会换方向；特征向量所在的直线则保持不变，矩阵在这条直线上的作用只剩一个数。

这里的「不变方向」应理解为仍在同一直线上：$\lambda>0$ 同向，$\lambda<0$ 反向，$\lambda=0$ 被送到原点。零向量不能算特征向量，否则 $A0=\lambda0$ 对任何数都成立，定义就失去了信息。同一特征向量的任何非零倍数仍是特征向量。

为什么先限定方阵？通常的特征方程要求 $Ax$ 和 $x$ 属于同一空间，矩形矩阵不能直接使用这个定义。即使是实方阵，也可能需要在复数域寻找特征值，还可能找不齐 $n$ 个独立特征向量。课堂说的「通常有一整套」不是对所有方阵的保证；后面所有「用特征向量作基」的步骤都要加上这个条件。

Strang 用 $A^2$ 让特征向量的价值显现出来。从 $Ax=\lambda x$ 出发，

$$A^2x=A(Ax)=A(\lambda x)=\lambda Ax=\lambda^2x.$$

关键一步只有线性性：$\lambda$ 是标量，可以移到矩阵外面。继续归纳得到

$$A^kx=\lambda^kx\qquad(k=1,2,\ldots).$$

方向仍是原来的 $x$，特征值变成 $\lambda^k$。这句话是「$A$ 的每个特征向量仍适用于 $A^k$」，并不保证 $A^k$ 没有新增的特征方向。例如本讲后面的交换矩阵 $S$ 满足 $S^2=I$；$I$ 的每个非零向量都是特征向量，而 $S$ 只有两条特征直线。

如果 $A$ 可逆，在 $Ax=\lambda x$ 两边作用 $A^{-1}$，则

$$A^{-1}x=\lambda^{-1}x.$$

当 $\lambda=0$ 时，$Ax=0$ 给出非零零空间向量，所以 $A$ 必不可逆。反过来也成立：方阵不可逆，便存在非零 $x\in N(A)$，因此 $0$ 是特征值。

要把条件说完整：只知道某一个特征值不为零，并不能保证整个 $A$ 可逆。 例如 $\operatorname{diag}(1,0)$ 有特征值 $1$，仍然没有逆矩阵。课堂的「如果一切顺利」应理解为矩阵确实可逆，也就是所有特征值都非零。

课堂短暂借用微分方程中的矩阵指数，展示同一想法还能走多远。矩阵指数不是把每个元素分别取指数，而是用幂级数定义：

$$e^{tA}=I+tA+\frac{t^2A^2}{2!}+\cdots.$$

作用于特征向量 $x$ 后，每一项的 $A^kx$ 都能换成 $\lambda^kx$，于是

$$e^{tA}x=\left(1+t\lambda+\frac{t^2\lambda^2}{2!}+\cdots\right)x=e^{\lambda t}x.$$

对有限维矩阵，这个级数对所有有限 $t$ 都收敛。这里不需要整套特征基：只要这一个 $x$ 满足特征方程，计算就成立。整套特征基的意义在下一段：它让任意初始向量都能拆成这些简单模式。

这也是从离散重复作用 $A^k$ 到连续演化 $e^{tA}$ 的结构联系。不能把 $e^{tA}$ 当成课堂新造的一种特殊技巧；它延续的仍然是「在特征方向上，矩阵计算退化为标量计算」。

一个特别的向量还不够：实际问题给定的初值 $v_0$ 通常不是特征向量。现在明确假设 $A$ 有 $n$ 个线性无关的特征向量 $x_1,\ldots,x_n$，它们构成基，因而存在唯一系数

$$v_0=c_1x_1+\cdots+c_nx_n.$$

利用线性性逐项作用，就得到离散系统的完整解：

$$v_{k+1}=Av_k,\qquad v_k=A^kv_0=\sum_{i=1}^nc_i\lambda_i^kx_i.$$

课堂把幂的指标从 $n$ 改成 $k$，因为 $n$ 已表示矩阵阶数。这里的系数由初值决定，不随时间改变；随时间改变的是每个特征模式前面的 $\lambda_i^k$。

对连续系统则有

$$\frac{dv}{dt}=Av,\qquad v(0)=v_0,\qquad v(t)=\sum_{i=1}^nc_ie^{\lambda_it}x_i.$$

检验方法正如课堂问答所说：求导会从 $e^{\lambda_it}$ 带下一个 $\lambda_i$，乘 $A$ 也会从 $Ax_i$ 带出同一个 $\lambda_i$，两边逐项相同。

教材补充的稳定性联系： 离散模式是否衰减看 $|\lambda_i|<1$，连续模式是否衰减看 $\operatorname{Re}\lambda_i<0$。这是幂与指数的区别，不能共用一个判据。$\lambda=-1$ 的离散模式会正负交替，$\lambda=i$ 的连续模式会旋转振荡。

如果特征向量不够，这套「把任意向量写成特征向量之和」的做法便断了；$A^kv_0$ 与 $e^{tA}v_0$ 本身仍然有定义。实验中的剪切矩阵会具体展示这一边界。

从演化方程换一个坐标系。令 $v=My$，其中 $M$ 可逆，则

$$v_{k+1}=Av_k\quad\Longrightarrow\quad y_{k+1}=M^{-1}AMy_k.$$

因此定义 $B=M^{-1}AM$，称 $A$ 与 $B$ 相似。左右两个因子必须互为逆，不能任意各乘一个矩阵。相似不是两个数组外观接近，而是它们表示同一线性变换的不同坐标。

课堂的核心证明很短。假设 $By=\lambda y$ 且 $y\ne0$，代入并左乘 $M$：

$$M^{-1}AMy=\lambda y\quad\Longrightarrow\quad A(My)=\lambda(My).$$

因为 $M$ 可逆，$My\ne0$；所以 $x=My$ 是 $A$ 对应于同一 $\lambda$ 的特征向量。反向用 $M^{-1}$ 同样成立。特征值相同，特征向量一般不同。 更强的重数结论可由 $\det(B-tI)=\det(M^{-1}(A-tI)M)=\det(A-tI)$ 得到。

Strang 随后解释数值程序为什么关心相似变换：反复选择合适的坐标，使矩阵接近容易读出特征值的形状，同时保留谱。对称矩阵可以趋向对角形；一般矩阵在复数运算下可以趋向上三角形。实数算法遇到复共轭特征值时通常保留 $2\times2$ 块，不能说所有实矩阵都能用实相似变换得到实上三角矩阵。

这段只是计算策略的动机，不是对具体软件内部算法的完整描述。手算行列式适合小例子，实际数值求谱不会依靠展开一个巨大特征多项式再求根。

课堂接着问：交换乘积的顺序，会不会改变特征值？如果 $A,B$ 是同阶方阵而 $B$ 可逆，那么

$$B(AB)B^{-1}=BA,$$

所以 $AB$ 与 $BA$ 相似。它用的是相似变换的等价写法 $MCM^{-1}$；与前段的 $M^{-1}CM$ 不矛盾，只是把换基矩阵改名为它的逆。

课堂这一步需要补条件。 22 分钟附近用 $B^{-1}$ 的证明只适用于可逆 $B$；仅把目标特征值限定为非零，并不能保证整个 $B$ 可逆。下面是避开逆矩阵、直接证明非零谱对应的办法。

更一般地，设 $A\in\mathbb R^{m\times n}$、$B\in\mathbb R^{n\times m}$，且

$$ABx=\lambda x,\qquad\lambda\ne0.$$

首先 $Bx\ne0$，否则 $ABx=0$ 会与 $\lambda x\ne0$ 矛盾。其次

$$BA(Bx)=B(ABx)=\lambda Bx.$$

所以 $Bx$ 是 $BA$ 的特征向量。反向交换 $A,B$，就得到非零特征值集合一致。代数重数一致是更强的结论，可由特征多项式恒等式补足；这里的向量证明已经解释了为什么必须特别小心零。

矩形补充例子：$A=(1,0)$、$B=(1,0)^{\mathsf T}$ 时，$AB=[1]$，而 $BA=\operatorname{diag}(1,0)$。它们的非零特征值都是 $1$，零特征值数量不同。若 $A,B$ 是同阶方阵，事实上完整特征多项式相同，连零根的代数重数也相同；但它们不一定相似。

这会在 第6讲 SVD 重新出现：$A^{\mathsf T}A$ 和 $AA^{\mathsf T}$ 的大小可以不同，却拥有相同的正特征值。

知道 $A$ 的特征值和 $B$ 的特征值，能否直接得到 $A+B$ 或 $AB$ 的特征值？课堂的回答是：一般不能。缺少的是两者特征向量之间的关系。

如果确实有同一个非零向量满足 $Ax=\lambda x$ 与 $Bx=\mu x$，那么

$$(A+B)x=(\lambda+\mu)x,\qquad ABx=\lambda\mu x.$$

这里的相加、相乘成立，是因为沿着同一条特征直线比较。若拥有共同特征基，就可以在这组基中逐个配对；不是把两个无序的特征值列表随意对应。

下面是为课堂警告设计的反例：

$$A=\begin{pmatrix}0&1\\0&0\end{pmatrix},\qquad B=\begin{pmatrix}0&0\\1&0\end{pmatrix}.$$

两者的特征值都只有 $0$（二重），但

$$A+B=\begin{pmatrix}0&1\\1&0\end{pmatrix},\qquad AB=\begin{pmatrix}1&0\\0&0\end{pmatrix}.$$

前者的特征值为 $1,-1$，后者为 $1,0$；显然不是把零逐项加起来或乘起来。与此同时，$BA=\operatorname{diag}(0,1)$ 仍与 $AB$ 同谱，这和上一段完全相容。

不要把课堂的「一般没有这种规则」理解成没有任何联系：迹始终可相加，行列式始终可相乘。它们约束的是所有特征值的和或积，而不是每一个特征值的配对。

从一般矩阵走向对称矩阵之前，Strang 先给出反面对照。29:40 板书上的矩阵是

$$R=\begin{pmatrix}0&1\\-1&0\end{pmatrix},\qquad R^{\mathsf T}=-R.$$

它把 $(x_1,x_2)$ 变为 $(x_2,-x_1)$，是顺时针 $90^\circ$ 旋转，也是实反对称矩阵。对任意非零实向量，$Rx$ 都与 $x$ 垂直，因此不可能是实数倍。虽然矩阵的每个元素都是实数，它却没有实特征向量。

几何上的「没有实方向」并不等于代数上完全没有特征值。把数域扩充到复数后，$Rx=\lambda x$ 仍然能有解，下一段会算出 $\lambda=\pm i$。

需要校正课堂的一个泛化：「任何反对称矩阵都没有实特征向量」说得太强。实反对称矩阵的特征值是纯虚数或零；若存在非零零空间向量，它就是 $\lambda=0$ 的实特征向量。零矩阵就是最简单的反例。对于非零实特征值，因 $x^{\mathsf T}Rx=0$，特征方程会给出 $\lambda\|x\|^2=0$，因此不可能。

实对称矩阵的结构更强：所有特征值都实，并且能够选出完整的正交特征基。旋转矩阵提醒我们，这些是「对称」带来的特殊保证，不是「矩阵元素为实数」自动带来的保证。

要求 $Ax=\lambda x$ 的非零解，就把它改写成

$$(A-\lambda I)x=0\quad\Longrightarrow\quad\det(A-\lambda I)=0.$$

这里的关键是非零解。任何齐次系统都有零解；只有矩阵奇异，才会出现非平凡零空间。先从行列式求 $\lambda$，再对每个 $\lambda$ 求 $N(A-\lambda I)$，这才是完整的手算步骤。

对课堂的顺时针旋转矩阵，

$$\det\begin{pmatrix}-\lambda&1\\-1&-\lambda\end{pmatrix}=\lambda^2+1=0,$$

得到 $\lambda=i,-i$。补完课堂没有写到底的特征向量计算：$\lambda=i$ 时可取 $x=(1,i)^{\mathsf T}$；$\lambda=-i$ 时可取 $x=(1,-i)^{\mathsf T}$。例如 $R(1,i)^{\mathsf T}=(i,-1)^{\mathsf T}=i(1,i)^{\mathsf T}$。

Strang 接着给出两个快速检查，特征值要按代数重数计数：

$$\sum_{i=1}^n\lambda_i=\operatorname{tr}(A),\qquad\prod_{i=1}^n\lambda_i=\det A.$$

本例 $i+(-i)=0=\operatorname{tr}R$，$i(-i)=1=\det R$。注意 $i(-i)=-i^2=1$，不是 $-1$。对 $2\times2$ 矩阵，和、积确定了首一二次特征多项式，因此能核验两个根的无序集合；但仍不等于核验特征向量。

一般二阶矩阵的式子也说明了这个联系：

$$\det\left(\begin{pmatrix}a&b\\c&d\end{pmatrix}-\lambda I\right)=\lambda^2-(a+d)\lambda+(ad-bc).$$

更高阶时，仅检查和、积远远不够：它们只检查了特征多项式的两项系数。课堂特别提醒，即使两个检查都通过，三阶、四阶计算仍可能出错。

回到 $S=S^{\mathsf T}$。课堂总结了实对称矩阵的三个相互配合的保证：所有特征值都是实数；可以选择正交的特征向量；即使出现重特征值，仍然有完整的 $n$ 个独立特征向量。

第三点尤其不能漏掉。一般矩阵可能只有一个独立特征向量，例如补充例子

$$J=\begin{pmatrix}1&1\\0&1\end{pmatrix},\qquad(J-I)x=0\Longrightarrow x_2=0.$$

其特征值 $1$ 的代数重数为 $2$，特征空间维数却只有 $1$。对称矩阵不会出现这种「缺少特征向量」的情况。

「特征向量正交」也要说准确：不同特征值对应的特征向量自动正交；同一个重特征值对应的空间里，任意选出的向量不一定正交，但可以在该空间内选取正交单位基。例如 $I$ 的每个非零向量都是特征向量，$(1,0)$ 与 $(1,1)$ 显然不正交。

课堂在 35:51–35:59 明确请学生暂时接受这些结论，继续看它们的用途，并没有当堂完成谱定理证明。教材补充可以解释两个核心性质：对复特征向量，用共轭转置 $x^*$ 得到 $\lambda=(x^*Sx)/(x^*x)$ 是实数；对 $Sx=\lambda x$、$Sy=\mu y$，有

$$\lambda x^{\mathsf T}y=(Sx)^{\mathsf T}y=x^{\mathsf T}Sy=\mu x^{\mathsf T}y.$$

若 $\lambda\ne\mu$，就有 $x^{\mathsf T}y=0$。这证明不同特征值的正交性；完整特征基的存在还需要进一步的谱定理论证，不能把这一行计算误当作全部证明。

课堂的具体对称矩阵是

$$S=\begin{pmatrix}0&1\\1&0\end{pmatrix}.$$

它把 $(a,b)$ 变成 $(b,a)$。因此相等的两个分量不会改变，互为相反数的两个分量会整体反号：

$$S\begin{pmatrix}1\\1\end{pmatrix}=\begin{pmatrix}1\\1\end{pmatrix},\qquad S\begin{pmatrix}1\\-1\end{pmatrix}=-\begin{pmatrix}1\\-1\end{pmatrix}.$$

所以 $\lambda_1=1$、$\lambda_2=-1$，特征向量分别为 $(1,1)^{\mathsf T}$、$(1,-1)^{\mathsf T}$，并且点积为零。迹为 $0=1+(-1)$，行列式为 $-1=1(-1)$，与课堂的两项检查相符。

几何上，这是关于直线 $x_1=x_2$ 的反射：沿镜面保持，沿法线反向。它既是对称矩阵又是正交矩阵，却不是正定矩阵，因为存在负特征值。对称保证实数，不保证正数。

为把这道课堂例题算完整，任意向量都能分成和、差两部分：

$$\begin{pmatrix}a\\b\end{pmatrix}=\frac{a+b}{2}\begin{pmatrix}1\\1\end{pmatrix}+\frac{a-b}{2}\begin{pmatrix}1\\-1\end{pmatrix}.$$

于是 $S^k$ 只让第二项多出 $(-1)^k$：偶数次恢复初值，奇数次交换两坐标。特征值 $1$ 的方向是离散迭代的稳态；特征值 $-1$ 的方向则来回翻转。

Strang 接着提出相似变换中的核心问题：什么矩阵能把 $S$ 变成只显示特征值的对角矩阵？自然的候选是特征向量矩阵：

$$M=\begin{pmatrix}1&1\\1&-1\end{pmatrix},\qquad\Lambda=\begin{pmatrix}1&0\\0&-1\end{pmatrix}.$$

与其机械地算四个元素，不如使用前面课程的「逐列乘法」：

$$SM=S[x_1\ x_2]=[Sx_1\ Sx_2]=[x_1\ -x_2]=[x_1\ x_2]\Lambda=M\Lambda.$$

左乘 $S$ 是对每一列施加变换；右乘 $\Lambda$ 是分别把第 $i$ 列乘以 $\lambda_i$。这里 $[x_1\ -x_2]$ 是两个并列的列向量，不是做向量减法得到一个 $x_1-x_2$。课堂 43 分钟的师生对话正好暴露了这个容易听混的点。

由于两列独立，$M$ 可逆。因此从 $SM=M\Lambda$ 得到

$$M^{-1}SM=\Lambda,\qquad S=M\Lambda M^{-1}.$$

先把输入转成特征向量坐标，再独立缩放，最后转回原坐标，这就是对角化的意义。本例 $M^2=2I$，故 $M^{-1}=\tfrac12M$，可以直接相乘核验 $S=M\Lambda M^{-1}$。

还要避免一个逻辑倒置：虽然相似矩阵一定同谱，但同谱不一定相似。$I$ 与 $\begin{pmatrix}1&1\\0&1\end{pmatrix}$ 都有两个特征值 $1$，却只有后者缺少完整特征基。本例能对角化的理由是我们找到了可逆的特征向量矩阵，不只是两个特征值列表相同。

把例子中的 $S,M$ 改成一般记号 $A,X$。若 $X=[x_1\ \cdots\ x_n]$ 的列是 $n$ 个独立特征向量，便有

$$AX=X\Lambda,\qquad A=X\Lambda X^{-1}.$$

课堂回到开头的问题：平方时，相邻的 $X^{-1}X$ 抵消，得到

$$A^2=(X\Lambda X^{-1})(X\Lambda X^{-1})=X\Lambda^2X^{-1},\qquad A^k=X\Lambda^kX^{-1}.$$

这与逐向量的 $A^kx_i=\lambda_i^kx_i$ 是同一事实的矩阵表达。它没有消除条件：若 $X$ 的列不独立，$X^{-1}$ 不存在，就不能对角化。矩阵可逆与可对角化也不是同一件事：剪切矩阵 $J$ 可逆却不可对角化，而对称秩一矩阵可对角化却不可逆。

下面实验为本讲设计，包含教材例子与补充反例，不全是课堂原例。 角度控制给出单位向量 $x=(\cos\theta,\sin\theta)^{\mathsf T}$；改变方向，观察 $x$、$Ax$ 和 $\det[x,Ax]$。对非零实向量，行列式为零恰好表示共线。实验同时给出候选比例 $\widehat\lambda=(x^{\mathsf T}Ax)/(x^{\mathsf T}x)$ 与残差 $\|Ax-\widehat\lambda x\|$；只有残差为零时，这个比例才确实是该方向的特征值。

1. 选对称矩阵 $\begin{pmatrix}2&1\\1&2\end{pmatrix}$（教材印刷36页例1）。把角度设为 $45^\circ$ 与 $135^\circ$，分别找到 $\lambda=3$ 与 $\lambda=1$；调整数幂 $k$，比较 $3^k$ 增长与保持不变。
2. 选剪切矩阵 $J=\begin{pmatrix}1&1\\0&1\end{pmatrix}$。只有水平直线是特征方向；在 $90^\circ$ 初值下，$J^k(0,1)^{\mathsf T}=(k,1)^{\mathsf T}$，尽管所有特征值都为 $1$，仍出现线性增长。原因是缺陷结构，不是计算器算错了。
3. 选逆时针 $90^\circ$ 旋转 $\begin{pmatrix}0&-1\\1&0\end{pmatrix}$。它与课堂顺时针矩阵方向相反，仍没有实特征方向，特征值集合仍为 $\{i,-i\}$。任意角度下残差都不为零，整数幂每四步回到初值；候选比例为零不表示零是特征值。
4. 选秩一矩阵 $\begin{pmatrix}1&1\\1&1\end{pmatrix}$，在 $135^\circ$ 找到零特征值。输入 $x$ 非零，而输出 $Ax=0$；这合法，不能把零输出误判为「不是特征方向」。

实验的二维实箭头不会显示复特征向量；缺少实共线方向与在复数域缺少特征向量是两件不同的事。

最后一口气，Strang 把一般对角化专门化到实对称矩阵。完整的正交特征基可以归一为 $q_1,\ldots,q_n$，排成方阵 $Q$。上一讲告诉我们

$$Q^{\mathsf T}Q=QQ^{\mathsf T}=I,\qquad Q^{-1}=Q^{\mathsf T}.$$

因此一般的 $A=X\Lambda X^{-1}$ 化为本讲终点——谱定理：

$$S=Q\Lambda Q^{\mathsf T},\qquad\Lambda=\operatorname{diag}(\lambda_1,\ldots,\lambda_n),\quad\lambda_i\in\mathbb R.$$

注意这里的 $Q$ 是完整的 $n\times n$ 正交矩阵，因而左右乘积都为单位矩阵；不能把上一讲只有正交列的高瘦矩阵直接当作可逆矩阵。

课堂交换矩阵的两个特征向量长度都是 $\sqrt2$，故

$$Q=\frac1{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix},\qquad S=Q\begin{pmatrix}1&0\\0&-1\end{pmatrix}Q^{\mathsf T}.$$

从右向左读：$Q^{\mathsf T}$ 提取输入沿各个正交特征方向的分量；$\Lambda$ 缩放或反转各分量；$Q$ 把它们组合回原坐标。这也可以写成补充的秩一展开

$$S=\sum_{i=1}^n\lambda_iq_iq_i^{\mathsf T}.$$

每个 $q_iq_i^{\mathsf T}$ 是到一条特征直线的正交投影，连接了上一讲的投影与本讲的特征值。下一讲再加上所有 $\lambda_i>0$，就进入正定矩阵；第6讲会把这种「正交方向加伸缩量」的结构推广到任意矩形矩阵的 SVD。

本讲至此完成的是从用途、相似变换、课堂例子到谱分解形式的推理链。谱定理的完整存在性证明没有在课堂展开，正文的教材补充不应被误记成老师当场完成的证明。