奇异值分解：找到矩阵的主方向

上一讲中最理想的对象是实对称矩阵：它可以写成 $S=Q\Lambda Q^{\mathsf T}$，特征向量组成正交基。Strang 从这里提出新的问题：实际数据矩阵常常是 $m\times n$ 的矩形矩阵，这套语言还够用吗？

如果 $x\in\mathbb R^n$，则 $Ax\in\mathbb R^m$。当 $m\ne n$ 时，$Ax=\lambda x$ 的两边甚至不在同一空间，因此不能直接给 $A$ 定义通常意义的特征值。即使 $A$ 是实方阵，它的特征值也可能是复数，特征向量也未必正交。我们需要一个适用于任意实矩阵、又能保留正交结构的分解。

想一想两种描述的区别：特征向量寻找「变换以后还沿着原方向」的向量；奇异向量允许输入方向和输出方向不同。换来这个自由之后，输入空间与输出空间都能拥有一套整齐的正交坐标系。

本讲沿着这条路线前进：提出 $Av_i=\sigma_i u_i$ → 借助对称矩阵 $A^{\mathsf T}A$ 找到输入方向 → 构造输出方向并证明正交 → 读出几何意义 → 为下一讲提取数据的主要部分做准备。

Strang 在黑板上把谱分解与新的分解并列：

$$S=Q\Lambda Q^{\mathsf T},\qquad A=U\Sigma V^{\mathsf T}.$$

这里 $A\in\mathbb R^{m\times n}$。完整 SVD 中，$U\in\mathbb R^{m\times m}$、$V\in\mathbb R^{n\times n}$ 都是正交矩阵，$\Sigma\in\mathbb R^{m\times n}$ 是矩形对角矩阵。$u_i$ 称为左奇异向量，处在输出空间 $\mathbb R^m$；$v_i$ 称为右奇异向量，处在输入空间 $\mathbb R^n$。

若 $\operatorname{rank}(A)=r$，通常将非零奇异值排列为

$$\sigma_1\ge\sigma_2\ge\cdots\ge\sigma_r>0,$$

其余对角位置为零。奇异值没有负号；反向、旋转或反射由 $U$ 和 $V$ 承担。因而不能把特征值简单改名为奇异值：两者回答的问题不同。

「任意矩阵都有 SVD」是本讲需要证明的结论。完整分解和只保留 $r$ 个方向的紧凑分解稍后会作明确区分；不要在还没检查维数时把每个因子都当成同阶方阵。

我们不能直接要求矩形 $A$ 有正交特征向量，但可以把它变成两个方阵：

$$A^{\mathsf T}A\in\mathbb R^{n\times n},\qquad AA^{\mathsf T}\in\mathbb R^{m\times m}.$$

它们都是对称矩阵。更进一步，对任意 $x$，

$$x^{\mathsf T}A^{\mathsf T}Ax=\|Ax\|_2^2\ge0.$$

因此 $A^{\mathsf T}A$ 的特征值非负，可以取平方根；$AA^{\mathsf T}$ 同理。这正好把上一讲的正定与半正定理论接到了本讲。

条件校正：一般应说「半正定」。 课堂口语多次说 positive definite，同时允许特征值为零。严格地说，$A^{\mathsf T}A$ 正定当且仅当 $A$ 的列线性无关；$AA^{\mathsf T}$ 正定当且仅当 $A$ 的行线性无关。秩亏时一定会有零特征值。

为什么两个不同尺寸的矩阵会有同样的正特征值？若 $A^{\mathsf T}Av=\lambda v$ 且 $\lambda>0$，那么 $Av\ne0$，并且

$$AA^{\mathsf T}(Av)=A(A^{\mathsf T}Av)=\lambda Av.$$

这把一个正特征值对应的方向送到了另一侧。反向用 $A^{\mathsf T}$ 也成立。两侧共有 $r$ 个正特征值（计重数），其余分别是 $n-r$ 与 $m-r$ 个零。课堂在 06:50 后也特意把「特征值相同」修正为「非零特征值相同」。

新的基本方程是

$$Av_i=\sigma_i u_i\qquad(1\le i\le r).$$

这里 $v_i$ 和 $u_i$ 都是单位向量，$\sigma_i$ 正好是 $Av_i$ 的长度。超过秩之后，$Av_{r+1}=\cdots=Av_n=0$，那些输入方向被矩阵彻底消去。

Strang 画出的「线性代数大图景」把两组奇异向量放进四个基本子空间：

输入空间 $\mathbb R^n$	输出空间 $\mathbb R^m$
$v_1,\ldots,v_r$ 张成行空间 $C(A^{\mathsf T})$	$u_1,\ldots,u_r$ 张成列空间 $C(A)$
$v_{r+1},\ldots,v_n$ 张成 $N(A)$	$u_{r+1},\ldots,u_m$ 张成左零空间 $N(A^{\mathsf T})$

在每一侧，上下两个空间互相正交。$A$ 把行空间中的 $r$ 个选定方向送到列空间中的 $r$ 个正交方向，并沿第 $i$ 个方向放大 $\sigma_i$ 倍；它把整个 $N(A)$ 送到零。

特别之处是「这组正交方向变换后仍然正交」。 一般矩阵不会保持任意两条正交向量的夹角。SVD 找到的是专门适配于 $A$ 的一组方向，并不是证明 $A$ 本身是正交矩阵。

把前 $r$ 个右奇异向量排成 $V_r=[v_1\ \cdots\ v_r]$，把对应的左奇异向量排成 $U_r=[u_1\ \cdots\ u_r]$，再令 $\Sigma_r=\operatorname{diag}(\sigma_1,\ldots,\sigma_r)$，所有逐向量方程就合在一起：

$$AV_r=U_r\Sigma_r.$$

如果把两组基补全，使用完整的 $V$ 和矩形 $\Sigma$，则有 $AV=U\Sigma$。因为方阵 $V$ 正交，$VV^{\mathsf T}=I_n$，右乘 $V^{\mathsf T}$ 就得到 $A=U\Sigma V^{\mathsf T}$。

这里有一个值得补清的细节。 紧凑矩阵只满足 $V_r^{\mathsf T}V_r=I_r$，一般没有 $V_rV_r^{\mathsf T}=I_n$。那么为什么仍然可以写

$$A=U_r\Sigma_rV_r^{\mathsf T}\ ?$$

$V_rV_r^{\mathsf T}$ 是到行空间的正交投影。任意 $x$ 可以拆成行空间部分与零空间部分；后者被 $A$ 消去，因此 $AV_rV_r^{\mathsf T}x=Ax$。这才是紧凑形式成立的完整理由。

同一个事实现在有三种读法：对一个方向写 $Av_i=\sigma_i u_i$，对一组方向写 $AV_r=U_r\Sigma_r$，对任意输入写 $A=U_r\Sigma_rV_r^{\mathsf T}$。

现在暂时假设目标分解已经存在，反过来观察它必须满足什么。转置时必须把因子顺序颠倒：

$$A^{\mathsf T}=V\Sigma^{\mathsf T}U^{\mathsf T}.$$

于是

$$A^{\mathsf T}A=V\Sigma^{\mathsf T}U^{\mathsf T}U\Sigma V^{\mathsf T}=V(\Sigma^{\mathsf T}\Sigma)V^{\mathsf T}.$$

中间的 $U^{\mathsf T}U=I_m$ 消失了，$\Sigma^{\mathsf T}\Sigma$ 是对角矩阵，前 $r$ 个对角元为 $\sigma_i^2$。这正是熟悉的对称矩阵谱分解，所以 $v_i$ 是 $A^{\mathsf T}A$ 的正交单位特征向量，$\sigma_i$ 是相应非负特征值的平方根。

换一个次序，得到完全对称的结论：

$$AA^{\mathsf T}=U(\Sigma\Sigma^{\mathsf T})U^{\mathsf T}.$$

因此 $u_i$ 是 $AA^{\mathsf T}$ 的正交单位特征向量。注意两个对角矩阵的尺寸不同：$\Sigma^{\mathsf T}\Sigma$ 为 $n\times n$，$\Sigma\Sigma^{\mathsf T}$ 为 $m\times m$。

这是一个「先分析应有形式，再寻找构造」的证明策略。到这里还不能说证明完全结束：我们找到了左右两边各自应当长什么样，但还需让它们真正配成 $Av_i=\sigma_i u_i$。

Strang 接着追问一个容易漏掉的问题：假如 $A^{\mathsf T}A$ 或 $AA^{\mathsf T}$ 有二重、三重特征值，单独说「取它们的特征向量」够不够？

课堂例子是

$$S=\begin{pmatrix}1&0&0\\0&1&0\\0&0&5\end{pmatrix}.$$

对应特征值 $5$ 的方向是 $(0,0,1)^{\mathsf T}$；对应特征值 $1$ 的则是整个 $xy$ 平面中的非零向量，因为 $S(x,y,0)^{\mathsf T}=(x,y,0)^{\mathsf T}$。这个平面里可以选择许多不同的正交单位基。

因此，如果分别计算 $A^{\mathsf T}A$ 与 $AA^{\mathsf T}$ 的特征基，两套选择未必相互匹配。即使没有重根，也可能有符号不匹配。Strang 的处理是：先选定 $A^{\mathsf T}A$ 的正交单位特征向量 $v_i$，再定义

$$u_i=\frac{Av_i}{\sigma_i},\qquad\sigma_i>0.$$

这样 $Av_i=\sigma_i u_i$ 自动成立，左右方向也不会配错。零奇异值不能用这个式子，因为不能除以零；相应的基向量要在零空间中另外补齐。

SVD 因而通常不是逐列唯一的：同一对 $(u_i,v_i)$ 同时变号不改变乘积；重奇异值对应的子空间内还能同时更换正交基。唯一确定的是排好序的奇异值，以及适当条件下的子空间，而不是每个向量的符号。

剩下的工作是验证构造出的 $u_i$ 真满足要求。课堂把注意力集中在 $u_1^{\mathsf T}u_2=0$ 上；同样的计算可以一次处理所有指标：

$$u_i^{\mathsf T}u_j=\frac{v_i^{\mathsf T}A^{\mathsf T}Av_j}{\sigma_i\sigma_j}=\frac{\sigma_j^2}{\sigma_i\sigma_j}v_i^{\mathsf T}v_j.$$

若 $i\ne j$，最后的内积是零；若 $i=j$，结果为 $1$。所以 $u_i$ 不仅互相正交，而且都是单位向量。

为什么一般的正交向量做不到？ 单独知道 $v_i^{\mathsf T}v_j=0$，并不能随意删掉中间的 $A^{\mathsf T}A$。我们能把它替换成一个数，是因为 $v_j$ 同时还是这个矩阵的特征向量。课堂在 24:20–25:45 反复强调的正是这一步。

再补上另一项检查：

$$AA^{\mathsf T}u_i=\frac{A(A^{\mathsf T}Av_i)}{\sigma_i}=\sigma_i^2u_i.$$

因此这些 $u_i$ 也确实是 $AA^{\mathsf T}$ 的特征向量。连同零空间的正交补基，SVD 的存在性证明就完成了。

回顾证明依赖的已有知识：对称矩阵有正交单位特征基；$A^{\mathsf T}A$ 半正定；正交基可扩充。Strang 在随后简短谈到 SVD 比特征值理论更晚被发现，而大型矩形数据矩阵让它的重要性越来越突出。本讲没有展开历史考证，复习的重点仍是这条构造链。

Strang 随即提醒：刚才的证明不应直接变成大规模 SVD 的算法。他举出 $5000\times10000$ 的矩阵 $A$；显式形成 $A^{\mathsf T}A$ 会得到 $10000\times10000$ 的方阵，需要大量运算和存储。

更重要的是舍入误差。对于满列秩矩阵，在二范数下

$$\kappa_2(A)=\frac{\sigma_{\max}}{\sigma_{\min}},\qquad\kappa_2(A^{\mathsf T}A)=\kappa_2(A)^2.$$

小奇异值会变成更小的平方值，区分它们更困难。若矩阵本身秩亏，通常的条件数已经是无穷大；课堂中的宽矩阵例子也会令 $A^{\mathsf T}A$ 有零特征值。因此上面的有限条件数等式需要它自己的满列秩条件。

本讲的结论是：用 $A^{\mathsf T}A$ 理解数学，用专门的稳定算法做实际 SVD。 手算一个 $2\times2$ 教学例子可以走这条路线；大型数据处理中应直接使用数值库的 SVD 例程。课程后续会讨论计算方法，此处没有把具体算法展开。

读取 $Ax=U\Sigma V^{\mathsf T}x$ 时，要从最右边开始。课堂用二维单位圆上的所有向量说明三个步骤：

1. $V^{\mathsf T}$ 是正交变换，保持长度与夹角。整个圆仍是圆，但每个被标记的向量换了方向。
2. $\Sigma$ 把两个坐标分别乘以 $\sigma_1$、$\sigma_2$。圆变为轴对齐的椭圆，半轴长度就是奇异值。
3. $U$ 再做正交变换，把椭圆放到最终位置。最终两条主轴沿着 $u_1,u_2$，对应端点是 $\sigma_1u_1,\sigma_2u_2$。

所以 $v_i$ 告诉你从哪个输入方向出发，$u_i$ 告诉你落在哪个输出方向，$\sigma_i$ 告诉你长度放大多少。正交变换可以包括反射；课堂为了画图方便主要说「旋转」，但一般的 SVD 不要求 $\det U=\det V=1$。

Strang 接着问：什么时候可以让 $U=V$？对于实对称半正定矩阵，可以选同一组正交特征向量，并令 $\Sigma=\Lambda\ge0$。反过来，若 $A=U\Sigma U^{\mathsf T}$ 且 $\Sigma\ge0$，则 $A$ 必为对称半正定。正定是没有零奇异值的特殊情况。若对称矩阵有负特征值，相应的负号需要放入左右奇异向量之间，不能原样令 $U=V$。

操作前先预测： 只改变输入旋转角，最终椭圆外轮廓会不会变？轮廓不会，因为整个单位圆在 $V^{\mathsf T}$ 下不变，但固定输入向量的落点会变。再把 $\sigma_2$ 降到零，椭圆会退化成线段，表示一个输入方向被消去。

这里的交互实验是为了复现课堂的变换图景；降秩与参数预设是补充探索。

SVD 不只给出图像，也应当能容纳原矩阵的自由度。一个一般 $2\times2$ 矩阵有四个实数，课堂将它们重新数成：$V$ 的一个角度、两个奇异值、$U$ 的一个角度，总计 $1+2+1=4$。

二维旋转可以写成

$$R(\theta)=\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{pmatrix}.$$

虽然矩阵有四个位置，它只需要一个连续参数。反射与否属于离散选择，不再增加连续参数的个数。

三维时，原矩阵有九个数；三个奇异值加上两侧各三个旋转参数，得到 $3+3+3=9$。课堂与学生用飞机的滚转、俯仰、偏航来说明三维姿态可由三个角度描述。这是理解自由度的直观联系，不是在本讲建立完整的姿态参数化理论。

四维原矩阵有十六个数，除去四个奇异值，左右两边各留下六个连续参数。课堂到这里停住。补充一般规律： $n\times n$ 正交矩阵的连续自由度为 $n(n-1)/2$，于是

$$n^2=\frac{n(n-1)}2+n+\frac{n(n-1)}2.$$

这个计数针对一般情形。重奇异值与零奇异值会带来表示的冗余，不能用它推出「每个 SVD 都唯一」，也不能仅凭参数数目相等就证明分解存在。

课堂在黑板上写出

$$A=\begin{pmatrix}3&4\\0&5\end{pmatrix},$$

并把完整的数值计算留给教材。下面是按这个课堂矩阵补做的手算，不是视频中逐步完成的例题。

与书页对照时注意转置： 本地教材印刷第 57、60 页使用 $\begin{pmatrix}3&0\\4&5\end{pmatrix}$，正好是课堂矩阵的转置。因此奇异值不变，但左右奇异向量交换；本页保留视频黑板上的矩阵。

因为 $A$ 上三角，特征值直接是 $3,5$。但

$$A^{\mathsf T}A=\begin{pmatrix}9&12\\12&41\end{pmatrix},\qquad\det(A^{\mathsf T}A-\lambda I)=\lambda^2-50\lambda+225=(\lambda-45)(\lambda-5).$$

因此按降序排列，$\sigma_1=3\sqrt5\approx6.708$、$\sigma_2=\sqrt5\approx2.236$。一组相互配对的奇异向量为

$$v_1=\frac1{\sqrt{10}}\binom13,\quad v_2=\frac1{\sqrt{10}}\binom{-3}1,\qquad u_1=\frac1{\sqrt2}\binom11,\quad u_2=\frac1{\sqrt2}\binom{-1}1.$$

可以直接计算 $Av_i$ 验证每一对。这个例子里，较小奇异值小于两个特征值，较大奇异值大于它们：$\sqrt5<3<5<3\sqrt5$。它说明奇异值一般不等于特征值；也不要把这张大小图不加条件地推广到任意矩阵的全部特征值。

课堂接着讨论乘积。对任意实方阵，准确公式是

$$\prod_{i=1}^n\sigma_i=|\det A|.$$

这是因为正交矩阵的行列式为 $\pm1$。本例 $\det A=15>0$，所以奇异值乘积也恰好是 $15$。几何上它给出面积缩放的绝对倍数；行列式的符号另外记录方向是否翻转。

字幕校正： 40:51 附近的奇异值下标与前面的降序约定冲突，这里统一按 $\sigma_1\ge\sigma_2$ 书写。课堂关于「正交矩阵行列式是 1」的说法对应旋转情形；一般表述应使用绝对值。

Strang 在最后一块黑板上把两种尺寸并排写出。只保留非零奇异值时：

$$A=\underbrace{U_r}_{m\times r}\underbrace{\Sigma_r}_{r\times r}\underbrace{V_r^{\mathsf T}}_{r\times n}.$$

这里 $U_r,V_r$ 的列都是正交单位向量，但通常是矩形矩阵。它们只负责真正参与 $A$ 的作用的 $r$ 个方向。

完整形式是

$$A=\underbrace{U}_{m\times m}\underbrace{\Sigma}_{m\times n}\underbrace{V^{\mathsf T}}_{n\times n}.$$

把 $U_r$ 补到完整 $U$ 时，额外的列属于 $N(A^{\mathsf T})$；把 $V_r$ 补到完整 $V$ 时，额外的列属于 $N(A)$。$\Sigma$ 在对应位置补零，所以新增的那些基向量没有给乘积添上任何非零项。

例如补充设想一个 $5\times3$、秩为 $2$ 的矩阵：紧凑因子尺寸为 $5\times2$、$2\times2$、$2\times3$；完整因子尺寸为 $5\times5$、$5\times3$、$3\times3$。左零空间维数为 $3$，右零空间维数为 $1$。从尺寸就能发现左右两侧剩余的方向不必一样多。

术语约定： 本页用「紧凑 SVD」专指只保留 $r$ 个正奇异值的形式。软件文档中的 thin/economy SVD 有时保留 $\min(m,n)$ 个方向，包含零奇异值；使用软件时需要核对其具体约定。

在提到讲义 I.8 的例子与另一种构造方法之后，Strang 选择用一个新的分解结束纯数学部分：极分解。他从复数的极形式 $z=re^{i\theta}$ 类比：$r\ge0$ 描述大小，$e^{i\theta}$ 描述不改变长度的转向。

对于实方阵 $A$，在 SVD 中插入 $U^{\mathsf T}U=I$：

$$A=U\Sigma V^{\mathsf T}=(U\Sigma U^{\mathsf T})(UV^{\mathsf T})=SQ.$$

第一个因子 $S=U\Sigma U^{\mathsf T}$ 对称半正定，描述沿主轴的拉伸；第二个因子 $Q=UV^{\mathsf T}$ 正交，因为

$$Q^{\mathsf T}Q=VU^{\mathsf T}UV^{\mathsf T}=I.$$

因此一般线性变换可以拆成先做正交变换，再做对称拉伸。课堂用弹性物体的拉伸与内部转向说明它在几何和工程中的意义。若 $A$ 可逆，$S$ 正定；若 $A$ 奇异，$S$ 可以有零方向。

维数要补上： 上面直接写 $U\Sigma U^{\mathsf T}$ 的版本要求 $A$ 是方阵，因为完整 $\Sigma$ 只有这时也是同阶方阵。矩形矩阵也有广义极分解，但正交因子要改成适当的部分等距映射；本讲没有展开，不能照搬这行尺寸不符的乘法。

作为补充，可以验证 $S^2=AA^{\mathsf T}$，也就是 $S=(AA^{\mathsf T})^{1/2}$；同样可写另一侧的形式 $A=QH$，其中 $H=V\Sigma V^{\mathsf T}=(A^{\mathsf T}A)^{1/2}$。这与复数「模长 × 相位」的联系就更清楚了。

讲到这里，Strang 把注意力拉回课程目的：对一个巨大的数据矩阵，我们希望提取信号中的主要结构。看「最大的单个条目」并不足够，因为重要信息通常分布在许多行和列之间。

按列乘行展开 SVD，可得

$$A=\sum_{i=1}^{r}\sigma_i u_iv_i^{\mathsf T}.$$

每个 $u_iv_i^{\mathsf T}$ 都是一个 $m\times n$ 的秩一矩阵。左右向量均已归一化，因此衡量这一块大小的权重是 $\sigma_i$；最大的那块是

$$A_1=\sigma_1u_1v_1^{\mathsf T}.$$

也可以直接看它如何作用于输入：$A_1x=\sigma_1u_1(v_1^{\mathsf T}x)$。先测量 $x$ 在 $v_1$ 方向的分量，乘以强度 $\sigma_1$，再沿 $u_1$ 输出。一个秩一成分正好把一种输入模式与一种输出模式联系起来。

课堂说这些方向会与统计中的高方差、低方差及主成分联系起来。补充前提： 将奇异向量解释成通常的 PCA 方向时，要先明确数据按行还是按列摆放，并完成相应的均值中心化；本讲这里只做预告，也没有证明最大的奇异方向一定是有用信号。

回到刚才的矩阵，补充计算得到第一块为 $A_1=\begin{pmatrix}1.5&4.5\\1.5&4.5\end{pmatrix}$。它不是只保留原矩阵中最大的数字，而是用一个覆盖所有条目的秩一模式来近似整个矩阵。

从这里继续到第 7 讲：为什么只保留前 $k$ 块能得到最佳低秩近似？「最佳」使用哪一种误差？剩下的误差与舍弃的奇异值有什么关系？这三件事正是下一讲的任务。本讲最后关于 MIT 调整星期课表的几句属于课程安排，不新增数学内容。