把主要结构留下来

上一讲给出了完整的分解。对秩为 $r$ 的实矩阵 $A\in\mathbb R^{m\times n}$，把非零奇异值按大小排列：

$$A=U\Sigma V^{\mathsf T}=\sum_{i=1}^{r}\sigma_i u_i v_i^{\mathsf T},\qquad \sigma_1\geq\cdots\geq\sigma_r>0.$$

每一项都是一个秩一矩阵；$u_i$ 彼此正交归一，$v_i$ 也彼此正交归一。这些分量不仅相加等于原矩阵，还按奇异值大小给出了一个自然的排列。

Strang 从一个数据问题出发：当原矩阵有成千上万个独立方向，而我们的存储和计算只容许保留其中 $100$ 个时，应当保留哪些？这里的目标是找到数据中的主要结构。他用“只把训练数据全部记下来”作动机，强调学习还需要提取可解释、可迁移的规律；这是一段教学动机，并不是对任意学习算法的严格判据。

截断 SVD 定义为

$$A_k=\sum_{i=1}^{k}\sigma_i u_i v_i^{\mathsf T}=U_k\Sigma_kV_k^{\mathsf T},\qquad 0\leq k<r.$$

$U_k$ 为 $m\times k$，$\Sigma_k$ 为 $k\times k$，$V_k$ 为 $n\times k$。本讲的 Eckart–Young 定理说，在后面指定的范数下，对于任意 $\operatorname{rank}(B)\leq k$ 的同型矩阵都有

$$\|A-A_k\|\leq\|A-B\|.$$

这比“在已给出的 $r$ 个分量里选最好的 $k$ 个”更强：竞争者 $B$ 可以拥有完全不同的列空间、行空间和元素。它仍然无法取得更小的误差。课堂板书写的是秩 $k$；采用“秩至多 $k$”是更方便的标准表述，当 $k<r$ 时 $A_k$ 自身恰好为秩 $k$；$k\geq r$ 时直接取 $A_k=A$，误差为零。

但双竖线还没有定义。“最好”必须先说清楚如何测量误差。这就是本讲先转向范数的原因。

Strang 先提出矩阵的 $2$-范数等于最大奇异值，随后退一步：先弄懂向量长度，才能解释矩阵如何放大这种长度。

对 $v=(v_1,\ldots,v_n)^{\mathsf T}$，三个常用向量范数为

$$\|v\|_2=\left(\sum_i|v_i|^2\right)^{1/2},\qquad \|v\|_1=\sum_i|v_i|,\qquad \|v\|_\infty=\max_i|v_i|.$$

$\|v\|_2$ 是由勾股定理得到的通常长度；$\|v\|_1$ 累计各分量的绝对大小；$\|v\|_\infty$ 只记录绝对值最大的分量。绝对值不可省略：负分量不能与正分量抵消，否则就不能成为长度。字幕里口语化的“直接相加”和“最大的分量”，应按上述数学定义阅读。

补充小例子。 对 $v=(3,-4)$，三种长度分别是 $5,7,4$。不同答案没有矛盾，它们回答不同的大小问题。在二维平面里，$\|v\|_2=1$ 是圆，$\|v\|_1=1$ 是菱形，$\|v\|_\infty=1$ 是正方形；优化问题采用不同长度，就可能在不同的地方取得最小值。

定义补全。 矩阵的谱范数由欧氏向量长度诱导：

$$\|A\|_2=\max_{\|x\|_2=1}\|Ax\|_2=\sigma_1.$$

因此 $\sigma_1$ 测量的是 $A$ 对单位向量能够产生的最大伸长，并不是“把矩阵每个元素平方相加”的答案；后者属于另一个范数。

这一段是对后续信号处理与优化内容的预告。Strang 强调，$1$-范数在现代问题中变得很重要，因为在适当的约束和目标下，它会鼓励稀疏解：许多分量恰好为零，只有少数分量保留下来。

他用 $2$-范数的平方作对照。一个很小的分量在平方后更小，因此平方和惩罚往往容许许多小分量共同承担任务；$1$-范数对小分量仍给予线性惩罚，因而可能选择少数活动分量。稀疏表示的好处是解释性：如果只有几个非零系数，就比较容易看出哪些成分真正参与了表示。

课堂提到 basis pursuit（基追踪），这是把稀疏表示写成优化问题的一条路线。一个典型形式是

$$\min_x\|x\|_1\quad\text{subject to }Mx=b.$$

这里的具体优化式是帮助复习的标准补充，课堂这一段没有推导算法。尤其不要把口语描述记成“凡是使用 $1$-范数，解一定大多为零”：稀疏性取决于约束、目标、矩阵和数据；若约束已经强制所有坐标非零，就不可能凭一个范数把它们变成零。课堂此处的重点是建立 $1$-范数与稀疏建模之间的联系。

这个联系随后会在矩阵层面再次出现：对奇异值求和的核范数，扮演了与低秩结构相关的角色。

课堂抽出所有范数应当具备的共同性质。对向量 $v,w$ 和实数 $c$：

$$\|v\|\geq0,\quad \|v\|=0\Longleftrightarrow v=0,$$

$$\|cv\|=|c|\,\|v\|,\qquad \|v+w\|\leq\|v\|+\|w\|.$$

第一条区分零向量与非零向量；第二条是绝对齐次性，乘以 $-\pi$ 时长度乘以 $\pi$；第三条是三角不等式，沿两段路走的总长度不小于直达的长度。课堂说“范数是正的”时，完整条件还包含零向量的范数等于零。

同样的三条性质也用于同型矩阵组成的向量空间。比如谱范数的三角不等式就是

$$\sigma_1(A+B)\leq\sigma_1(A)+\sigma_1(B).$$

这里左边是“先把两个矩阵相加，再求最大奇异值”，不能误读成“把两组奇异值逐个相加”。课堂没有展开证明。一个简短补充是：对于任意单位向量 $x$，由向量三角不等式有 $\|(A+B)x\|_2\leq\|Ax\|_2+\|Bx\|_2\leq\|A\|_2+\|B\|_2$，再对 $x$ 取最大值即可。

有了这些性质，$\|A-B\|$ 才能作为矩阵间一致的距离来比较近似误差。

Strang 接着补上两种矩阵范数。Frobenius 范数把矩阵当作一个很长的向量，把所有元素平方相加再开方：

$$\|A\|_F=\left(\sum_{i=1}^{m}\sum_{j=1}^{n}|a_{ij}|^2\right)^{1/2}=\left(\sum_{i=1}^{r}\sigma_i^2\right)^{1/2}.$$

它适合衡量总体平方误差，例如对全部像素的误差作平方和。最后一个等号可由 $\|A\|_F^2=\operatorname{tr}(A^{\mathsf T}A)$ 得到，因为 $A^{\mathsf T}A$ 的非零特征值正是 $\sigma_i^2$。这个等号是教材补全；课堂此段先用元素定义，并在稍后指出三种范数都只依赖奇异值。

核范数则直接相加所有奇异值：

$$\|A\|_*=\sum_{i=1}^{r}\sigma_i.$$

把三者并排看，就能记住它们与奇异值向量 $\sigma=(\sigma_1,\ldots,\sigma_r)$ 的关系：

容易混淆的命名。 矩阵 $2$-范数对应的是奇异值向量的无穷范数；Frobenius 范数才对应奇异值向量的 $2$-范数。核范数也不是通常所称的“矩阵诱导 $1$-范数”；后者由向量 $1$-范数诱导，等于最大绝对列和，通常不会在正交变换下保持不变。

下面的实验专门把谱范数画出来：旋转单位输入向量 $x$，寻找使 $\|Ax\|_2$ 最大的方向，再把最大读数与 $\sigma_1$ 比较。切换到压成线段的预设，观察为什么某个方向的伸长可以为零，而最大伸长仍然非零。Frobenius 范数和核范数则按上表从全部奇异值计算。

现在可以把开头的定理说完整：对于谱范数、Frobenius 范数和核范数，截断 SVD 都给出一个最佳秩至多 $k$ 的近似。更一般的正交不变范数也有相应结论；不能把这个结果不加区分地套在任意自定义矩阵误差上。

为什么误差可以直接从奇异值读出来？因为

$$A-A_k=\sum_{i=k+1}^{r}\sigma_i u_i v_i^{\mathsf T}$$

本身已经是被舍弃部分的奇异值分解。因此三个最小误差分别为

$$\min_{\operatorname{rank}(B)\leq k}\|A-B\|_2=\sigma_{k+1},$$

$$\min_{\operatorname{rank}(B)\leq k}\|A-B\|_F=\sqrt{\sum_{i=k+1}^{r}\sigma_i^2},\qquad \min_{\operatorname{rank}(B)\leq k}\|A-B\|_*=\sum_{i=k+1}^{r}\sigma_i.$$

课堂与补充的边界。 Strang 本讲选择解释定理的意义、例子和正交不变性，没有完成最优性的证明。他提到讲义里有谱范数和 Frobenius 范数的不同证明，并提及 Srebro 的证明。下面给出教材式的谱范数证明，作为可选的复习补充。

令 $W=\operatorname{span}\{v_1,\ldots,v_{k+1}\}$。对任意秩至多 $k$ 的矩阵 $B$，$\dim N(B)\geq n-k$，所以 $W$ 与 $N(B)$ 必有非零交集。选择交集中的单位向量 $z=\sum_{i=1}^{k+1}c_iv_i$，于是 $Bz=0$，并且

$$\|(A-B)z\|_2^2=\|Az\|_2^2=\sum_{i=1}^{k+1}\sigma_i^2c_i^2\geq\sigma_{k+1}^2\sum_{i=1}^{k+1}c_i^2=\sigma_{k+1}^2.$$

故 $\|A-B\|_2\geq\sigma_{k+1}$；而 $A_k$ 已经达到这个下界。这一证明的结构是：秩预算不足，使竞争者必定漏掉前 $k+1$ 个方向中的某个方向。

“最佳”不自动意味着“唯一”。 在 Frobenius 范数下，若 $0<k<r$ 且 $\sigma_k>\sigma_{k+1}$，最佳矩阵 $A_k$ 唯一；若切分位置出现相等的正奇异值，可能有多个最佳矩阵。谱范数下，即便存在这个间隔也不保证唯一。例如 $A=\operatorname{diag}(4,3,2,1)$、$k=2$ 时，$\operatorname{diag}(4,3,0,0)$ 和 $\operatorname{diag}(3,3,0,0)$ 的谱误差都为 $2$。课堂没有讨论唯一性，这里用于防止把定理读得过强。

课堂在核范数旁写下 Netflix 和 MRI，说明范数选择会影响真实问题的建模方式。

在电影推荐例子中，一行对应一位用户，一列对应一部电影，矩阵元素是评分。每个人只看过一部分电影，所以这个矩阵大而且有许多缺失项。任务是根据已知评分，预测某个用户可能如何评价尚未看过的电影。Strang 也提醒，人的评分习惯等因素同样会影响推荐，不能把整个问题只看成纯粹的矩阵运算。

低秩模型的直觉是：大量评分可能由较少的潜在偏好因素解释。核范数求和所有奇异值，可以作为低秩建模的一种凸替代。标准建模补充是，在观测位置集合 $\Omega$ 上保留已知值，并求

$$\min_X\|X\|_*\quad\text{subject to }X_{ij}=M_{ij}\quad((i,j)\in\Omega).$$

这与本讲的截断 SVD 问题有联系，也有差别：截断 SVD 的输入矩阵 $A$ 全部已知，要求在秩预算内逼近它；矩阵补全的输入只有部分元素，要求同时利用观测约束和结构假设恢复未知部分。把缺失评分填成零后直接做 SVD，会把“没看过”错误地当作“评分为零”。核范数也不能保证在任意缺失模式下完全恢复；还需要足够且合适的观测等条件。

MRI 例子强调采样时间与信息量的折中：希望减少采样、缩短检查时间，就需要从不完整测量重建结构。课堂借它解释稀疏或低秩方法的用途，没有给出完整成像测量模型。这里保留这层方法联系，不将其简化为“任意 MRI 图像缺失像素都能由核范数补齐”。

Netflix 奖金和算法的叙述在课堂中用作历史动机；本讲可直接带走的数学内容，是“观测不完整 + 结构假设 + 合适的优化目标”这一建模链条。

Strang 取了一个完全具体的例子：

$$A=\begin{bmatrix}4&0&0&0\\0&3&0&0\\0&0&2&0\\0&0&0&1\end{bmatrix},\qquad k=2.$$

这是正对角矩阵，特征值和奇异值在这里恰好都是 $4,3,2,1$，左右奇异向量可以取标准基。截断前两项得到

$$A_2=\operatorname{diag}(4,3,0,0),\qquad A-A_2=\operatorname{diag}(0,0,2,1).$$

所以三种误差分别是

$$\|A-A_2\|_2=2,\qquad\|A-A_2\|_F=\sqrt5,\qquad\|A-A_2\|_*=3.$$

这些误差数值是根据已核对的课堂矩阵补算的，课堂此时主要在问“你能找到更接近而仍为秩二的矩阵吗”。重点是允许竞争者使用任意矩阵，不要求它保持对角形式。

他还强调，固定秩的矩阵集合不是一个线性子空间：两个秩二矩阵相加，秩可能升到四。例如 $\operatorname{diag}(4,3,0,0)$ 与 $\operatorname{diag}(0,0,2,1)$ 分别为秩二，它们的和就是秩四的 $A$。因此不能像投影到某个固定线性子空间那样，直接把“所有秩二矩阵”当作一个平面。

上面的 $4\times4$ 例子可直接按公式核对三种误差。下方二维补充实验把同一原理画成椭圆：保留 $k=1$ 时，第二条半轴被舍弃；逐渐降低第二个奇异值，观察秩一近似的误差怎样下降。它用两个方向说明低秩近似的几何意义，而课堂例子有四个方向。

只看对角线上被舍弃的 $2$ 和 $1$，似乎还能改进。Strang 尝试把前两个对角元素都改为 $3.5$，后两个都改为 $1.5$。但四个非零对角元素会产生秩四，所以他把矩阵改造成两个秩一块：

$$B=\begin{bmatrix}3.5&3.5&0&0\\3.5&3.5&0&0\\0&0&1.5&1.5\\0&0&1.5&1.5\end{bmatrix}.$$

每个 $2\times2$ 常数块的两行相同，因此各为秩一，整个 $B$ 为秩二。它的四个对角元素确实都只错了 $0.5$；若只盯着对角线，就会觉得它比舍弃 $2$ 和 $1$ 更划算。

问题在于，为了保持秩低，它在原本为零的非对角位置加入了 $3.5$ 和 $1.5$。完整误差矩阵是

$$A-B=\begin{bmatrix}0.5&-3.5&0&0\\-3.5&-0.5&0&0\\0&0&0.5&-1.5\\0&0&-1.5&-0.5\end{bmatrix}.$$

把课堂的比较算完。 Frobenius 误差的平方为

$$\|A-B\|_F^2=4(0.5)^2+2(3.5)^2+2(1.5)^2=30,$$

显著大于截断解的 $5$。两个对称块的特征值分别为 $\pm\sqrt{12.5}$、$\pm\sqrt{2.5}$，故谱误差为 $\sqrt{12.5}\approx3.536>2$，核范数误差为 $2\sqrt{12.5}+2\sqrt{2.5}\approx10.233>3$。这些是讲义补算，课堂用非对角元素造成的代价作直观说明。

这一个竞争者失败，当然不能代替对所有 $B$ 的定理证明；它解释的是为什么那个定理并非仅凭“挑最大的两个数”就显然成立。误差应当考察整个矩阵，而不能只挑看起来变好的几个元素。

应用补充：图像实验。 灰度图可以写成像素矩阵，截断 SVD 提供一个最优 Frobenius 低秩重建。下方图像实验是本页的教学补充，不是这段课上的原例子。调节保留的秩，观察被舍弃方向怎样影响整幅图像；注意数学上的平方误差最小并不等同于任何视觉感知指标都最优。

接着 Strang 回应一个自然的质疑：刚才的 $A$ 是对角矩阵，会不会过于特殊？把它视为 $\Sigma=\operatorname{diag}(4,3,2,1)$，再在两边乘上任意正交矩阵：

$$A=U\Sigma V^{\mathsf T}.$$

这个新矩阵通常已不再对角，但它的奇异值仍是 $4,3,2,1$。原因不是计算巧合，而是我们写出的形式本身已经满足 SVD 的条件：正交矩阵、非负降序对角矩阵、正交矩阵的转置。

因而凡是只依赖奇异值的范数，在左、右正交变换下都保持不变：

$$\|QAR\|=\|A\|\quad\text{当 }Q^{\mathsf T}Q=I,\ R^{\mathsf T}R=I,$$

这里 $Q$ 为 $m\times m$、$R$ 为 $n\times n$，范数限定为本讲的谱范数、Frobenius 范数、核范数等正交不变范数。“正交不变”并不是所有矩阵范数共有的属性。

把最优化问题一起换坐标。 由于正交矩阵可逆，$B$ 与 $U^{\mathsf T}BV$ 的秩相同，而且

$$\|A-B\|=\|U^{\mathsf T}(A-B)V\|=\|\Sigma-U^{\mathsf T}BV\|.$$

随着 $B$ 遍历全部秩至多 $k$ 的矩阵，$U^{\mathsf T}BV$ 也遍历同一类秩约束矩阵。因此在奇异向量坐标系里研究对角的 $\Sigma$，不会漏掉竞争者。课堂的对角例子实际上代表了一整族具有相同奇异值的矩阵。

Strang 回到最熟悉的向量欧氏长度。如果 $Q$ 是正交矩阵，则

$$\|Qv\|_2^2=(Qv)^{\mathsf T}(Qv)=v^{\mathsf T}Q^{\mathsf T}Qv=v^{\mathsf T}v=\|v\|_2^2.$$

几何上可以想成转动或反射整个图形，长度没有改变。这个结论专指欧氏长度：例如把 $(1,0)$ 旋转 $45^\circ$，欧氏长度仍为 $1$，但向量 $1$-范数变成 $\sqrt2$。因此上一段关于范数的限定是实质条件。

矩阵情形也无需重新求全部奇异值。若 $A=U\Sigma V^{\mathsf T}$，则

$$QA=(QU)\Sigma V^{\mathsf T}.$$

其中 $QU$ 仍正交，因为

$$(QU)^{\mathsf T}(QU)=U^{\mathsf T}Q^{\mathsf T}QU=U^{\mathsf T}U=I.$$

所以这已经是 $QA$ 的一组 SVD：只改了左奇异向量，$\Sigma$ 和右奇异向量保持原样。右乘正交矩阵的论证类似。它解释了为什么谱范数、Frobenius 范数和核范数不变，而不只是把“不变”当成一条记忆公式。

这一段也结束了课堂对 Eckart–Young 定理的讨论。Strang 明确说，本讲给的是含义和例子，没有完成定理证明。随后转向应用这些结构理解真实数据：主成分分析。

课堂从平面中的点云开始：每个人测量两个量，第一行是身高，第二行是年龄。记原始数据矩阵为

$$A_0=\begin{bmatrix}h_1&h_2&\cdots&h_N\\a_1&a_2&\cdots&a_N\end{bmatrix}\in\mathbb R^{2\times N}.$$

列是样本，行是特征。这个约定决定了后面该使用 $AA^{\mathsf T}$ 还是 $A^{\mathsf T}A$，所以先把维数写清楚。

PCA 在这里寻找身高和年龄的主要线性联系。首先计算各行均值 $\bar h=N^{-1}\sum_j h_j$、$\bar a=N^{-1}\sum_j a_j$，并从每个样本减去同一个均值向量 $\mu=(\bar h,\bar a)^{\mathsf T}$：

$$A=A_0-\mu\mathbf1^{\mathsf T}=\begin{bmatrix}h_1-\bar h&\cdots&h_N-\bar h\\a_1-\bar a&\cdots&a_N-\bar a\end{bmatrix}.$$

现在 $A\mathbf1=0$，即每一行的和、每一行的均值都为零；点云的重心搬到了原点。原本的身高和年龄是正数，中心化后出现负数并不表示负身高或负年龄，而是表示低于样本平均值。

此时可以寻找一条经过原点、最能代表点云的直线。转换回原始坐标，它会经过 $\mu$，而不是强迫原始点云的最佳直线经过坐标原点。

实践补充。 中心化只减去均值，并没有消除计量单位的差异。把身高从米改成厘米，会改变欧氏距离各方向的权重，也可能改变 PCA 的主方向。是否还应按标准差缩放，是另外一个建模决定；不能把“中心化”和“标准化”混为一谈。

Strang 先限定 PCA 的能力：它寻找线性结构。他借此引出神经网络中的非线性作用；本讲没有继续展开深度学习模型。

面对“最佳直线”，容易立即想到普通最小二乘回归。设平面点为 $(h_j,a_j)$，回归 $a\approx ch+d$ 的目标是

$$\min_{c,d}\sum_j(a_j-ch_j-d)^2.$$

这里身高作为给定的横坐标，年龄作为需要预测的纵坐标；误差沿竖直方向度量。写成设计矩阵 $D$ 和观测向量 $b$，普通线性最小二乘的正规方程为

$$D^{\mathsf T}D\,\hat\beta=D^{\mathsf T}b.$$

我们用 $D$ 代替课堂此处的设计矩阵符号 $A$，避免与 PCA 数据矩阵混淆。正规方程来自残差与 $D$ 的列空间正交；当 $D$ 满列秩时系数解唯一。课堂提醒这是 18.06 中很重要的应用，并将在本课程继续学习。

PCA 的直线拟合却同时对待两个坐标。对中心化的样本列 $x_j\in\mathbb R^2$，让 $u$ 为单位方向，投影点为 $uu^{\mathsf T}x_j$，目标为

$$\min_{\|u\|_2=1}\sum_j\|x_j-uu^{\mathsf T}x_j\|_2^2.$$

这里是垂直于拟合直线的几何距离，不是垂直于横轴的竖直距离。两个最优化问题的误差模型不同，因此通常会得到不同的线。称 PCA 为“不是最小二乘”容易造成另一层误会：它仍然最小化平方距离之和，只是不是这个固定自变量、仅沿响应方向测误差的普通回归问题。

补充推导。 由正交分解，$\|x_j\|_2^2=|u^{\mathsf T}x_j|^2+\|x_j-uu^{\mathsf T}x_j\|_2^2$。点云的总平方长度固定，因此最小化丢弃的平方长度，等价于最大化保留的投影平方长度：

$$\max_{\|u\|_2=1}\sum_j|u^{\mathsf T}x_j|^2=\max_{\|u\|_2=1}u^{\mathsf T}AA^{\mathsf T}u.$$

这已经把几何拟合问题接到了特征值与 SVD。下面的交互实验可同时显示回归线和 PCA 线：改变点云形状，比较两种残差方向，尤其观察接近竖直的点云。

统计学看数据时，除了均值，还关心方差：每个特征怎样围绕平均值变化。对于身高和年龄两组数据，还需要协方差来描述两者是否一起增大或减小。

当样本是列、中心化数据矩阵为 $A\in\mathbb R^{2\times N}$ 时，样本协方差矩阵为

$$S=\frac{1}{N-1}AA^{\mathsf T}=\begin{bmatrix}s_h^2&s_{ha}\\s_{ha}&s_a^2\end{bmatrix},\qquad N>1.$$

其中

$$s_h^2=\frac{\sum_j(h_j-\bar h)^2}{N-1},\quad s_a^2=\frac{\sum_j(a_j-\bar a)^2}{N-1},\quad s_{ha}=\frac{\sum_j(h_j-\bar h)(a_j-\bar a)}{N-1}.$$

对角项是各特征的样本方差，非对角项是协方差。协方差为正表示两种偏离平均值的量倾向同号，为负则倾向异号；它依赖单位，并不是已经归一化到 $[-1,1]$ 的相关系数。课堂的身高—年龄例子用于解释共同变化，实际关联仍取决于选取的样本人群。

“样本”或“经验”说明这里是从观察到的数据计算统计量，区别于从一个已知概率分布直接求理论协方差。Strang 用自由度解释 $N-1$：减去估计的均值后，每行中心化数据满足一个和为零的约束。统计条件补充： 在独立同分布、二阶矩存在的常见抽样条件下，除以 $N-1$ 给出总体协方差的无偏估计；如果任务定义采用 $1/N$，也可计算另一种经验二阶矩，但数值尺度不同。

从 PCA 的方向问题看，把 $AA^{\mathsf T}$ 乘以 $1/(N-1)$ 不改变特征向量，只统一缩放特征值。这正是课堂说“$N-1$ 不影响这里计算”的具体含义；它并不是说计算方差时分母可以随意忽略。

若软件把每个样本放在一行，数据矩阵会转置，相应公式变为 $A^{\mathsf T}A/(N-1)$。记忆公式前先确认维数：本讲要的是特征之间的 $2\times2$ 协方差矩阵。

临近下课，Strang 想用一条直线总结身高和年龄的关系。他先说最佳比例是 $\sigma_1$，随后在约 46:27 自己停下来纠正：要找的是指向正确方向的向量，应该是 $u_1$，并表示下次再正式完成推导。复习时应保留这个纠正，不能把前面的口误当成结论。

在本讲“样本为列”的约定下，$A=U\Sigma V^{\mathsf T}$ 给出

$$AA^{\mathsf T}u_1=\sigma_1^2u_1.$$

因此第一主方向是左奇异向量 $u_1$，也是样本协方差矩阵最大特征值对应的单位特征向量。它决定直线朝哪里走；$\sigma_1$ 决定这个方向上保留多少平方能量，样本方差则为 $\sigma_1^2/(N-1)$。

若 $u_1=(u_h,u_a)^{\mathsf T}$ 且 $u_h\neq0$，在中心化坐标中直线斜率是 $u_a/u_h$；在原始坐标中为 $a-\bar a=(u_a/u_h)(h-\bar h)$。若 $u_h=0$，最佳线竖直，应使用参数式 $\mu+t u_1$，不应强行求一个有限斜率。$u_1$ 与 $-u_1$ 表示同一条线。

把本讲前后接起来的补充。 将全部样本投影到这条线上：

$$u_1u_1^{\mathsf T}A=\sigma_1u_1v_1^{\mathsf T}=A_1.$$

所以 PCA 的最佳一维重建，正是中心化数据的最佳秩一近似。沿直线的样本坐标（scores）为 $u_1^{\mathsf T}A=\sigma_1v_1^{\mathsf T}$；方向、坐标和强度是不同对象。推广到前 $k$ 个方向，重建为 $U_kU_k^{\mathsf T}A=A_k$，总平方残差为 $\sum_{i>k}\sigma_i^2$，在 $A\neq0$ 时保留的方差比例为

$$\frac{\sum_{i=1}^{k}\sigma_i^2}{\sum_{i=1}^{r}\sigma_i^2}.$$

这部分补全了课堂留到以后展开的推导。若最大奇异值重复，第一条最佳主轴可以不唯一；若数据全相同，中心化后 $A=0$，没有由变化决定的优先方向，方差比例的分母也为零。

现在回看整讲：SVD 给出正交方向和强度，范数衡量丢弃的信息，Eckart–Young 保证截断的最优性，中心化与协方差把它们连接到 PCA。