矩阵相乘与分解

课程开头说明前一两周快速回顾线性代数的核心工具，并与后续计算、数据应用结合。本讲承接第 1 讲的“列乘行”，把同一个乘法观点放进五种基本分解：

分解	因子携带的信息	使用条件或用途
$A=LU$	下三角 $L$、上三角 $U$	消元；无换行版本需要相应主元条件
$A=QR$	正交归一列 $Q$、上三角 $R$	Gram–Schmidt、最小二乘
$S=Q\Lambda Q^{\mathsf T}$	正交特征向量、实特征值	实对称矩阵
$A=X\Lambda X^{-1}$	特征向量基与特征值	方阵有完整独立特征向量组
$A=U\Sigma V^{\mathsf T}$	左右奇异向量与奇异值	任意实矩阵，包括矩形矩阵

课堂先问学生 $QR$ 中的字母 $Q$ 表示什么：orthogonal 表示方向互相垂直；orthonormal 还要求每一列长度为 1。后者使 $Q^{\mathsf T}Q=I$。当 $Q$ 是方阵时，便有 $Q^{-1}=Q^{\mathsf T}$；只有正交列的矩形 $Q$ 不应被说成可逆。

这是一张课程地图，不是五种算法的完整推导。本讲随后选择谱分解演示外积，选择 $LU$ 演示消元；$QR$ 的算法与 SVD 的构造留待后续。表中一般对角化的条件同时参考教材作了明确化。

Strang 把 $S=Q\Lambda Q^{\mathsf T}$ 单独拿出来。$S=S^{\mathsf T}\in\mathbb R^{n\times n}$，$\Lambda$ 是对角矩阵，$Q=[q_1\ \cdots\ q_n]$ 的列是特征向量：

$$Sq_i=\lambda_iq_i,\qquad q_i^{\mathsf T}q_j=\begin{cases}1&i=j,\\0&i\ne j.\end{cases}$$

课堂问两个事实：“特征向量有什么特别之处？特征值呢？”答案分别是可选择为正交归一的一组、全部是实数。还不能漏掉一个看似隐含的条件：有完整的 $n$ 个独立方向，所以 $Q$ 真的是一组基，$S$ 可以被对角化。

老师在 05:45 特意把“特征向量是正交的”改成“可以选择成正交归一的”。补充解释： 重特征值的特征空间里，任意选出的两个向量未必正交；我们可以在这个空间中选正交基。实对称矩阵保证总能这样选，并不要求特征值互不相同。单位矩阵就是最简单的提醒：所有方向都是它的特征方向。

QR 和谱分解虽然都出现 $Q$，含义并不相同。Gram–Schmidt 把给定列向量正交化，并不会自动把它们变成某个矩阵的特征向量；求特征方向还需要额外工作。

要展开 $Q\Lambda Q^{\mathsf T}$，先把它看成两个因子的乘积 $(Q\Lambda)Q^{\mathsf T}$。这样就可以直接应用“第一个矩阵的列 × 第二个矩阵的行”。

若 $u\in\mathbb R^m$、$v\in\mathbb R^p$，则 $uv^{\mathsf T}$ 是 $m\times p$ 矩阵。课堂的具体例子是

$$\begin{bmatrix}1\\2\end{bmatrix}\begin{bmatrix}3&4\end{bmatrix}=\begin{bmatrix}3&4\\6&8\end{bmatrix}.$$

两列分别是 $3u,4u$，两行分别是 $v^{\mathsf T},2v^{\mathsf T}$。所以列空间是一条直线，行空间也是一条直线。精确条件： 当两向量均非零时，外积秩为 1；有一个为零时，结果是秩为 0 的零矩阵。

对一般的 $A\in\mathbb R^{m\times n}$、$B\in\mathbb R^{n\times p}$，记 $a_k$ 为 $A$ 的第 $k$ 列，$b_k^{\mathsf T}$ 为 $B$ 的第 $k$ 行（这里不是转置 $B$ 的第 $k$ 列），则

$$AB=\sum_{k=1}^{n}a_kb_k^{\mathsf T}.$$

为何这与行乘列相同？右边第 $(i,j)$ 个条目恰好是 $\sum_k a_{ik}b_{kj}$，也就是通常的内积公式。它不是新的乘法，而是同一批标量乘积换一种分组。教材的这一步检验补全了课堂的口头规则。

补充实验：三种视角算同一个乘积。 输入 $A=\begin{bmatrix}1&0\\3&1\end{bmatrix}$、$B=\begin{bmatrix}2&4\\0&5\end{bmatrix}$，比较行列内积、列组合与两个外积。先预测右下角，再确认结果是 $\begin{bmatrix}2&4\\6&17\end{bmatrix}$；它的 17 来自 $3\cdot4+1\cdot5$，也来自两块右下角的 $12+5$。把 $A$ 第二列设为零，观察第二块外积消失。这个 2×2 算例来自教材印刷10页，实验是网站补充。

外积规则已经备好，剩下的问题是：$Q\Lambda$ 的第一列到底是什么？ 课堂没有直接跳到答案，而是让学生看对角矩阵的第一列：除了 $\lambda_1$，其余都是零。根据列组合规则，

$$(Q\Lambda)_{:,1}=\lambda_1q_1.$$

同理，第 $i$ 列就是 $\lambda_iq_i$。注意乘法的方向：在右边乘对角矩阵是缩放列；若在左边乘，则缩放行。

$Q^{\mathsf T}$ 的第 $i$ 行是 $q_i^{\mathsf T}$。把对应列和行相乘相加，得到

$$S=(Q\Lambda)Q^{\mathsf T}=\lambda_1q_1q_1^{\mathsf T}+\cdots+\lambda_nq_nq_n^{\mathsf T}.$$

每个 $q_iq_i^{\mathsf T}$ 都对称，因为转置后还是它自身。这使对称矩阵被拆成了保持对称性的简单块，比逐条目读取 $S$ 更能说明结构。如果某个 $\lambda_i=0$，对应加权块就是零；如果 $\lambda_i<0$，该块带负权重，谱分解依然成立。不要把特征值误限制成奇异值那样的非负数。

现在把上面的和记成 $T$，Strang 问：怎样检查它确实就是 $S$？先计算 $Tq_1$：

$$Tq_1=\sum_{j=1}^{n}\lambda_jq_j(q_j^{\mathsf T}q_1).$$

学生回答第二项为零，因为 $q_2^{\mathsf T}q_1=0$。同理，所有 $j\ne1$ 的项都为零，留下

$$Tq_1=\lambda_1q_1(q_1^{\mathsf T}q_1)=\lambda_1q_1=Sq_1.$$

这里用到两件不同的事：正交消掉其他方向，归一化使 $q_1^{\mathsf T}q_1=1$。不是把某个向量“约掉”，也没有把矩阵乘法交换顺序。

同一个推理适用于每个 $q_i$。为什么这足以说明 $T=S$？因为这些 $q_i$ 组成整个 $\mathbb R^n$ 的基。任意 $x=\sum_i c_iq_i$，由线性性可得 $Tx=\sum_i c_iTq_i=\sum_i c_iSq_i=Sx$。只检查一个方向当然不够；检查完整基才确定整个线性变换。

证明范围要分清： 此处是在已经拥有正交特征基的前提下检验谱展开，并没有从头证明每个实对称矩阵都拥有这组基。后一个存在性命题才是谱定理的更深部分。作为补充直觉，$q_iq_i^{\mathsf T}x=q_i(q_i^{\mathsf T}x)$ 是沿 $q_i$ 的正交投影，而 $\lambda_i$ 再给它加上伸缩权重。

Strang 回到分解地图，特别强调第五项 $A=U\Sigma V^{\mathsf T}$。它的三个因子可以读成“正交、对角、正交”，但两边分别用 $U,V$，因为这里有两组不同的方向。

普通对角化 $A=X\Lambda X^{-1}$ 需要 $n$ 个独立特征向量。有些方阵缺少这么多特征向量；矩形矩阵更不能直接套用同一个特征方程。SVD 则允许输入方向和输出方向不同，所以适用于每个实矩阵。

维数补全： 对 $A\in\mathbb R^{m\times n}$，完整形式中 $U$ 为 $m\times m$ 正交矩阵，$V$ 为 $n\times n$ 正交矩阵，$\Sigma$ 为 $m\times n$ 的矩形对角矩阵。后续会解释 $Av_i=\sigma_i u_i$，其中 $v_i$ 在输入空间、$u_i$ 在输出空间。此处不是要求矩形 $A$ 本身成为正交矩阵。

课堂只是预告这个将在数据科学中反复出现的分解，没有在本讲计算奇异向量或证明 SVD 的存在性。可以在完成本讲后到第 6 讲查看构造，再到第 7 讲看秩一成分怎样用于最佳近似。

课堂回到最常见的任务 $Ax=b$。两个方程耦合在一起，不容易直接读取未知数；消元要先把第二个方程中的第一个未知数去掉。黑板上的矩阵是

$$A=\begin{bmatrix}2&3\\4&7\end{bmatrix}.$$

第二行减去第一行的 2 倍，得到

$$U=\begin{bmatrix}2&3\\0&1\end{bmatrix},\qquad 7-2\cdot3=1.$$

主元是 $U$ 对角线上的 2 和 1。课堂问“那么 $L$ 是什么”，答案是把刚刚用到的乘数 2 存入下三角：

$$L=\begin{bmatrix}1&0\\2&1\end{bmatrix},\qquad A=LU.$$

为何是 $+2$ 而不是 $-2$？ 消元从 $A$ 到 $U$，使用 $E=\begin{bmatrix}1&0\\-2&1\end{bmatrix}$；分解从 $U$ 恢复 $A$，所以 $L=E^{-1}$。直接相乘，$LU$ 的第二行是 $2[2,3]+[0,1]=[4,7]$。这是补充核验，避免把消元矩阵和 $L$ 混为一谈。

若写右端为 $(b_1,b_2)^{\mathsf T}$，同一行操作也必须作用于它。新方程为 $y=b_2-2b_1$，再由 $2x+3y=b_1$ 回代。这个符号右端是为课堂“消去耦合”动机补全的计算，并非新增课堂给定数字。

字幕校正： 19:05 附近的“2，4，3，7”是口述顺序，不能直接当作逐行输入。20:25 板书与后续消元一致地给出上面的 $[2,3;4,7]$。教材印刷25页也用这同一系数矩阵，但另外给了一个具体右端。

老师希望换一种看法：消元不只是把一个位置改成零，而是把整个矩阵拆成容易理解的块。对课堂矩阵，先要求第一块保留 $A$ 的第一行和第一列：

$$\begin{bmatrix}2&3\\4&7\end{bmatrix}=\begin{bmatrix}2&3\\4&\square\end{bmatrix}+\begin{bmatrix}0&0\\0&\triangle\end{bmatrix}.$$

如果第一块必须秩一，空格里应该是什么？第二行已经必须是第一行的 2 倍，因此 $\square=6$；剩下 $\triangle=7-6=1$。字幕的“6.6”“7.6”是相邻句子被识别成小数，实际含义是“填 6；7 中减去 6 留下 1”。

现在两块都能写成列乘行：

$$A=\begin{bmatrix}1\\2\end{bmatrix}\begin{bmatrix}2&3\end{bmatrix}+\begin{bmatrix}0\\1\end{bmatrix}\begin{bmatrix}0&1\end{bmatrix}.$$

前面的两列正好是 $L$ 的两列，后面的两行正好是 $U$ 的两行。因此这个和不是另一个偶然分解，而是 $LU$ 的外积展开。

为什么不能直接拿 $A$ 的原第一列乘原第一行？那会把左上主元 2 重复算进去。正确第一块是

$$\frac{A_{:,1}A_{1,:}}{a_{11}}=\frac{1}{2}\begin{bmatrix}2\\4\end{bmatrix}\begin{bmatrix}2&3\end{bmatrix}.$$

除以主元等价于把第一列归一成 $L$ 中顶端为 1 的列。这个校正是后面推广到更大矩阵的关键。

Strang 坦言，对于 2×2，这种解释看起来像把简单事情做复杂；它真正的价值在于显示大矩阵消元的结构。下一步用的不是原矩阵未经修改的第二行、第二列，而是剩余块的新行、新列。

用分块记号补全这件事。设首主元 $p\ne0$，写成

$$A=\begin{bmatrix}p&w^{\mathsf T}\\v&D\end{bmatrix}=\begin{bmatrix}1\\v/p\end{bmatrix}\begin{bmatrix}p&w^{\mathsf T}\end{bmatrix}+\begin{bmatrix}0&0\\0&D-vw^{\mathsf T}/p\end{bmatrix}.$$

右下剩余块 $A_2=D-vw^{\mathsf T}/p$ 通常称为 Schur 补（名称为补充）。对它重复同一操作，得到 $A_3$，依次进行直到最后一个主元；把各层列和行收集起来，正好形成下三角 $L$ 和上三角 $U$。本课没有完整算一个 3×3 数字例，只解释了这条递归路线。

补充实验：把边界也算进去。 输入 $A=[p,q;r,s]=[2,3;4,7]$，先看到乘数 $r/p=2$、第二主元 $s-rq/p=1$ 及重建 $LU=A$。只把 $s$ 改为 6，第二主元变为零，矩阵秩降为 1，但这个 $LU$ 乘积仍然存在；不能因为奇异就说“没有任何 LU”。

再输入 $[0,1;1,0]$：首主元为零，但行列式是 $-1$，矩阵并不奇异。交换两行以后可做消元，记录为 $PA=LU$。最后把第一列都设为零，矩阵必然奇异，换行也无法创造非零首主元。一般 $p\ne0$ 时，

$$\det A=p\left(s-\frac{rq}{p}\right)=ps-qr.$$

因此实验同时区分了当前消元顺序不可用和矩阵本身不可逆。换行及奇异边界按教材作补充，不假装课堂已详细演示。

在短暂回顾后，Strang 说后续会反复使用 $QR$、对称谱分解和 SVD，然后转向线性代数的“大图景”。他提到收到一道来自印度、涉及基本定理的作业题，原打算讲完定理再讨论；本讲最终没有给出那道题的题面或解答，不能据此补造一道课堂问题。

从一个 $m\times n$、秩为 $r$ 的实矩阵 $A$ 出发，四个空间是

$$C(A),\quad C(A^{\mathsf T}),\quad N(A),\quad N(A^{\mathsf T}).$$

$C(A)$ 是所有列的线性组合，$C(A^{\mathsf T})$ 是所有行的线性组合（把行转成列来表示向量）。第 1 讲证明了行秩等于列秩，所以

$$\dim C(A)=\dim C(A^{\mathsf T})=r,\qquad r\le\min(m,n).$$

老师让大家想象一个 $50\times100$ 的矩阵：100 个列向量与 50 个行向量虽然数量和长度都不同，能从中选出的最大独立向量数却相同。这比小例子中的“看起来一样”要强得多。

另外两个空间由方程定义：$N(A)=\{x:Ax=0\}$，$N(A^{\mathsf T})=\{y:A^{\mathsf T}y=0\}$。它们不是从矩阵里直接摘几行或几列，而是求齐次方程得到的向量集合。下一步要问：它们为什么确实是子空间？又各有多少独立方向？

零空间的名字来自右端的零向量。它之所以适合做线性代数，是因为它对加法和数乘都封闭。课堂先取 $x,y\in N(A)$，写出

$$A(x+y)=Ax+Ay=0+0=0.$$

所以 $x+y$ 仍在零空间。再对任意实数 $c$，

$$A(cx)=cAx=0.$$

把两步合起来，就得到任意线性组合 $\alpha x+\beta y$ 仍然属于 $N(A)$。此外 $A0=0$，零向量本身也在这个集合中。因此我们可以在里面选基、讨论维数、进行通常的向量运算。

补充对照： $Ax=b$ 且 $b\ne0$ 的解集一般不是子空间。若 $Ax=Ay=b$，则 $A(x+y)=2b$，通常不再等于 $b$；而零向量也不满足方程。它在有解时是“一个特解加上 $N(A)$”，是平移后的仿射空间。这解释了为什么定义基本子空间时要使用齐次方程。

老师把四个空间画成两对。原因首先不是“它们看起来相似”，而是同一对中的向量有相同的分量数：

所在空间	第一部分	第二部分
输入空间 $\mathbb R^n$	行空间 $C(A^{\mathsf T})$	零空间 $N(A)$
输出空间 $\mathbb R^m$	列空间 $C(A)$	左零空间 $N(A^{\mathsf T})$

课堂先画一般 $m\times n$ 矩阵，再用 $2\times3$ 的形状提示维数：每一行有 3 个数，输入 $x$ 也有 3 个分量，所以行空间和 $N(A)$ 都在 $\mathbb R^3$。每一列有 2 个数，输出是二维；$A^{\mathsf T}y=0$ 中的 $y$ 也有 2 个分量，所以另外两个空间在 $\mathbb R^2$。

这里“行长度为 3”指有 3 个分量，不是欧几里得范数等于 3。同样，空间位于 $\mathbb R^3$ 不代表它自身维数就是 3；它可能是直线、平面或仅含零向量。先分清环境维数，下一节的 $r,n-r,m-r$ 才不会填错位置。

课堂把同一个问题反复换说法：“$Ax=0$ 看似有 $m$ 个方程，真正独立的有多少个？有多少个独立解？”由于行秩为 $r$，只有 $r$ 个真正独立的约束，其余方程是这些约束的线性组合。

$x$ 有 $n$ 个未知分量，约束消去 $r$ 个自由度，因而

$$\dim N(A)=n-r.$$

把计数说精确： 在阶梯形中，有 $r$ 个主元变量和 $n-r$ 个自由变量。依次让某个自由变量为 1、其余自由变量为 0，求出主元变量，得到 $n-r$ 个独立解；所有解都是它们的线性组合。这是为课堂自由度说法补上的代数依据。

不要把“$n-r$ 个独立解”说成总共只有 $n-r$ 个解。当维数大于零时，实数域上有无穷多个解；维数为零时，只有零解。

再把 $A$ 换为 $A^{\mathsf T}$，未知量有 $m$ 个、秩仍为 $r$，所以

$$\dim N(A^{\mathsf T})=m-r.$$

因此输入侧的维数和是 $r+(n-r)=n$，输出侧是 $r+(m-r)=m$。老师强调左零空间不能被遗漏，否则图景只完成了四分之三。每个输入都能分成行空间和零空间两部分；单凭维数和还不足以证明这种分解唯一，接下来还需两个空间正交，从而交集只有零向量。

仅仅填对维数还不够。Strang 要进一步问这两块空间如何摆放，于是写下课堂矩阵

$$A=\begin{bmatrix}1&2&4\\2&4&8\end{bmatrix},\qquad m=2,\ n=3,\ r=1.$$

第二行是第一行的两倍；三列都沿 $(1,2)^{\mathsf T}$。因此行空间由 $(1,2,4)^{\mathsf T}$ 张成，是 $\mathbb R^3$ 里的直线；零空间维数是 $3-1=2$，应该是一张过原点的平面。

课堂请学生给出两个独立解，最后在板书上保留的是

$$x^{(1)}=\begin{bmatrix}0\\-2\\1\end{bmatrix},\qquad x^{(2)}=\begin{bmatrix}4\\0\\-1\end{bmatrix}.$$

直接代入唯一独立约束 $x_1+2x_2+4x_3=0$：第一向量得到 $0-4+4=0$，第二向量得到 $4+0-4=0$。它们不互为倍数，因此是两个独立解；由于已知零空间维数为 2，它们构成一组基。

补充完整解： 若令系数为 $\alpha,\beta$，则

$$x=\alpha x^{(1)}+\beta x^{(2)}=\begin{bmatrix}4\beta\\-2\alpha\\\alpha-\beta\end{bmatrix}.$$

任意满足约束的 $x$ 都可以这样写：取 $\beta=x_1/4$、$\alpha=-x_2/2$，第三个分量由约束自动吻合。两个基向量的点积为 $-1$，所以它们彼此并不正交；这不妨碍它们作为零空间的基。接下来要求的正交关系，是整个零空间与行空间之间的关系。

字幕 45:32 的“1.4”“0.6”等混乱数字不能作数学依据；这里已按 46:30 板书核正。教材印刷15页给的是另一个 2×3 秩一矩阵，几何结构相同，但数字不可替换成本课原例。

现在对着课堂向量，老师问 $(1,2,4)$ 与 $(0,-2,1)$ 是什么关系。点积 $0-4+4=0$，所以它们正交。这并非算例巧合，而是矩阵方程的逐行含义。

把 $A$ 的第 $i$ 行记为 $a_i^{\mathsf T}$，则

$$Ax=\begin{bmatrix}a_1^{\mathsf T}x\\\vdots\\a_m^{\mathsf T}x\end{bmatrix}=0\quad\Longleftrightarrow\quad a_i^{\mathsf T}x=0\ \text{对所有 }i.$$

于是 $x$ 与每一行正交，也与这些行的任意线性组合正交。反过来，与整个行空间正交当然包含与每一行正交，所以

$$N(A)=C(A^{\mathsf T})^{\perp}.$$

对 $A^{\mathsf T}$ 做完全相同的论证，就有

$$N(A^{\mathsf T})=C(A)^{\perp}.$$

基本定理的两部分终于接上： 维数分别是 $r,n-r$ 和 $r,m-r$；几何上，同一环境空间中的两部分互为正交补。因此

$$\mathbb R^n=C(A^{\mathsf T})\oplus N(A),\qquad \mathbb R^m=C(A)\oplus N(A^{\mathsf T}).$$

符号 $\oplus$ 表示唯一分解：每个输入 $x=x_{\rm row}+x_{\rm null}$。为何唯一？若有两种写法，相减后一个向量同时在行空间和零空间，于是它必须与自身正交，长度平方为零，只能是零。这个简短证明补全了课堂“每个向量都有两部分”的说法。$Ax=Ax_{\rm row}$，所以零空间恰好描述矩阵忽略的输入方向。

回到 2×3 例，输出侧是 $C(A)=\operatorname{span}\{(1,2)^{\mathsf T}\}$ 和 $N(A^{\mathsf T})=\operatorname{span}\{(2,-1)^{\mathsf T}\}$，也互相垂直；这是按同一原矩阵补出的另一半图景。末尾预告将转向特征值和正定矩阵；关于讲义副本与下周安排不新增数学结论。