列空间：从所有 Ax 到矩阵的秩

Strang 把本课定位为线性代数的进阶应用：先建立看待矩阵的语言，再走向数据中的结构。开场提到的手写识别、图像拼接和在线作业说明，数学概念最终需要和真实计算连接。

原课还介绍了当时的课程网站、正在写作的教材及以作业为主的考核安排。这些是 2018 年课堂背景，不是今天的课程通知。老师准备从 $Ax$ 讲起，听众可能觉得已经会做；他的追问却是：会算每个数字，是否就看见了整个矩阵的作用？

本讲沿着一个连续链条前进：把 $Ax$ 读成列组合 → 让 $x$ 遍历所有可能值得到列空间 → 找出独立列与基 → 把坐标装进 $A=CR$ → 用行列两种读法认识秩 → 将 $Ax$ 推广为 $AB$ 的外积之和。

课堂的实际矩阵是

$$A=\begin{bmatrix}2&1&3\\3&1&4\\5&7&12\end{bmatrix},\qquad x=\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}.$$

注意老师先念第一列的 $2,3,5$，再念第二列 $1,1,7$，不能按字幕数字顺序误排成行。

逐行点积给出输出的三个分量，例如第一分量是 $2x_1+x_2+3x_3$。把同样的乘加按列归组，就得到

$$Ax=x_1\begin{bmatrix}2\\3\\5\end{bmatrix} +x_2\begin{bmatrix}1\\1\\7\end{bmatrix} +x_3\begin{bmatrix}3\\4\\12\end{bmatrix}.$$

两种算法完全一致，区别是看到的层次：行点积一次告诉我们一个坐标，列组合一次告诉我们整个向量来自哪里。

对一般 $A=[a_1\ \cdots\ a_n]\in\mathbb R^{m\times n}$，输入 $x$ 有 $n$ 个系数，输出 $Ax=\sum_jx_ja_j$ 有 $m$ 个分量。矩阵把 $\mathbb R^n$ 中的向量送到 $\mathbb R^m$，这是比“一堆数字”更有用的整体理解。

取一个 $x$ 得到一个输出；现在固定 $A$，让 $x$ 取遍整个输入空间：

$$C(A)=\{Ax:x\in\mathbb R^n\} =\operatorname{span}\{a_1,\ldots,a_n\}\subseteq\mathbb R^m.$$

Strang 问：这一无限多向量的集合是什么形状？对三行矩阵，它可能是整个 $\mathbb R^3$，也可能只是一张平面或一条直线。教材补全了退化边界：零矩阵的列空间只有原点。所有这些子空间都过原点，且对加法和数乘封闭。

课堂说随机 $3\times3$ 矩阵通常可逆，是在表达一般位置直觉；严谨地说，对独立连续分布抽样的条目，满秩以概率 1 成立。不能把它说成任意随机分布都保证可逆。

教材联系与补充实验：印刷3/PDF17 将成员资格写成

$$b\in C(A)\quad\Longleftrightarrow\quad Ax=b\text{ 有解}.$$

在下方二维实验取 $a_1=(1,0)^T,a_2=(1,t)^T$。先令 $t=1$，拖动 $x_1,x_2$，观察两条缩放后的列向量相加得到 $Ax$；再把 $t$ 调到 $0$，输出只能沿水平轴移动。选择轴上的预设 $b$ 与轴外的预设 $b$，比较可解性；解释为什么调系数也无法到达轴外点。

这是本站设计的二维补充模型，课堂原例是上面的三维矩阵。滑块只显示有限系数范围的样本；真实列空间允许所有实数系数，满秩时是整个平面，不能把有限图窗当作空间边界。

老师先问：“给出一个列空间只有一条线的矩阵。”学生提出全 1 矩阵，老师把列的倍数改成 $1,3,8$：

$$B=\begin{bmatrix}1&3&8\\1&3&8\\1&3&8\end{bmatrix}.$$

三列分别是 $u,3u,8u$，其中 $u=(1,1,1)^T$。任意输出都是

$$Bx=(x_1+3x_2+8x_3)u.$$

所以输出只沿 $u$ 方向；允许所有系数就得到整条过原点的直线，而非只有三个列端点。它的秩为 1。

回到最初的课堂矩阵，第三列满足 $a_3=a_1+a_2$，但前两列不平行。于是

$$Ax=(x_1+x_3)a_1+(x_2+x_3)a_2.$$

前两列产生平面，第三列已经在其中，因此秩为 2。课堂提问“为什么不是整个三维？”的答案是这个依赖关系；不能只说因为三个数字相加碰巧相同。

这里的定义是 $\operatorname{rank}(A)=\dim C(A)$：数的是一组最大独立列的数量，而不是非零列的数量。

课堂把刚才的矩阵直接分解：

$$B=\begin{bmatrix}1\\1\\1\end{bmatrix} \begin{bmatrix}1&3&8\end{bmatrix}=uv^T.$$

这是普通矩阵乘法：左因子 $3\times1$，右因子 $1\times3$，内维相同，结果为 $3\times3$。不要和行乘列的内积混淆；内积得到一个数，列乘行的外积得到一整个矩阵。

一般 $u\in\mathbb R^m,v\in\mathbb R^n$ 时，$(uv^T)_{ij}=u_iv_j$。每一列是 $u$ 的倍数，每一行是 $v^T$ 的倍数。若 $u,v$ 都非零，矩阵秩为 1；若某一因子为零，秩降为 0。

Strang 把这种块称为数据科学的基本构件。后面的乘法 $AB$ 会成为许多这种块的和；第6讲 SVD 则会以特殊的正交方向选取这些块。此刻只是看到构件，还没有讨论哪块最重要。

回到原矩阵，前两列是列空间的一组基。为什么？一方面它们不成倍数，彼此独立；另一方面第三列已经是它们之和，因此每个 $Ax$ 都能用这两列表示。

这两个要求不能拆开：只有一列虽可独立，却张不满二维平面；全部三列虽张成同一平面，却含冗余而不独立。正式地，一组向量线性无关，是指

$$c_1a_1+\cdots+c_ra_r=0\quad\Longrightarrow\quad c_1=\cdots=c_r=0.$$

这个条件也说明基坐标唯一：若两个组合给出同一向量，相减得到零组合，独立性迫使两组系数相同。这里的等价推理是为复习补写的定义展开。

老师从 $Ax$、列空间到独立列再到秩依次串联：基告诉我们“用什么计算”，秩告诉我们“真正需要几个独立方向”。基可以不止一组，但同一空间每组基都有相同数量的向量。

Strang 重新写出矩阵，开始系统地构造 $C$：

1. 第一列 $(2,3,5)^T$ 非零，保留。零列无法贡献方向，不应放入基。
2. 第二列 $(1,1,7)^T$ 不是第一列的倍数，保留。老师反问：若它是 $(4,6,10)^T$ 呢？那是第一列的两倍，应跳过。
3. 第三列 $(3,4,12)^T=a_1+a_2$，跳过。

因此

$$C=\begin{bmatrix}2&1\\3&1\\5&7\end{bmatrix}.$$

这个算法每次只加入新方向，所以保留列独立；每个被跳过的列都是此前保留列的组合，最终所有原列都可重建，所以张成性也成立。两个要求由构造同时保证。

补充提醒：一般矩阵判断第三列是否冗余，必须看它是否属于“全部已选列”的张成空间，不能只逐一检查是否与某一列平行。三列两两不平行，也完全可能三列一起相关。

已选出 $C$，下一步需要矩阵 $R$ 使 $A=CR$。形状先决定：$C$ 为 $3\times2$，$A$ 为 $3\times3$，故 $R$ 必须为 $2\times3$。

老师逐列提问：

• 恢复第一列，需要 $1a_1+0a_2$，所以系数为 $(1,0)^T$。
• 恢复第二列，需要 $0a_1+1a_2$，所以系数为 $(0,1)^T$。
• 恢复第三列，需要 $a_1+a_2$，所以系数为 $(1,1)^T$。

合在一起就是

$$\begin{bmatrix}2&1&3\\3&1&4\\5&7&12\end{bmatrix} =\begin{bmatrix}2&1\\3&1\\5&7\end{bmatrix} \begin{bmatrix}1&0&1\\0&1&1\end{bmatrix}.$$

一般秩为 $r$ 时，形状为

$$A_{m\times n}=C_{m\times r}R_{r\times n}.$$

$C$ 存储基向量，$R$ 存储全部列在这组基下的坐标。这里的 $R$ 是 $CR$ 分解中的系数矩阵；不能和后续 QR 分解的同名字母混为一谈。教材印刷5的 Example 4 第三列系数为 $(2,2)^T$，那是另一矩阵，不应代入课堂例子。

第三列等于前两列之和非常显眼；但老师盯着同一矩阵的行，没能立即看出第三行是前两行的什么组合。这说明“看见列相关”与“直接读出行关系”不是同一回事。需要一条适用于矩形矩阵的结构性定理：

$$\text{列秩}=\text{行秩}.$$

补齐课堂未算出的系数：设第一、二行分别为 $w_1=(2,1,3)$、$w_2=(3,1,4)$，要找 $\alpha w_1+\beta w_2=w_3=(5,7,12)$。前两个坐标给出

$$2\alpha+3\beta=5,\qquad \alpha+\beta=7.$$

解得 $\alpha=16,\beta=-9$，第三坐标检验 $16\cdot3-9\cdot4=12$。因此

$$w_3=16w_1-9w_2.$$

这不是课堂已经写出的结果，而是本站对老师提问的补充计算。列依赖系数 $(1,1,-1)$ 与行依赖系数 $(16,-9,-1)$ 不同；秩相同从来不表示依赖关系的系数相同。

接下来不能只依靠这个算例，必须先定义行空间，再把 $A=CR$ 从行的方向重新读一遍。

行空间是所有行向量的线性组合。Strang 不另发明一个空间记号，而是把行竖起来成为转置的列：

$$\operatorname{Row}(A)=C(A^T)\subseteq\mathbb R^n.$$

例如第一行 $(2,1,3)$ 转成 $(2,1,3)^T$，就是 $A^T$ 的第一列。这样讨论的向量统一用列形式表示。

本例恰好是 $3\times3$，所以 $C(A)$ 和 $C(A^T)$ 都位于三维空间，但仍通常不是同一个平面。一般 $A$ 为 $m\times n$：

$$C(A)\subseteq\mathbb R^m,\qquad C(A^T)\subseteq\mathbb R^n.$$

课堂用数据矩阵举意象例子：列可以代表患者，行可以代表疾病或测量特征。患者方向与特征方向是两类不同对象，矩阵没有理由必须是方阵。

因此“行秩=列秩”应读成这两个空间的维数相等，不是空间相等，也不是行数等于列数。

设 $R$ 两行为 $\rho_1=(1,0,1),\rho_2=(0,1,1)$。课堂逐行验证：

$$w_1=2\rho_1+\rho_2,\quad w_2=3\rho_1+\rho_2,\quad w_3=5\rho_1+7\rho_2.$$

系数在哪里？就在 $C$ 的三行中。这是同一个 $A=CR$ 的另一种读法：按列读，是 $C$ 的列组合产生 $A$ 的列；按行读，是 $R$ 的行组合产生 $A$ 的行。

$\rho_1,\rho_2$ 的前两坐标组成单位阵，因而独立。补全反向包含：从前两个等式还可解得

$$\rho_1=w_2-w_1,\qquad \rho_2=3w_1-2w_2.$$

所以 $\rho_1,\rho_2$ 本身确实属于 $A$ 的行空间，且生成该空间。行空间维数为 2，正好等于列空间维数。不能仅从“$A$ 的行都能由 $R$ 的行生成”跳过反向包含。

一般情形的补充严谨证明：按定义取 $r$ 个独立列构造 $A=CR$。$A$ 的每行是 $R$ 的 $r$ 行的组合，因此行秩 $\le r=$ 列秩。将完全相同的构造应用于 $A^T$，得到列秩 $\le$ 行秩，故二者相等。这里没有预先假定秩定理，因此不会循环论证。

课堂最后询问列空间的另一个名称，学生答 range（值域）；并回顾非零 $uv^T$ 的两条直线：列空间沿 $u$，行空间沿 $v$。两条方向可以不同，维数却都为 1。

如果一个矩阵规模巨大，读取、存储全部条目可能很昂贵。课堂预告后续的随机化方法：取随机向量 $x$，形成多个列的混合 $Ax$，可获得列空间中的样本。重复取许多 $x$，有时已能捕捉主要结构。

这里确定的代数事实只有 $Ax\in C(A)$；“100 个样本往往够用”是课堂启发，不是无条件恢复整个列空间的保证。矩阵秩若远大于100，100个样本至多张成100维；能否近似主要部分还依赖奇异值衰减等条件。

接着老师临时提问：$ABCx$ 是否也在 $C(A)$？只要形状可乘，答案是肯定的，因为

$$ABCx=A(BCx).$$

令 $y=BCx$，它就是某个输入向量，结果仍是 $Ay$。不要求 $B,C$ 可逆，也不要求方阵。但这只能推出 $C(ABC)\subseteq C(A)$；例如 $B=0$，可能使乘积列空间缩成零空间。

维数校正：课堂随机向量板书写过 rand(m,1)，仍在方阵背景。一般若 $A$ 是 $m\times n$，这里必须取 $x\in\mathbb R^n$；$Ax$ 才属于 $\mathbb R^m$。

老师回到 $R$ 的名称：按从左到右选择主元列的标准做法，$R$ 就是 $A$ 的行最简阶梯形去掉零行后的部分。本例为

$$\operatorname{rref}(A)= \begin{bmatrix}1&0&1\\0&1&1\\0&0&0\end{bmatrix}.$$

$C$ 的列直接取自 $A$，但 $R$ 的行经过了线性组合，通常不是原数据中的行。若选取另一组基列或改变其顺序，坐标矩阵也会改变，不能仍一律称作同一个标准 rref。

如果确实想让右因子取原矩阵的独立行，记作 $\widetilde R$，通常必须加入一个 $r\times r$ 的中间矩阵：

$$A=CU\widetilde R.$$

课堂用 $U$，教材印刷8用 $M$ 并写作 $A=CM\widetilde R$，含义相同。$r=2$ 的当前例子中，校正矩阵就是 $2\times2$。

这是 CUR 的动机预告，本讲没有实际求中间矩阵。教材补充解释其吸引力：取真实列、行能够保留非负性、稀疏模式等原数据特征，而正交化会改变这些列行的形态。

Strang 暂时放下数学，介绍上一年课程的组织与 Raj Rao 的贡献，以及在线作业、Julia 入门活动和 MATLAB、Python 等选择。其教学意义是：学会列空间和分解后，要用代码操作实际数据，而不是停在手算。

老师还提到助教、评分人员、课程网站和选择其他机器学习课程的考虑。这些是录课当年的安排；本网站只保留它们说明课程背景，不把当年的地点、时间或工具流行度当成今天的建议。本段没有新的定理或推导，下一段恢复矩阵乘法。

先约定 $A\in\mathbb R^{m\times n}$，$B\in\mathbb R^{n\times p}$。通常算法是取 $A$ 第 $i$ 行和 $B$ 第 $j$ 列做内积，得到

$$(AB)_{ij}=\sum_{k=1}^n a_{ik}b_{kj}.$$

课堂希望换成“列乘行”视角。记 $A$ 的第 $k$ 列为 $a_k$，$B$ 的第 $k$ 行为 $b_k^T$，则

$$AB=\sum_{k=1}^n a_kb_k^T.$$

第 $k$ 块有 $m$ 行、$p$ 列，秩至多为1；两因子都非零时秩恰为1。外积的 $(i,j)$ 条目为 $a_{ik}b_{kj}$，对 $k$ 加起来正是旧公式，所以没有改变乘法规则。

教材补充算例（不是原课已演算的数值例）：

$$\begin{bmatrix}1&0\\3&1\end{bmatrix} \begin{bmatrix}2&4\\0&5\end{bmatrix} =\begin{bmatrix}2&4\\6&12\end{bmatrix} +\begin{bmatrix}0&0\\0&5\end{bmatrix} =\begin{bmatrix}2&4\\6&17\end{bmatrix}.$$

第一块来自第一列乘第一行，第二块来自第二列乘第二行。课堂讲到了求和结构，并表示可以检查数值，随后转入成本计数；这里用教材例补上可手算的检查。

现在可回读 $A=CR$：它不仅按列存坐标，也可写成 $r$ 个秩一外积的和。后续 SVD 会对这些构件作更有结构的选择。

课堂最后用提问核对算术次数。先按行乘列：一个输出条目需要 $n$ 次乘法，而输出矩阵有 $mp$ 个条目，共

$$mp\cdot n=mnp.$$

再按列乘行：一个 $m\times1$ 列乘 $1\times p$ 行需要 $mp$ 次乘法，共有 $n$ 块，仍是

$$n\cdot mp=mnp.$$

字幕在约50:59、51:56处把字母连读识别成了不清楚的“M and P”；由两种计数和教材页图可确定应为 $mnp$，不是 $m+p$ 或 $mp$。

计数针对朴素稠密乘法，不因为外积视角就自动减少乘法次数。是否利用零条目、缓存或只保留部分低秩成分，是另外的问题；本站的这些提醒不是原课已经展开的算法比较。

本讲完成的结构链条是：一个 $Ax$ 是列组合，所有 $Ax$ 是列空间，基给出秩，$CR$ 联系行列两侧，而 $AB$ 是秩一块之和。老师在52:03后结束课堂并预告下一次继续线性代数。字幕止于52:13.71；视频总长52:14.46，二者分开记录。