正交矩阵：旋转、反射与多尺度基

本讲从一个“每次看到 $Q^{\mathsf T}Q$ 就想到 $I$”的计算习惯开始。设 $Q=[q_1\ \cdots\ q_n]\in\mathbb R^{m\times n}$，其列互相正交且长度都是 1。乘积的第 $(i,j)$ 个条目正是 $q_i^{\mathsf T}q_j$，所以

$$Q^{\mathsf T}Q=\begin{bmatrix}q_1^{\mathsf T}\\\vdots\\q_n^{\mathsf T}\end{bmatrix}[q_1\ \cdots\ q_n]=I_n.$$

“normal”贡献对角线上的 $1$，“ortho”贡献非对角线上的 $0$。反过来，若这个矩阵等式成立，读每个条目就得到列正交归一，因此这是完全等价的表达。

注意它对矩形矩阵也成立：$n$ 个正交非零列一定线性无关，所以必须 $n\le m$。这里的 $I$ 是 $n\times n$；下节把乘法顺序调过来以后，尺寸变成 $m\times m$，问题也随之改变。

Strang 接着问：把顺序倒过来，$QQ^{\mathsf T}$ 也等于单位阵吗？方阵时是，高瘦矩阵时不是。 若 $m=n$，左逆 $Q^{\mathsf T}$ 同时是右逆，因此

$$Q^{-1}=Q^{\mathsf T},\qquad QQ^{\mathsf T}=Q^{\mathsf T}Q=I_n.$$

这种实方阵才通常叫“正交矩阵”。名称里的 orthogonal 实际还包含各列已经单位化；矩形情形用“列正交归一”更准确。

教材补充：高瘦 Q 的另一种乘法。 令 $P=QQ^{\mathsf T}$，则 $P^{\mathsf T}=P$，且

$$P^2=Q(Q^{\mathsf T}Q)Q^{\mathsf T}=P.$$

$Pb$ 在 $C(Q)$ 中，误差 $e=b-Pb$ 满足 $Q^{\mathsf T}e=0$，所以这是正交投影。重复投影不会再改变结果，但第一次一般会缩短向量。千万不要把“$Q$ 保持输入长度”误读成“$QQ^{\mathsf T}$ 保持所有输出空间向量的长度”。

补充实验。 实验使用单列 $Q=q=(\cos\theta,\sin\theta)^{\mathsf T}$。调节方向角和 $b$ 的两个坐标，观察 $q^{\mathsf T}q=1$，而 $qq^{\mathsf T}=P$ 是 $2\times2$ 的投影。设 $\theta=0$、$b=(2,3)$，应得到 $p=(2,0)$、$e=(0,3)$。再令 $b$ 平行、垂直于 $q$，分别观察 $e=0$ 和 $p=0$；始终有 $p^{\mathsf T}e=0$ 与 $\|b\|^2=\|p\|^2+\|e\|^2$。这个二维示例是根据教材投影段设计的，不是课堂算例。

Strang 先选单位列 $(\cos\theta,\sin\theta)^{\mathsf T}$。与它垂直的第二列可选 $(-\sin\theta,\cos\theta)^{\mathsf T}$，得到

$$R(\theta)=\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{pmatrix}.$$

两列长度为 1，内积为 $-\cos\theta\sin\theta+\sin\theta\cos\theta=0$，所以 $R^{\mathsf T}R=I$。逆矩阵只需把转置写出来，它恰好是 $R(-\theta)$：反向转回去。

课堂从 $e_1=(1,0)^{\mathsf T}$ 出发。乘以 $R$ 就取出第一列，方向由 $0$ 变成 $\theta$；$e_2$ 被送到第二列，方向同样转过 $\theta$。任意向量是这两条坐标轴的线性组合，所以整个平面一起旋转，而不是仅有两列发生变化。

作为核算，$\theta=\pi/2$ 时 $R=\begin{pmatrix}0&-1\\1&0\end{pmatrix}$，$(2,1)$ 变成 $(-1,2)$；它转向但长度仍为 $\sqrt5$。这个数值代入是补充练习。

旋转的几何图像提醒 Strang 一个核心事实：$Q$ 乘上向量不会改变它的长度。与其直接操作平方根，不如先比较长度平方：

$$\|Qx\|_2^2=(Qx)^{\mathsf T}(Qx)=x^{\mathsf T}Q^{\mathsf T}Qx=x^{\mathsf T}x=\|x\|_2^2.$$

这一步用的是矩阵乘法的结合律，不是交换律：可以移动括号，让中间的 $Q^{\mathsf T}Q$ 靠在一起；不能把任意两个矩阵交换位置。

教材习题进一步要求证明内积也不变：$(Qx)^{\mathsf T}(Qy)=x^{\mathsf T}y$。于是非零向量间的夹角保持，且 $\|Qx-Qy\|=\|x-y\|$。这些结论对列正交归一的高瘦 $Q$ 也成立，它可以把较低维输入等距嵌入较高维空间。

课堂说正交运算不会造成 overflow/underflow，强调它避免了变换不断放大或压小整体尺度。准确地说，精确数学中的二范数不增长；浮点中仍有舍入误差，中间求和和极端数据仍要合理实现，不能据此宣称任何代码都绝对不会溢出。

Strang 最后回到方阵的求解便利：$Qx=b$ 直接给出 $x=Q^{\mathsf T}b$。既保持几何，又容易求逆，正是后续分解算法反复采用 $Q$ 的原因。

第二个二维家族是

$$F(\theta)=\begin{bmatrix}\cos\theta&\sin\theta\\\sin\theta&-\cos\theta\end{bmatrix}.$$

列向量仍是单位且正交，所以 $F^{\mathsf T}F=I$；但 $\det F=-1$，它不是旋转，而是反射。向量 $(1,0)$ 被送到角度 $\theta$ 的方向，镜面位于角度 $\theta/2$ 的直线上；垂直于镜面的方向被翻到另一侧。课堂通过 $(0,1)$ 的第二列追踪这一点。

旋转的行列式为 $+1$，反射为 $-1$。两者都保持长度，区别在于是否改变定向。不要用“正交矩阵一定是旋转”替代完整分类。

可以补做两项代入辨认镜面：$\theta=0$ 时 $F=\operatorname{diag}(1,-1)$，镜面是横轴；$\theta=\pi/2$ 时 $F=\begin{pmatrix}0&1\\1&0\end{pmatrix}$，它交换两个坐标，镜面是 $y=x$。矩阵参数是 $\theta$，镜面方向是 $\theta/2$，这两个角不能混淆。

此外 $F=F^{\mathsf T}$，再由正交性得到 $F^2=I$：反射两次回到原处。这个对称且正交的结构会在下一段推广到任意维数。

取单位列向量 $u$（$u^{\mathsf T}u=1$），定义

$$H=I-2uu^{\mathsf T}.$$

$uu^{\mathsf T}$ 是到 $u$ 所张成直线的正交投影。于是对 $u$ 本身，$Hu=u-2u=-u$；若 $w^{\mathsf T}u=0$，则 $Hw=w$。这正是关于 $u^\perp$ 超平面的镜像。

验证正交性时利用结合律和中间标量：

$$H^{\mathsf T}H=H^2=(I-2uu^{\mathsf T})^2=I-4uu^{\mathsf T}+4u(u^{\mathsf T}u)u^{\mathsf T}=I.$$

同时 $H^{\mathsf T}=H$，所以 Householder 矩阵既对称又正交，且 $H^{-1}=H$。教材给出的特征值是 $-1$（沿 $u$ 一次）和 $+1$（在 $u^\perp$ 上 $n-1$ 次）。课堂称它比 Gram–Schmidt 更适合正交化；这是数值方法的预告，本讲没有比较算法或给出 QR 分解。

这里 $u^{\mathsf T}u$ 是标量，而 $uu^{\mathsf T}$ 是 $n\times n$ 秩一矩阵。课堂 16:57 附近字幕把对称对象简写成“u transpose”，应读为外积 $uu^{\mathsf T}$。若起点是任意非零向量 $v$，补充通式为 $H=I-2vv^{\mathsf T}/(v^{\mathsf T}v)$；$v=0$ 时不能使用这个式子。

Strang 在介绍 Hadamard 时穿插了数学家高龄仍讲课的故事，随后从最小的非平凡例子开始。为避免把板书中的归一化因子混进递归，这里约定 $H_n$ 始终表示未归一化的 $\pm1$ 矩阵：

$$H_2=\begin{pmatrix}1&1\\1&-1\end{pmatrix},\qquad H_{2n}=\begin{pmatrix}H_n&H_n\\H_n&-H_n\end{pmatrix}.$$

课堂明确写出

$$H_4=\begin{pmatrix}1&1&1&1\\1&-1&1&-1\\1&1&-1&-1\\1&-1&-1&1\end{pmatrix},$$

再把四个 $H_4$ 按同样正负号拼成 $H_8$。为什么奏效？若 $H_n^{\mathsf T}H_n=nI$，分块相乘便得到

$$H_{2n}^{\mathsf T}H_{2n}=\begin{pmatrix}2nI&0\\0&2nI\end{pmatrix}.$$

对角块是两次相加，非对角块因一正一负抵消。这补全了课堂对列内积的解释，也给出归纳证明。

但“列彼此正交”还不够叫正交矩阵：$H_n$ 每列有 $n$ 个 $\pm1$，长度为 $\sqrt n$。故 $Q_n=H_n/\sqrt n$ 才有 $Q_n^{\mathsf T}Q_n=I$。二维除以 $\sqrt2$，四维除以 2，八维除以 $\sqrt8$；这些正负模式可以用于编码等需要离散正交结构的场景。

翻倍能产生 $2,4,8,16,\ldots$ 阶。Strang 接着问 12 阶呢？课堂指出 $H_{12}$ 存在，但刚才的递归没有给出它。这促使大家猜：是不是任何偶数阶都能做？6 阶又不行。于是引出 Hadamard 猜想：每个正的 4 的倍数阶都存在 Hadamard 矩阵。

这段课是在讨论猜想，不能把它写成“块递归证明了全部 4 的倍数”。课堂与这版教材曾以 668 阶作为当时尚未构造出的例子；这里保留为录课/成书时期的叙述，没有核查或声称它是今天的研究进展。

校正边界： 字幕 24:54 说 1 阶也不行，但 $[1]$ 显然满足条件，是平凡例外；2 阶也是例外。补充一个必要条件证明：对 $n>2$ 的 Hadamard 矩阵，变换行列符号及顺序，令第一行全 1，第二行前半 1、后半 −1。第三行与前两行均正交，使它在两个半段分别有同样多的 1 和 −1，所以 $n/2$ 还必须是偶数，即 $4\mid n$。这证明“必须”，没有证明“存在”。

两条奇数长度的 $\pm1$ 向量内积是奇数项 $\pm1$ 之和，不可能为 0，也能直接看出为什么 3 阶不行。

Strang 先提到“对称矩阵的特征向量会给出正交基”，又暂时回到一个直接可画出来的家族：Haar 小波。课堂依次画出常数、前半正后半负、左侧局部正负、右侧局部正负，并把它们装成列：

$$W_4=\begin{pmatrix}1&1&1&0\\1&1&-1&0\\1&-1&0&1\\1&-1&0&-1\end{pmatrix}.$$

前两列长度为 2，后两列长度为 $\sqrt2$。列两两正交：例如第二列与第三列内积 $1-1=0$；第三、第四列的非零位置互不重叠。它们目前是正交基，还没有单位化。

课堂接着构造八维版本。第一列八个 1，第二列四个 1 接四个 −1；接下来两列分别在左右半段放 $(1,1,-1,-1)$；最后四列把 $(1,-1)$ 分别放在四对相邻位置，其余全是 0。这就是“缩放”：相同正负模式越来越短，在不同位置重复。

把数据 $x$ 与这些列做内积，第一项取整体总和（除以相应尺度后关联平均），第二项比较前后半段总量，接下来的项比较更局部差异。作为补充计算，若 $x=(2,2,0,0)$，用归一化后的四列取内积得到 $(2,2,0,0)$：信号只需要整体常数与半段差分，两个局部差分系数为 0。正交基变换让结构集中到少量系数里。

Strang 用 Haar 与 Daubechies 的故事解释：最简单的小波只有 1、−1、0；寻找更平滑又保持有用正交性质的小波需要更多构造，课堂提到约 1988 年的进展。字幕中的“Adam R/Atomard”是 Hadamard，“Dovichy”是 Daubechies；本节的矩阵是 Haar，不要混为同一种变换。

在具体例子之后，课堂回到一个系统来源：对称矩阵的特征向量。 实对称 $S=S^{\mathsf T}$ 有实特征值，并能选出完整的实正交归一特征基。下一讲将围绕它展开。

“特征向量自动正交”需要补全条件。若 $Sx=\lambda x$、$Sy=\mu y$ 且 $\lambda\ne\mu$，则

$$\mu x^{\mathsf T}y=x^{\mathsf T}Sy=(Sx)^{\mathsf T}y=\lambda x^{\mathsf T}y,$$

从而 $x^{\mathsf T}y=0$。重特征值内任取两个向量不保证正交；可以在那个特征空间里重新选正交基。例如 $S=I$ 的所有非零向量都是特征向量，但 $(1,0)$ 和 $(1,1)$ 并不正交。

课堂也说正交矩阵的特征向量是另一个来源。它们与实对称矩阵不同：即使矩阵全是实数，特征向量也可能要用复数，并用共轭内积来定义正交。下面的循环置换正好揭示这一点。本段的代数证明与反例为对课堂结论的补全。

离散 Fourier 变换不是把连续函数硬塞进矩阵，而是用一组离散频率向量作为基。Strang 把来源写得极简单：

$$P=\begin{pmatrix}0&1&0&0\\0&0&1&0\\0&0&0&1\\1&0&0&0\end{pmatrix},\qquad P(x_1,x_2,x_3,x_4)^{\mathsf T}=(x_2,x_3,x_4,x_1)^{\mathsf T}.$$

它把单位阵的四列重新排序，所以 $P^{\mathsf T}P=I$；逆矩阵是反向循环移动，恰好等于 $P^{\mathsf T}$。一般置换矩阵都正交，但这里特定的四周期置换才给出下面这套四点 Fourier 特征向量；不能把所有置换的谱都当成同一组频率。

课堂强调信号处理喜欢先用 Fourier 变换看信号：将数据拆成频率成分，往往比直接盯着原坐标更有解释力。FFT 是快速计算这类变换的算法，此处只作动机介绍。

虽然 $P$ 的条目只有 0、1，它的特征向量仍需要复数。实对称矩阵可以选择实特征基，这个正交矩阵则有 $\pm i$ 特征值。不要把“矩阵实”误认为“所有特征值、特征向量也都实”。在写出 Fourier 矩阵之前，课堂回顾了旋转、反射、Householder、小波这几类例子。

一位学生在此提醒：黑板上的 Haar 列还没有单位化。Strang 起初说除以 $\sqrt8$，马上在追问下修正——不同尺度的列有不同长度。

八维的常数列和全局差分列各有八个非零条目，长度 $\sqrt8$；两列半段差分各有四个非零条目，长度 $2$；四列相邻差分各有两个非零条目，长度 $\sqrt2$。因此

$$W_8^{\mathsf T}W_8=\operatorname{diag}(8,8,4,4,2,2,2,2).$$

若 $D=\operatorname{diag}(\sqrt8,\sqrt8,2,2,\sqrt2,\sqrt2,\sqrt2,\sqrt2)$，正确的正交矩阵是 $Q_W=W_8D^{-1}$：在右边乘对角阵，逐列缩放。课堂问答提醒我们，Hadamard 可统一除以 $\sqrt n$，Haar 必须按列处理。

教师先问：“哪个向量无论怎样置换都不变？”答案是全 1 向量。这是零频率的 Fourier 向量，特征值为 1。随后写出

$$f_k=(1,i^k,i^{2k},i^{3k})^{\mathsf T},\quad k=0,1,2,3,\qquad i^2=-1,$$

组成

$$F_4=\begin{pmatrix}1&1&1&1\\1&i&-1&-i\\1&-1&1&-1\\1&-i&-1&i\end{pmatrix}.$$

在课堂确定的循环方向下，直接左移坐标可见

$$Pf_k=(i^k,i^{2k},i^{3k},1)^{\mathsf T}=i^k f_k,$$

最后一项成立是因为 $i^{4k}=1$。四个特征值依次为 $1,i,-1,-i$；如果把置换方向反过来，特征值相应取逆，不能忽略方向。

课堂穿插了数学写 $i$、电工常写 $j$ 的小玩笑；它们都表示平方为 $-1$ 的虚数单位。这里统一用 $i$。每列的复范数平方为 4，所以归一化 Fourier 矩阵为 $U_F=F_4/2$。接下来必须把“内积”也正确推广到复数，才能证明 $U_F^*U_F=I$。

先看 $f_0=(1,1,1,1)^{\mathsf T}$ 和 $f_1=(1,i,-1,-i)^{\mathsf T}$。$1+i-1-i=0$，看起来普通转置就能检查正交。但这是因为第一列全是实数，取共轭没有改变它。

课堂故意用第1频率列与第3频率列检验错误方法。设 $f_3=(1,-i,-1,i)^{\mathsf T}$，不取共轭时

$$f_1^{\mathsf T}f_3=1+i(-i)+(-1)(-1)+(-i)i=4.$$

正确地对第一列取共轭后，

$$f_1^*f_3=1+(-i)(-i)+(-1)(-1)+i^2=1-1+1-1=0.$$

复内积定义为 $x^*y=\overline{x}^{\mathsf T}y$，相应长度为 $\|x\|^2=x^*x=\sum_j|x_j|^2$。例如非零向量 $f_1$ 有 $f_1^{\mathsf T}f_1=0$，但 $f_1^*f_1=4$；这也解释了为什么普通转置不能定义复长度。

补充统一证明：$f_j^*f_k=\sum_{r=0}^3 i^{r(k-j)}$。$j=k$ 时四项都为1；$j\ne k$ 时等比级数和为0。因此 $F_4^*F_4=4I$，$U_F=F_4/2$ 满足 $U_F^*U_F=I$，称为酉矩阵（复数版本的正交矩阵）。

字幕 47:16 后对“负号、平方、共轭”的口语有混乱；共轭只将 $i$ 换成 $-i$，实数 $-1$ 本身不变，以上明确列出每项避免误读。

课堂最后写下 $Q^{\mathsf T}Q=I$、$Qx=\lambda x$、$Qy=\mu y$，并强调 $\lambda\ne\mu$。想得到的结论是 $x^*y=0$。老师说明可从这些式子推出，但没有把全部代数写完；下面是补全证明。

首先 $x\ne0$，保长性给出 $\|Qx\|=\|x\|$，而 $\|\lambda x\|=|\lambda|\|x\|$，所以 $|\lambda|=1$，同理 $|\mu|=1$。实正交矩阵在复数域仍有 $Q^*Q=Q^{\mathsf T}Q=I$，因此

$$x^*y=(Qx)^*(Qy)=\overline\lambda\mu\,x^*y.$$

若 $\overline\lambda\mu=1$，由于 $|\lambda|=1$ 就有 $\mu=\lambda$，与条件矛盾。因此 $x^*y=0$。对重复特征值，任取两条特征向量未必正交，应在特征空间内选择正交基。

这样本讲有了统一认识：旋转、反射、Hadamard、Haar 以不同方式制造正交列；循环置换的 Fourier 特征向量则预告了一种更系统的来源。正交基让我们用内积直接提取坐标，并在变换时保持长度。继续到第4讲，把特征方程、相似对角化和实对称矩阵的谱分解连接起来。