正定与半正定矩阵

课堂先把目标说清楚：对称矩阵 $S$ 的正定性不是“元素看起来都为正”，而是一个整体性质。对于实对称矩阵，以下观点彼此等价：所有特征值为正；对所有非零 $x$，能量 $x^{\mathsf T}Sx$ 为正；存在可逆 $C$ 使 $S=C^{\mathsf T}C$；所有顺序主子式为正；消元得到的主元全为正。

这五个测试的计算成本和解释不同。特征值最直接地揭示几何，但手算特征多项式往往最麻烦；能量最适合证明和优化；分解与主元把问题交给消元。后面每一段都用同一个 $2\times2$ 例子，把“等价”变成可检查的数值。

看起来“正”的矩阵并不一定正定。课堂先考察

$$S=\begin{bmatrix}3&4\\4&5\end{bmatrix}.$$

它对称，但 $\det S=3\cdot5-4^2=-1<0$。对称矩阵的特征值为实数，而行列式是特征值的乘积，所以两个特征值一正一负；这类矩阵叫不定。

这给出一个很好的反例：逐项检查 $3,4,4,5$ 都为正，不能替代二次型的检查。把右下角 $5$ 改成 $6$ 后，行列式变为 $2$，但还要继续检查左上角的主子式；正定性是全矩阵的条件。

对

$$S=\begin{bmatrix}3&4\\4&6\end{bmatrix},$$

左上角的顺序主子式是 $\Delta_1=3$ 与 $\Delta_2=\det S=18-16=2$，两者均为正，因此 $S$ 正定。这里的“leading”指从左上角取出的嵌套方块，不是只看总行列式。

为什么不能只看 $\Delta_2$？例如 $\begin{bmatrix}-3&4\\4&-6\end{bmatrix}$ 的总行列式也是 $2$，但 $\Delta_1=-3$ 已经失败。二维时要检查两个条件；$n$ 维时要检查 $n$ 个顺序主子式。

对正定例子做一次消元：第二行减去 $4/3$ 倍第一行，得到

$$\begin{bmatrix}3&4\\0&2/3\end{bmatrix}.$$

所以主元是 $3$ 与 $2/3$。第二个主元正好满足

$$p_2=\frac{\Delta_2}{\Delta_1}=\frac{2}{3}.$$

这说明顺序主子式全正与无换行消元主元全正是等价描述。主元来自算法，主子式来自行列式；在对称正定矩阵上它们共同记录同一“没有翻转”的结构。

Strang 最看重的测试是能量：

$$S\succ0\quad\Longleftrightarrow\quad x^{\mathsf T}Sx>0\quad\text{for every }x\ne0.$$

对课堂矩阵，令 $x=(x,y)^{\mathsf T}$，则

$$x^{\mathsf T}Sx=3x^2+8xy+6y^2.$$

对角线贡献平方项，两个对称的 $4xy$ 合成 $8xy$。交叉项在 $x,y$ 异号时可以为负；正定性说的是两个平方项对所有方向都能压住它。原点处能量必为零，所以定义必须排除 $x=0$。

把能量限制在单位圆上，可以把它看成方向函数；最小值是否仍为正，正是最小特征值的符号。

课堂把 $x^{\mathsf T}Sx$ 连接到机器学习的损失函数。最简单的模型是

$$f(x)=x^{\mathsf T}Sx,$$

它在正定 $S$ 下向上张开，唯一最小点为 $x=0$。加入线性项后，

$$f(x)=x^{\mathsf T}Sx-2b^{\mathsf T}x,$$

曲率仍由 $S$ 决定，最低点移到满足 $Sx=b$ 的位置。对二次函数求导得到线性方程；实际损失可能有非线性项，但“先理解碗的曲率”仍然重要。

这不是把本讲变成深度学习算法课，而是说明正定矩阵为何经常出现在最小化问题中：它把局部曲率组织成一个稳定的全局碗形。

从一个起点 $x_0$ 出发，梯度给出最陡上升方向，因此沿 $-\nabla f(x)$ 下行：

$$x_{k+1}=x_k-\alpha_k\nabla f(x_k).$$

步长 $\alpha_k$ 由线搜索等方法决定；走太远会越过谷底，走太短则浪费计算。课堂强调只用一阶导数，是因为大问题的二阶导数矩阵太昂贵。

对二次型，特征值决定碗的轴向曲率。一个很大、一个很小的正特征值产生狭长山谷，最陡下降会横穿谷底、反复折返，收敛很慢。正定是“有碗”的必要结构，但条件数仍决定优化难度。

若 $S=I$，则

$$x^{\mathsf T}Ix=\lVert x\rVert_2^2.$$

所有方向曲率相同，等能量线是圆。负梯度始终指向中心，所以从任意起点都沿一条直线下降。这是“特征值都相等”的极端：正定性给出碗，谱的均匀性给出圆。

因此看到一个正定矩阵时，还应问第二个问题：最小和最大特征值是否相差悬殊？这把本讲的结构连接到后续数值算法。

能量测试让几个结论几乎一行完成。若 $S,T\succ0$，则对 $x\ne0$

$$x^{\mathsf T}(S+T)x=x^{\mathsf T}Sx+x^{\mathsf T}Tx>0,$$

所以 $S+T\succ0$。若 $S$ 可逆，$S^{-1}$ 的特征值是 $1/\lambda_i$，仍为正，因此 $S^{-1}\succ0$。

若 $Q$ 正交，则 $Q^{\mathsf T}SQ$ 对称；令 $y=Qx$，有

$$x^{\mathsf T}Q^{\mathsf T}SQx=y^{\mathsf T}Sy>0.$$

这里必须保留对称性。单独的 $SM$ 通常不对称，不能直接称为正定矩阵；相似/合同变换的因子位置和假设不能省略。

当

$$S=\begin{bmatrix}3&4\\4&16/3\end{bmatrix},$$

有 $\det S=16-16=0$，因此一个特征值为 $0$。迹为 $3+16/3=25/3>0$，所以另一个特征值是 $25/3$；两者均非负，$S$ 半正定。

半正定把能量条件改成 $x^{\mathsf T}Sx\ge0$，允许存在非零零方向。它位于正定矩阵集合的边界：稍微把右下角调小会出现负特征值，调大则回到正定。

对任意实矩阵 $A$，

$$x^{\mathsf T}A^{\mathsf T}Ax=(Ax)^{\mathsf T}(Ax)=\lVert Ax\rVert_2^2\ge0.$$

因此 $A^{\mathsf T}A$ 总是半正定。若 $A$ 的列线性无关，则 $Ax=0$ 只可能有 $x=0$，于是对所有非零 $x$ 能量严格为正，$A^{\mathsf T}A$ 正定。列相关时会出现非零零空间向量，能量为零，只能半正定。

全 1 的 $3\times3$ 矩阵正是秩 1 的边界例：它可写成 $A^{\mathsf T}A$，有一个正特征值和两个零特征值。

全 1 矩阵的秩是 1，因此只有一个非零特征值。迹为 3，所以该特征值是 3；对应单位特征向量是 $(1,1,1)^{\mathsf T}/\sqrt3$。于是

$$\mathbf 1\mathbf 1^{\mathsf T}=3qq^{\mathsf T},\qquad q=\frac1{\sqrt3}(1,1,1)^{\mathsf T}.$$

这个秩一谱分解把本讲收束到下一讲：对称矩阵的正交特征向量和非负谱，是 SVD 处理 $A^{\mathsf T}A$ 的入口。