Linear Algebra: 解释正定性，以及它在优化与协方差矩阵中的意义。

Core Concept: xᵀAx>0 对所有非零 x 成立；保证严格凸与唯一极小点。

正定的定义是二次型恒正：xᵀAx>0 ∀x≠0，等价条件有三——所有特征值为正、所有顺序主子式为正（Sylvester 判据）、存在可逆 B 使 A=BᵀB（Cholesky 分解存在）。半正定（xᵀAx≥0）允许特征值为 0，即存在非零方向使二次型为 0。在优化中，<strong>海森矩阵正定 ⇔ 严格局部极小</strong>（二阶充分条件）：一阶导为零给出驻点，二阶导的正定性区分极小、极大与鞍点。在统计中，协方差矩阵 Σ 必然半正定（因为 Σ=E[(X−μ)(X−μ)ᵀ]，对任意 a 有 aᵀΣa=Var(aᵀX)≥0）；它严格正定当且仅当各维度不存在完全线性相关。

三个工程含义：① <strong>共线性诊断</strong>——若协方差矩阵（或设计矩阵 XᵀX）奇异或接近奇异，说明存在完全/近似的线性相关，此时回归系数方差爆炸（Var(ŵⱼ)=σ²/[(1−Rⱼ²)Σ(xᵢⱼ−x̄ⱼ)²] 中 Rⱼ²→1），系数符号不稳定但预测仍可能准确——这正是岭回归（加 λI 使其正定）的动机；② <strong>Cholesky 分解的效率</strong>——正定矩阵可分解为 LLᵀ，使线性方程组求解与多元高斯采样（L·z，z~N(0,I)）从 O(n³) 降到 O(n³/3) 且数值稳定，是高斯过程与贝叶斯推断的核心；③ <strong>非凸优化的鞍点</strong>——高维深度学习中，一阶驻点处海森通常既非正定也非负定（大量正负特征值），即鞍点远多于局部极小，这是 SGD 噪声能有效逃离鞍点的原因。