Linear Algebra: 解释协方差矩阵的几何意义与它的性质。

Core Concept: 对称半正定；特征值给出各主方向方差，特征向量给出主方向（PCA 的几何基础）。

几何意义：协方差矩阵 Σ 描述了数据云的<strong>形状与朝向</strong>。对它做特征分解 Σ=VΛVᵀ，特征向量 vᵢ 给出数据云的<strong>主轴方向</strong>，特征值 λᵢ 给出沿该方向的<strong>方差</strong>（即数据云在该方向的'长度'的平方）。因此 Σ 的等概率轮廓（对高斯分布）是<strong>椭球</strong>，其轴长正比于 √λᵢ、轴向由 vᵢ 决定。<strong>半正定性的证明</strong>：对任意向量 a，aᵀΣa=aᵀE[(X−μ)(X−μ)ᵀ]a=E[(aᵀ(X−μ))²]=Var(aᵀX)≥0——因为它是某个随机变量的方差，必然非负。<strong>关键性质</strong>：① 对称（Σᵀ=Σ）；② 半正定（λᵢ≥0）；③ 迹 tr(Σ)=Σλᵢ=ΣVar(Xᵢ)=总方差；④ 行列式 det(Σ)=Πλᵢ 正比于数据云的'体积'平方；⑤ 严格正定 ⟺ 各维不存在完全线性相关（无共线）。

应用与要点：① <strong>PCA 的数学基础</strong>——PCA 就是求 Σ 的特征分解并保留大方差方向；'解释方差比例'即 λᵢ/tr(Σ)。② <strong>白化（whitening）</strong>——用 Σ^{−1/2} 变换数据使其协方差为单位阵（各方向等方差且不相关），常用于 ICA、某些神经网络输入处理与度量学习。③ <strong>马氏距离</strong>——d²=(x−μ)ᵀΣ⁻¹(x−μ) 用 Σ⁻¹ 加权，使距离在数据云的短轴方向上'放大'（考虑形状），等价于先白化再算欧氏距离。④ <strong>奇异的情况</strong>——若 Σ 奇异（p>n 或特征共线），则 Σ⁻¹ 不存在，此时需用<strong>伪逆</strong>、<strong>收缩估计</strong>（Σ̂=(1−α)S+α·diag(S) 或向单位阵收缩，如 Ledoit-Wolf）或降维；这在金融协方差估计与高斯过程（协方差矩阵病态）中是核心问题。⑤ <strong>估计误差</strong>——样本协方差矩阵在 p 接近或超过 n 时估计极不稳定（特征值被系统性地高估最大值、低估最小值，即 Marchenko-Pastur 现象），需用收缩或因子模型。