PCA 与 SVD

PCA (主成分分析) 是无监督降维: 寻找数据方差最大的正交方向 (主成分), 把高维样本投影到前 $k$ 个主成分。第一主成分 $v$ 是约束优化问题的解 $\max_{v} \; v^T \Sigma v \quad \text{s.t.} \quad \Vert v \Vert = 1$, 其中 $\Sigma$ 是协方差矩阵。构造拉格朗日函数 $L = v^T \Sigma v - \lambda (v^T v - 1)$, 对 $v$ 求导置零得 $\Sigma v = \lambda v$——解恰是 $\Sigma$ 的最大特征向量, 对应方差 $= \lambda$ (特征值), 第 $k$ 个主成分是第 $k$ 大特征向量。因此 PCA = 对中心化数据矩阵做 SVD: $X = U \Sigma V^T$, 右奇异向量 $V$ 即主方向, 投影 $T = X V$ 取前 $k$ 列; 由 Eckart-Young 定理, 前 $k$ 个主成分同时最小化重构误差 (方差最大与重构误差最小等价)。成分数选择: 累计解释方差比 $\frac{\sum_{i=1}^{k} \lambda_i}{\sum_{i=1}^{d} \lambda_i} \ge 0.95$ 或碎石图拐点; 特征须先 z-score 标准化。

高维可视化 (2D/3D)、特征压缩加速训练、去相关/白化、多重共线性处理、图像与基因组数据分析; 面试必考拉格朗日推导与 PCA=SVD。

原始特征冗余、共线、含噪, 高维还带来维度灾难; PCA 用 $k \ll d$ 个正交方向保留最大方差, 实践中常以 5% 的维度保留 90%+ 方差, 同时去相关、可去噪。代价是主成分为原始特征的线性组合、可解释性下降, 且对非线性结构无效 (需核 PCA 或自编码器)。

写出 PCA 的方差最大化问题 $\max_v v^T \Sigma v \; \text{s.t.} \; \Vert v \Vert = 1$; 用拉格朗日乘子法证明解是最大特征向量?

推导 PCA = SVD: 中心化数据矩阵的右奇异向量为什么就是主成分? 奇异值与方差的关系?

为什么方差最大化等价于最小化重构误差? 重构误差的表达式是什么?

如何选择主成分个数? 累计解释方差比 $\frac{\sum_{i=1}^{k} \lambda_i}{\sum_{i=1}^{d} \lambda_i}$ 的常用阈值是多少?

PCA 前为什么必须标准化特征? PCA 与线性回归 (岭回归)、与核 PCA/自编码器的区别?