M2-057M2: 经典机器学习降维Easy
⚡闪卡盲测➔掌握度:

解释 PCA 的目标与实现步骤。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-058 →
📐 核心数学机理公式
max⁡w:∥w∥=1Var(Xw),Σ=1nX⊤X\max_{w:\|w\|=1}\mathrm{Var}(Xw),\qquad \Sigma=\frac1n X^\top X
⚡ 一句话直击要害答案
找方差最大的正交方向;对中心化数据做协方差特征分解或 SVD,取前 k 个主成分。

📌 核心要点提炼

  • •
    主成分正交且按方差降序
  • •
    需先中心化(标准化视量纲而定)

📐 数学机理与严密推导

PCA 的目标是找一组正交方向,使数据投影后的方差最大(等价于重构误差最小——两者由勾股定理等价)。推导:设投影方向 w(‖w‖=1),投影后方差为 wᵀΣw,最大化它(带约束)用拉格朗日法得 Σw=λw——即 w 是协方差矩阵的特征向量,λ 是方差。故取 Σ 的前 k 大特征值对应的特征向量即前 k 个主成分。实现步骤:① 中心化(每列减均值)——必须,因为 PCA 找的是'过原点'的方向,不中心化会把均值偏移误当方差;② 计算协方差矩阵 Σ=XᵀX/n(或直接用 SVD);③ 特征分解或 SVD 得特征向量与特征值;④ 取前 k 个特征向量作为投影矩阵;⑤ 投影降维。SVD 路径:X=UΣVᵀ 中,右奇异向量 V 即主成分方向,奇异值平方/n 即方差——数值上更稳定(避免显式构造协方差矩阵),是实际实现的首选。

🏭 深度剖析与工业落地权衡

实践要点:① 是否标准化——若各特征量纲不同(如身高 cm 与体重 kg),必须标准化,否则方差大的特征主导主成分;若量纲相同或已知重要性差异,可只中心化。② 中心化 vs 标准化——中心化是必须的(否则第一主成分会指向均值方向);标准化是视情况的(会改变各特征权重)。③ 主成分的解释性——主成分是原始特征的线性组合,通常难以解释(除非做稀疏 PCA/旋转);这是 PCA 相对特征选择的主要缺点。④ 方差 ≠ 重要性——低方差方向可能对分类很关键(如区分两类的那一维恰好方差小),故无监督的 PCA 不一定适合有监督任务;此时应改用 LDA(有监督降维)或特征选择。⑤ 核 PCA——用核技巧做非线性降维;但需注意核 PCA 无法直接给出新样本的映射(无 out-of-sample 扩展),这是它相对自编码器的劣势。⑥ 随机化 SVD——大数据上用随机化算法加速(sklearn 的 randomized solver)。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    不做中心化直接做 PCA
  • ✕
    在量纲不同的特征上不标准化
🎯 面试官连环追问与延伸考察
  • ?
    为什么 PCA 要中心化?
  • ?
    是否应该标准化?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-056: 如何评估聚类质量(无标签)?内部与外部指标各有哪些。📋 返回题库下一题 →M2-058: PCA 与 SVD 的关系是什么?