M2-059M2: 经典机器学习降维Medium
⚡闪卡盲测➔掌握度:
PCA 有哪些局限?什么时候不该用 PCA。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
只捕捉线性结构、对方差敏感、可解释性差、监督信息未用;不适合非线性流形与分类判别。
📌 核心要点提炼
- •替代:KPCA、t-SNE/UMAP(可视化)、自编码器、LDA
- •PCA 对尺度敏感
📐 数学机理与严密推导
四个核心局限:① 只捕捉线性结构——PCA 找的是线性子空间,若数据分布在非线性流形上(如瑞士卷、环形),PCA 无法展开流形,会混合不同部分的样本;替代是 KPCA、自编码器、UMAP。② 以方差为导向——PCA 保留方差大的方向,但方差大 ≠ 有判别力:若区分两类的方向恰好方差小,PCA 会丢弃它;这是无监督降维的根本局限(对比 LDA 最大化类间/类内方差比)。③ 可解释性差——主成分是全部原始特征的线性组合,通常难以命名与解释;若需可解释降维应用稀疏 PCA 或特征选择。④ 对尺度与异常值敏感——量纲不同会主导结果(需标准化),异常值会扭曲方差方向(可用稳健 PCA)。⑤ 线性组合可能无意义——若特征间存在语义冲突(如'价格'与'销量'),线性组合可能没有物理意义。
🏭 深度剖析与工业落地权衡
实践建议:① 有监督任务优先 LDA/有监督降维——LDA 最大化类间散度与类内散度的比值,直接服务于分类;但它假设各类高斯同协方差且最多降到 K−1 维。② 可视化用 t-SNE/UMAP,但不要用于下游——t-SNE 只保留局部邻域结构,其坐标与距离无全局意义(不能用于聚类或作为特征输入模型);UMAP 稍好(保留更多全局结构)但仍不推荐作为特征。③ 需要可逆或生成时用自编码器——自编码器可学习非线性降维且能解码重建,适合生成任务;但需更多数据与调参。④ 作为预处理——PCA 常用于加速(降维后训练更快)、去噪(丢弃小方差方向即去噪)、以及可视化;在这些场景 PCA 仍是首选(快、确定、无超参)。⑤ 白化(whitening)——PCA 白化使各主成分方差为 1,常用于需要各向同性输入的算法(如某些神经网络、ICA)。
⚠️ 常见面试陷阱与高频失分点
- ✕用 PCA 做有监督分类的降维(可能丢弃判别方向)
- ✕把 t-SNE 的坐标当作下游特征使用
🎯 面试官连环追问与延伸考察
- ?t-SNE 为什么不适合做下游特征?
- ?LDA 与 PCA 的目标差异?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!