L4MediumPart L · 经典 ML 与统计模拟

PCA 主成分分析(协方差特征值分解与 SVD)

⚡闪卡盲测➔

无监督降维经典,最大化投影方差并最小化重构误差,SVD 奇异值分解稳健实现。

⏱️ 时间复杂度: O(min(N D^2, N^2 D)) SVD 分解开销
💾 空间复杂度: O(N * k)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def pca_svd(x: np.ndarray, k: int = 2) -> tuple:
"""
基于 SVD 实现的数值稳定 PCA 降维。
参数:
x: (N, D)
k: 目标降维维度
返回:
x_proj: (N, k) 降维后坐标
components: (D, k) 主成分轴基底
"""
# 1. 均值中心化
mean =
x_centered = x - mean
# 2. 奇异值分解 SVD: X_centered = U * S * Vh
U, S, Vh = np.linalg.svd(x_centered, full_matrices=False)
# Vh 的行向量即为主成分特征向量,提取前 k 个
components = Vh[:k, :].T # (D, k)
# 3. 投影到主成分低维空间
x_proj =
return x_proj, components
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: PCA 降维后各维度之间的协方差是多少?为什么?
下一题: Bootstrap 重采样(均值估计与 95% 置信区间) →
💡

实战一句话记忆口诀

均值去中心,SVD 找基底,前 K 奇异向量投出最大方差

📐 核心数学公式与机理推导

Σ=1NX⊤X=VΛV⊤,Xproj=XV:,:k\Sigma = \frac{1}{N} X^\top X = V \Lambda V^\top, \quad X_{\text{proj}} = X V_{:, :k}
### 最大方差投影与奇异值分解
给定已中心化矩阵 X∈RN×DX \in \mathbb{R}^{N \times D}(即各列均值为 0):
样本协方差矩阵为 Σ=1NX⊤X\Sigma = \frac{1}{N} X^\top X。
寻找一个投影方向向量 uu(∥u∥2=1\|u\|_2 = 1),使得投影后的方差最大化:
max⁡uu⊤Σus.t.u⊤u=1\max_u u^\top \Sigma u \quad \text{s.t.} \quad u^\top u = 1
拉格朗日乘子法求导可得:Σu=λu\Sigma u = \lambda u。
因此,最优主成分投影方向恰好对应协方差矩阵的前 $K$ 个最大特征值对应的特征向量!
工业 SVD 技巧:
直接计算 X⊤XX^\top X 复杂度为 O(ND2)O(N D^2) 且条件数平方化易引发精度丢失。直接对中心化矩阵做奇异值分解 X=USV⊤X = U S V^\top,其右奇异矩阵 VV 的前 KK 列即为精确的投影基底。

🔄 张量维度与形状流转说明

x: (N, D) -> 中心化 -> SVD 分解 -> 取 Vh 前 k 列 -> x_centered @ components -> (N, k)

🛡️ 数值稳定性自检与边界要点

  • PCA 必须先严格执行均值中心化(x - mean),否则第一主成分会被全局均值拉偏
  • 使用 SVD 求解比显式计算协方差特征值分解 np.linalg.eigh(X^T X) 的数值条件数更优

💻 完整参考代码实现

import numpy as np

def pca_svd(x: np.ndarray, k: int = 2) -> tuple:
    """
    基于 SVD 实现的数值稳定 PCA 降维。
    参数:
        x: (N, D)
        k: 目标降维维度
    返回:
        x_proj: (N, k) 降维后坐标
        components: (D, k) 主成分轴基底
    """
    # 1. 均值中心化
    mean = np.mean(x, axis=0)
    x_centered = x - mean
    
    # 2. 奇异值分解 SVD: X_centered = U * S * Vh
    U, S, Vh = np.linalg.svd(x_centered, full_matrices=False)
    
    # Vh 的行向量即为主成分特征向量,提取前 k 个
    components = Vh[:k, :].T  # (D, k)
    
    # 3. 投影到主成分低维空间
    x_proj = x_centered @ components # (N, k)
    
    return x_proj, components

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
# 构造沿对角线强相关的三维数据
x = np.random.randn(50, 1) @ np.array([[1.0, 2.0, 3.0]]) + np.random.randn(50, 3) * 0.01
proj, comp = pca_svd(x, k=1)
assert proj.shape == (50, 1)
assert comp.shape == (3, 1)
print("✓ PCA SVD 降维自测通过")

🎯 核心工程追问与标准应答

Q1:PCA 降维后各维度之间的协方差是多少?为什么?
严格为 0。因为主成分基底是正交矩阵,协方差矩阵对角化后 Cov(Xproj)=Λ=diag(σ12,…,σk2)\mathrm{Cov}(X_{\text{proj}}) = \Lambda = \mathrm{diag}(\sigma_1^2, \dots, \sigma_k^2),非对角线上的协方差全为 0,彻底消除了特征通道间的线性冗余相关性。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: 逻辑回归(带 L2 正则化的二分类梯度下降)返回 Part L 与全部 105 题下一题: Bootstrap 重采样(均值估计与 95% 置信区间) →