L4MediumPart L · 经典 ML 与统计模拟
PCA 主成分分析(协方差特征值分解与 SVD)
无监督降维经典,最大化投影方差并最小化重构误差,SVD 奇异值分解稳健实现。
⏱️ 时间复杂度:
O(min(N D^2, N^2 D)) SVD 分解开销💾 空间复杂度:
O(N * k)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def pca_svd(x: np.ndarray, k: int = 2) -> tuple:
"""
基于 SVD 实现的数值稳定 PCA 降维。
参数:
x: (N, D)
k: 目标降维维度
返回:
x_proj: (N, k) 降维后坐标
components: (D, k) 主成分轴基底
"""
# 1. 均值中心化
mean =
x_centered = x - mean
# 2. 奇异值分解 SVD: X_centered = U * S * Vh
U, S, Vh = np.linalg.svd(x_centered, full_matrices=False)
# Vh 的行向量即为主成分特征向量,提取前 k 个
components = Vh[:k, :].T # (D, k)
# 3. 投影到主成分低维空间
x_proj =
return x_proj, components
Step 3 · 反例与边界断言核对
💡
实战一句话记忆口诀
均值去中心,SVD 找基底,前 K 奇异向量投出最大方差
📐 核心数学公式与机理推导
### 最大方差投影与奇异值分解
给定已中心化矩阵 (即各列均值为 0):
样本协方差矩阵为 。
寻找一个投影方向向量 (),使得投影后的方差最大化:
拉格朗日乘子法求导可得:。
因此,最优主成分投影方向恰好对应协方差矩阵的前 $K$ 个最大特征值对应的特征向量!
工业 SVD 技巧:
直接计算 复杂度为 且条件数平方化易引发精度丢失。直接对中心化矩阵做奇异值分解 ,其右奇异矩阵 的前 列即为精确的投影基底。
给定已中心化矩阵 (即各列均值为 0):
样本协方差矩阵为 。
寻找一个投影方向向量 (),使得投影后的方差最大化:
拉格朗日乘子法求导可得:。
因此,最优主成分投影方向恰好对应协方差矩阵的前 $K$ 个最大特征值对应的特征向量!
工业 SVD 技巧:
直接计算 复杂度为 且条件数平方化易引发精度丢失。直接对中心化矩阵做奇异值分解 ,其右奇异矩阵 的前 列即为精确的投影基底。
🔄 张量维度与形状流转说明
x: (N, D) -> 中心化 -> SVD 分解 -> 取 Vh 前 k 列 -> x_centered @ components -> (N, k)
🛡️ 数值稳定性自检与边界要点
- PCA 必须先严格执行均值中心化(x - mean),否则第一主成分会被全局均值拉偏
- 使用 SVD 求解比显式计算协方差特征值分解 np.linalg.eigh(X^T X) 的数值条件数更优
💻 完整参考代码实现
import numpy as np
def pca_svd(x: np.ndarray, k: int = 2) -> tuple:
"""
基于 SVD 实现的数值稳定 PCA 降维。
参数:
x: (N, D)
k: 目标降维维度
返回:
x_proj: (N, k) 降维后坐标
components: (D, k) 主成分轴基底
"""
# 1. 均值中心化
mean = np.mean(x, axis=0)
x_centered = x - mean
# 2. 奇异值分解 SVD: X_centered = U * S * Vh
U, S, Vh = np.linalg.svd(x_centered, full_matrices=False)
# Vh 的行向量即为主成分特征向量,提取前 k 个
components = Vh[:k, :].T # (D, k)
# 3. 投影到主成分低维空间
x_proj = x_centered @ components # (N, k)
return x_proj, components
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
# 构造沿对角线强相关的三维数据
x = np.random.randn(50, 1) @ np.array([[1.0, 2.0, 3.0]]) + np.random.randn(50, 3) * 0.01
proj, comp = pca_svd(x, k=1)
assert proj.shape == (50, 1)
assert comp.shape == (3, 1)
print("✓ PCA SVD 降维自测通过")🎯 核心工程追问与标准应答
Q1:PCA 降维后各维度之间的协方差是多少?为什么?
严格为 0。因为主成分基底是正交矩阵,协方差矩阵对角化后 ,非对角线上的协方差全为 0,彻底消除了特征通道间的线性冗余相关性。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!