矩阵分解应用

三大应用。 (1) 低秩近似 (Eckart-Young 定理): 对 $A = U\Sigma V^T$ 截断保留前 $k$ 个奇异值得 $A_k = U_k\Sigma_k V_k^T$, 则 $A_k$ 是秩不超过 $k$ 的矩阵中对 $A$ 的最优近似, F-范数误差 $\min_{\text{rank}(B) \le k} \Vert A - B \Vert_F = \sqrt{\sum_{i > k} \sigma_i^2}$, 谱范数误差为 $\sigma_{k+1}$。(2) PCA = SVD: 中心化数据矩阵 $X$ (每列减均值) 的主成分方向 = $X^TX$ 的特征向量 = $X$ 的右奇异向量 $V$, 主成分得分 = $U\Sigma$, 第 $i$ 个主成分的方差 $= \sigma_i^2 / (n-1)$; 用 SVD 而非直接求 $X^TX$ 特征分解, 避免条件数平方。 (3) 伪逆: $A^+ = V\Sigma^+U^T$ ($\Sigma^+$ 将非零奇异值取倒数), 统一给出超定方程的最小二乘解与欠定方程的最小范数解。

数据压缩与降维 (PCA、t-SNE 初始化); 推荐系统矩阵分解; 图像压缩/去噪; 低秩适配 (LoRA 用 $\Delta W = BA$ 近似权重更新); 线性方程组求解的数值稳定路径。

高维数据存储与计算开销大 — 秩 $k$ 近似用 $k(m+n)$ 个参数表示 $mn$ 个元素, 当 $k \ll \min(m,n)$ 时降一个数量级以上; Eckart-Young 保证"丢掉的尾部奇异值平方和"是可控、可算的最优误差; PCA 用 SVD 比求 $X^TX$ 特征分解数值更稳 (避免 $\kappa(X^TX) = \kappa(X)^2$); LoRA 等低秩方法把 $d \times d$ 参数降到 $r(d_1 + d_2)$, 可训练参数减少几个数量级。

陈述 Eckart-Young 定理: 为什么保留最大 $k$ 个奇异值的 $A_k = U_k\Sigma_k V_k^T$ 是秩 $k$ 最优近似? 误差 $\sqrt{\sum_{i>k}\sigma_i^2}$ 如何推导?

推导 PCA = SVD: 为什么主成分方向是 $X$ 的右奇异向量而非特征向量? 各主成分方差为何是 $\sigma_i^2/(n-1)$?

手算: 给定 2×2 矩阵, 求秩 1 最优近似 $A_1 = \sigma_1 u_1 v_1^T$ 并计算 F-范数误差?

伪逆 $A^+ = V\Sigma^+U^T$ 为何同时给出最小二乘与最小范数解? 与正规方程 $(X^TX)^{-1}X^T$ 相比的数值优势?

手算参数对比: 秩 $k$ 近似需要多少存储 (对 $mn$)? LoRA 为什么是低秩近似, 可训练参数降多少?