矩阵分解应用

三大应用。 (1) 低秩近似 (Eckart-Young 定理): 对 $A = U\Sigma V^T$ 截断保留前 $k$ 个奇异值得 $A_k = U_k\Sigma_k V_k^T$, 则 $A_k$ 是秩不超过 $k$ 的矩阵中对 $A$ 的最优近似, F-范数误差 $\min_{\text{rank}(B) \le k} \Vert A - B \Vert_F = \sqrt{\sum_{i > k} \sigma_i^2}$, 谱范数误差为 $\sigma_{k+1}$。(2) PCA = SVD: 中心化数据矩阵 $X$ (每列减均值) 的主成分方向 = $X^TX$ 的特征向量 = $X$ 的右奇异向量 $V$, 主成分得分 = $U\Sigma$, 第 $i$ 个主成分的方差 $= \sigma_i^2 / (n-1)$; 用 SVD 而非直接求 $X^TX$ 特征分解, 避免条件数平方。 (3) 伪逆: $A^+ = V\Sigma^+U^T$ ($\Sigma^+$ 将非零奇异值取倒数), 统一给出超定方程的最小二乘解与欠定方程的最小范数解。

数据压缩与降维 (PCA、t-SNE 初始化); 推荐系统矩阵分解; 图像压缩/去噪; 低秩适配 (LoRA 用 $\Delta W = BA$ 近似权重更新); 线性方程组求解的数值稳定路径。

高维数据存储与计算开销大 — 秩 $k$ 近似用 $k(m+n)$ 个参数表示 $mn$ 个元素, 当 $k \ll \min(m,n)$ 时降一个数量级以上; Eckart-Young 保证"丢掉的尾部奇异值平方和"是可控、可算的最优误差; PCA 用 SVD 比求 $X^TX$ 特征分解数值更稳 (避免 $\kappa(X^TX) = \kappa(X)^2$); LoRA 等低秩方法把 $d \times d$ 参数降到 $r(d_1 + d_2)$, 可训练参数减少几个数量级。

检验攻克程度：针对「矩阵分解应用」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。