Linear Algebra: 解释 Moore-Penrose 伪逆，以及它如何给出最小二乘解。

Core Concept: 伪逆通过 SVD 对非零奇异值取倒数构造，给出最小范数最小二乘解。

伪逆的构造完全依赖 SVD：若 A=UΣVᵀ（秩 r），则 A⁺=VΣ⁺Uᵀ，其中 Σ⁺ 是把 Σ 的<strong>非零奇异值取倒数</strong>、零奇异值保持为零后转置得到的 n×m 矩阵。它满足四个 Penrose 条件（AA⁺A=A、A⁺AA⁺=A⁺、(AA⁺)ᵀ=AA⁺、(A⁺A)ᵀ=A⁺A），因此在所有'最小二乘解'中，A⁺b 是<strong>唯一具有最小范数</strong>的那个。具体地，Ax=b 的解集可写为 A⁺b+(I−A⁺A)w（w 任意），其中 A⁺b 是与零空间正交的分量，范数最小。当 A 列满秩时 A⁺=(AᵀA)⁻¹Aᵀ，退化为标准最小二乘解。

三个实用价值：① <strong>秩亏/欠定的统一处理</strong>——当特征完全共线（AᵀA 奇异）或方程数少于未知数时，普通求逆失败，伪逆仍给出唯一的最小范数解（这也是 <code>np.linalg.lstsq</code> 与 <code>pinv</code> 内部用 SVD 的原因）；② <strong>与岭回归的关系</strong>——岭回归解 (AᵀA+λI)⁻¹Aᵀb 可写成 Σᵢ σᵢ/(σᵢ²+λ)·vᵢuᵢᵀb，即把伪逆中的 1/σᵢ 替换为 σᵢ/(σᵢ²+λ)——两者都抑制小奇异值方向，但岭回归是平滑抑制（λ→0 时趋于伪逆），伪逆是硬截断；③ <strong>数值实现</strong>——SVD 截断（丢弃小于阈值的奇异值）比伪逆更可控，是实践中处理病态的首选（如 PCA、协同过滤中的潜在因子）。