Linear Algebra: 什么是病态矩阵与条件数？它如何影响数值求解与训练？

Core Concept: 条件数大 → 输入微小扰动导致解剧烈变化；求解与优化都不稳定。

条件数 κ(A)=σ_max/σ_min 度量'相对误差的放大倍数'：若输入有相对扰动 ε，则解的相对误差最多放大 κ(A) 倍（更精确地，(‖δx‖/‖x‖) ≤ κ(A)·(‖δb‖/‖b‖)）。推导来自 SVD：x=A⁻¹b=VΣ⁻¹Uᵀb，误差在最小奇异值 σ_min 方向上被放大 1/σ_min 倍，而 b 的尺度由 σ_max 决定，故比值为 κ。几何上，条件数大意味着矩阵把单位球压成极端扁的椭球——某些方向几乎被压平，逆变换就会把噪声放大到失控。κ=1 是完美条件（正交阵），κ=10ᵏ 意味着损失 k 位有效数字。

实践中的三个关键点：① <strong>永远不要显式求逆或用正规方程</strong>——κ(AᵀA)=κ(A)²，用正规方程会损失一半精度；应使用 QR 分解（κ 不变）或 SVD（最稳，可截断小奇异值）；② <strong>正则化即改善条件数</strong>——岭回归把 σᵢ 换成 σᵢ/(σᵢ²+λ)，等价于把条件数从 σ_max/σ_min 压到 (σ_max²+λ)/(σ_min²+λ)，λ 越大条件数越小；③ <strong>深度学习中的病态</strong>——损失的海森条件数决定收敛速度，病态导致不同方向需要不同学习率（这是 Adam 自适应学习率与归一化层（BN/LN）有效的原因之一：它们把激活的尺度归一化，间接改善条件数）。特征标准化是线性模型中最简单的预条件手段。