M2-001M2: 经典机器学习线性回归Easy
⚡闪卡盲测➔掌握度:

写出线性回归的闭式解,并说明它成立的前提。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-002 →
📐 核心数学机理公式
w^=(X⊤X)−1X⊤y\hat w=(X^\top X)^{-1}X^\top y
⚡ 一句话直击要害答案
最小二乘解 w=(XᵀX)⁻¹Xᵀy,前提是 XᵀX 可逆(无完全共线性)。

📌 核心要点提炼

  • •
    等价于高斯噪声假设下的 MLE
  • •
    实际用 QR/SVD/pinv 而非直接求逆

📐 数学机理与严密推导

推导:最小化残差平方和 L(w)=‖y−Xw‖²,对其求导置零得正规方程 ∂L/∂w=−2Xᵀ(y−Xw)=0 ⇒ XᵀXw=Xᵀy ⇒ w=(XᵀX)⁻¹Xᵀy。这个解存在的充要条件是 XᵀX 可逆,即 X 列满秩(各特征线性无关)。从概率视角,若假设 y=Xw+ε、ε~N(0,σ²I),则负对数似然正比于 ‖y−Xw‖²/(2σ²),故最小二乘 ≡ 高斯噪声下的 MLE——这解释了为什么最小二乘如此普遍。几何上,Xw 是 y 在 X 列空间上的正交投影(因为残差 e=y−Xw 满足 Xᵀe=0),投影矩阵 H=X(XᵀX)⁻¹Xᵀ 称为帽子矩阵。

🏭 深度剖析与工业落地权衡

工程实现的关键是不要真的求逆:① (XᵀX)⁻¹ 的条件数是 κ(X)²,会平方放大舍入误差;② 更稳的做法是 QR 分解(X=QR,则 w=R⁻¹Qᵀy,条件数不变)或 SVD(w=VΣ⁺Uᵀy,可截断小奇异值);③ 当特征共线或 p>n(宽数据)时 XᵀX 奇异,需用伪逆(给出最小范数解)或岭回归(加 λI 使其可逆)。帽子矩阵的对角线 hᵢᵢ 是杠杆值,衡量第 i 个样本对自身预测的影响;高杠杆点(hᵢᵢ 接近 1)对拟合影响极大,是回归诊断的重点。此外,线性回归的四大假设(线性、误差独立、同方差、正态)中,前三个影响估计的无偏性与有效性,正态只影响小样本推断。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    直接对 XᵀX 求逆(条件数平方)
  • ✕
    在共线/宽数据下仍用普通最小二乘(应改岭回归或伪逆)
🎯 面试官连环追问与延伸考察
  • ?
    XᵀX 不可逆意味着什么?
  • ?
    为什么用 QR 分解更稳?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M1-089: 解释合成控制法(Synthetic Control)的思路与适用场景。📋 返回题库下一题 →M2-002: 列举线性回归的四大假设,并说明违反后果。