M2-005M2: 经典机器学习线性回归Hard
⚡闪卡盲测➔掌握度:

推导线性回归的最小二乘解,并说明其几何意义。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-006 →
📐 核心数学机理公式
∇w∥y−Xw∥2=0⇒X⊤Xw=X⊤y\nabla_w\|y-Xw\|^2=0\Rightarrow X^\top Xw=X^\top y
⚡ 一句话直击要害答案
对残差平方和求导置零得正规方程;几何上是把 y 正交投影到 X 的列空间。

📌 核心要点提炼

  • •
    残差与列空间正交(Xᵀe=0)
  • •
    投影矩阵 H=X(XᵀX)⁻¹Xᵀ(帽子矩阵)

📐 数学机理与严密推导

推导:L(w)=(y−Xw)ᵀ(y−Xw)=yᵀy−2wᵀXᵀy+wᵀXᵀXw;梯度 ∇L=−2Xᵀy+2XᵀXw;置零得正规方程 XᵀXw=Xᵀy。几何解释:Xw 的所有可能取值构成 X 的列空间 C(X)(一个 p 维子空间),最小化 ‖y−Xw‖² 就是在这个子空间中找离 y 最近的点——即 y 的正交投影 ŷ=Hy,其中 H=X(XᵀX)⁻¹Xᵀ。正交性体现为残差 e=y−ŷ 与列空间垂直:Xᵀe=Xᵀ(y−Xw)=0。这也给出了勾股分解:‖y‖²=‖ŷ‖²+‖e‖²,即总平方和 = 回归平方和 + 残差平方和,这是 R²=1−SSE/SST 的几何基础。

🏭 深度剖析与工业落地权衡

三个延伸要点:① 帽子矩阵与杠杆值——H 的对角元 hᵢᵢ=∂ŷᵢ/∂yᵢ 衡量第 i 个样本的'自我影响',称为杠杆值,范围 [0,1],且 Σhᵢᵢ=p(p 为参数个数)。hᵢᵢ 接近 1 说明该点几乎决定了自身预测,是高杠杆点;若同时残差大则为强影响点(可用 Cook's distance 综合度量)。② 自由度与 R² 校正——残差自由度为 n−p,解释了为什么调整 R² 要惩罚参数个数。③ 推广——同样的投影几何适用于任何线性基(多项式、样条、核),核岭回归就是把投影搬到核诱导的特征空间(用核技巧避免显式映射)。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    认为最小二乘需要迭代求解(线性最小二乘有闭式解)
  • ✕
    忽略杠杆值,把高杠杆点的影响误读为真实关系
🎯 面试官连环追问与延伸考察
  • ?
    帽子矩阵的对角线有什么含义?(杠杆值)
  • ?
    为什么高杠杆点影响大?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-004: 岭回归为什么能缓解共线性?写出它的解。📋 返回题库下一题 →M2-006: 写出逻辑回归的模型形式与损失函数。