M2-092M2: 经典机器学习线性回归Medium
⚡闪卡盲测➔掌握度:

解释加权最小二乘(WLS)与它处理异方差的方式

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-093 →
📐 核心数学机理公式
min⁡w∑iωi (yi−xi⊤w)2,w^WLS=(X⊤WX)−1X⊤Wy\min_w\sum_i \omega_i\,(y_i-x_i^\top w)^2,\qquad \hat w_{WLS}=(X^\top WX)^{-1}X^\top Wy
⚡ 一句话直击要害答案
给每个样本乘权重再最小化加权残差平方和;权重取方差的倒数时达到最小方差。

📌 核心要点提炼

  • •
    权重 ωᵢ 通常取 1/σᵢ²(方差倒数)
  • •
    异方差下 OLS 仍无偏但非有效

📐 数学机理与严密推导

问题的背景:OLS 假设同方差(Var(εᵢ)=σ²),若违反则 OLS 仍无偏但不再有效(不是 BLUE),且标准误公式失效。WLS 的做法:对每个样本赋予权重 ωᵢ,最小化 Σωᵢ(yᵢ−xᵢᵀw)²,解为 ŵ_WLS=(XᵀWX)⁻¹XᵀWy。最优权重的推导:由广义最小二乘(GLS)理论,当 Var(ε)=σ²W⁻¹ 时最优权重 ωᵢ=1/σᵢ²——即方差越大的观测权重越小(因为它携带的信息更少)。这符合直觉:噪声大的观测应被'打折'。加权后的估计量达到 Cramér-Rao 下界(在已知方差结构的条件下有效)。实践中的两阶段法:σᵢ² 通常未知,可用 (a) 用 OLS 残差建模方差(如假设 Var(εᵢ)∝xᵢ 或 ∝xᵢ²,用残差平方回归估计);(b) 迭代重加权最小二乘(IRLS)。

🏭 深度剖析与工业落地权衡

实践要点与对比:① WLS vs 稳健标准误——两者解决不同问题:WLS 改变点估计(更有效),稳健标准误(Huber-White)只修正推断(不改变点估计);若只关心正确的 p 值与置信区间,稳健标准误更简单(无需建模方差结构);若关心估计效率(小样本下方差更小),WLS 更好。② 权重结构的假设——WLS 的收益依赖权重正确;若权重误设,反而可能比 OLS 更差。常见假设:分组数据的组方差 ∝1/组大小、泊松数据的方差 ∝均值(此时 WLS 等价于 Poisson 回归的 IRLS)。③ 与 GLM 的关系——WLS 是 GLM 的一个特例(Gaussian 分布 + identity 链接 + 已知方差结构);GLM 的 IRLS 算法每步就是一次 WLS。④ 应用场景——实验数据中不同测量的精度不同(如仪器精度)、聚合数据的组大小不同(组均值回归时权重 ∝ 组大小)、异方差明显的数据。⑤ 陷阱——用估计的权重后,标准误需调整(否则低估);且权重不能为 0 或负(会丢弃/翻转样本)。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    异方差下只用 OLS 点估计而不修正推断
  • ✕
    权重误设时仍认为 WLS 必然优于 OLS
🎯 面试官连环追问与延伸考察
  • ?
    如何估计 σᵢ²?(残差平方的两阶段法)
  • ?
    WLS 与稳健标准误的取舍?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-091: 在神经网络中如何评估特征重要性?与树模型的方法有何不同?📋 返回题库下一题 →M2-093: 解释回归中的交互项与多项式项,以及如何避免过拟合