M1-074M1: 数学与统计基础估计理论 (MLE/MAP)Medium
⚡闪卡盲测➔掌握度:

解释 Fisher 信息量与 Cramér-Rao 下界。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M1-075 →
📐 核心数学机理公式
I(θ)=E[(∂log⁡p∂θ)2]=−E[∂2log⁡p∂θ2],Var(θ^)≥1nI(θ)I(\theta)=\mathbb E\Big[\Big(\frac{\partial\log p}{\partial\theta}\Big)^2\Big]=-\mathbb E\Big[\frac{\partial^2\log p}{\partial\theta^2}\Big],\qquad \mathrm{Var}(\hat\theta)\ge\frac{1}{nI(\theta)}
⚡ 一句话直击要害答案
Fisher 信息是对数似然关于参数的曲率(二阶导期望);CRB 给出无偏估计方差的下界。

📌 核心要点提炼

  • •
    Fisher 信息可加(独立样本相加)
  • •
    达到 CRB 的估计量称为有效估计量(MLE 渐近有效)

📐 数学机理与严密推导

Fisher 信息量的两种等价定义:① 得分函数平方的期望 I(θ)=E[(∂log p/∂θ)²];② 对数似然二阶导的负期望 I(θ)=−E[∂²log p/∂θ²]。第二种形式给出直观解释:Fisher 信息是对数似然在真值附近的曲率——曲率越大(似然越尖锐),参数越容易被数据确定,信息量越大。可加性:对独立样本,I_n(θ)=n·I(θ)(信息相加),这直接导致标准误 ∝1/√n。Cramér-Rao 下界(CRB):对任何无偏估计量,Var(θ̂)≥1/(nI(θ))。它是无偏估计方差的理论下界,达到它的估计量称为有效估计量(efficient)。MLE 在正则条件下渐近达到 CRB(渐近有效),这是 MLE 最优性的核心依据。

🏭 深度剖析与工业落地权衡

实践应用:① 标准误与置信区间——渐近地 Var(θ̂_MLE)≈1/(nI(θ̂)),故标准误可用观测信息矩阵(海森的负逆)估计:SE=√[(−H)⁻¹]ᵢᵢ;这是逻辑回归、GLM、混合模型输出标准误的标准做法(statsmodels 即此)。② 实验设计的指导——Fisher 信息给出'哪种实验设计能最大化参数信息'的判据:D-最优设计最大化 det(I(θ))、A-最优最小化 tr(I⁻¹),这是最优实验设计的理论基础。③ 与海森矩阵的关系——在 MLE 处,观测信息 −H(θ̂) 与 Fisher 信息 I(θ̂) 在大样本下趋于一致;故'海森 = 信息',这解释了为什么牛顿法(用海森)在统计上与 Fisher 得分法(IRLS)一致。④ 与 KL 散度的关系——两个邻近分布的 KL 散度局部近似为 ½·ΔθᵀI(θ)Δθ,即 Fisher 信息是统计流形上的度量张量(Riemannian metric),这是信息几何的基础,也用于自然梯度(用 I⁻¹ 调整梯度方向,实现参数空间的'最速下降')。⑤ 局限——CRB 只适用于无偏估计;有偏估计(如岭回归、收缩估计)可以突破 CRB(用偏差换方差)。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    把 CRB 当作所有估计量的下界(只适用于无偏估计)
  • ✕
    忽略 Fisher 信息的可加性(导致对 √n 规律的困惑)
🎯 面试官连环追问与延伸考察
  • ?
    Fisher 信息与海森矩阵的关系?
  • ?
    哪些估计量能达到 CRB?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M1-073: 解释 FP32 主权重(master weights)与它在混合精度训练中的作用是什么。📋 返回题库下一题 →M1-075: 什么是收缩估计(shrinkage)与 James-Stein 现象?