M1-036M1: 数学与统计基础估计理论 (MLE/MAP)Easy
⚡闪卡盲测➔掌握度:
定义最大似然估计(MLE),并给出一个完整例子。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
MLE 选择让观测数据出现概率最大的参数;对高斯似然求导即得样本均值与方差。
📌 核心要点提炼
- •似然不是概率(对参数不归一化)
- •MLE 在小样本下可能过拟合(如方差估计有偏)
📐 数学机理与严密推导
MLE 的构造:写出似然 L(θ)=Πᵢp(xᵢ|θ),取对数把乘积变求和 ℓ(θ)=Σᵢlog p(xᵢ|θ),再对 θ 求导置零。完整例子(高斯):ℓ(μ,σ²)=−n/2·log(2πσ²)−(1/2σ²)Σ(xᵢ−μ)²;对 μ 求导得 μ̂=(1/n)Σxᵢ(样本均值);对 σ² 求导得 σ̂²=(1/n)Σ(xᵢ−μ̂)²(注意分母是 n 而非 n−1,故是有偏估计)。另一例子(Bernoulli):ℓ(p)=k log p+(n−k)log(1−p),求导得 p̂=k/n,即样本频率。MLE 的关键性质是参数化不变性——若 θ̂ 是 θ 的 MLE,则 g(θ̂) 是 g(θ) 的 MLE(对任意函数 g),这使其应用极广。
🏭 深度剖析与工业落地权衡
三个必须掌握的要点:① 似然不是概率——L(θ) 对 θ 不归一化(∫L(θ)dθ 通常不为 1),只有作为 θ 的函数才有意义;② MLE 的偏差——高斯方差估计 (1/n)Σ(xᵢ−μ̂)² 的期望是 (n−1)/n·σ²,故系统性低估,这就是 Bessel 校正(除以 n−1)的来源;在小样本下偏差显著,n→∞ 时消失(渐近无偏);③ MLE 的渐近性质——在正则条件下,√n(θ̂−θ)→N(0, I(θ)⁻¹)(I 为 Fisher 信息矩阵),即渐近正态且达到 Cramér-Rao 下界(渐近有效)。这使我们可以用 Fisher 信息构造置信区间,也是很多统计检验的理论基础。实践中 MLE 的失效情形包括:参数在边界(如方差为 0)、模型不可辨识(GMM 的标签置换)、完全分离(逻辑回归中可分数据导致系数发散)。
⚠️ 常见面试陷阱与高频失分点
- ✕把似然当概率使用
- ✕忽略小样本下 MLE 的偏差(方差估计需 Bessel 校正)
🎯 面试官连环追问与延伸考察
- ?MLE 的一致性需要什么条件?
- ?为什么 MLE 的方差估计要除以 n-1?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
📚