点估计 MLE/矩估计

点估计 (Point Estimation) 用样本构造单个参数值: 极大似然估计 (MLE) 选取使观测数据出现概率最大的参数, $\hat{\theta} = \arg\max_{\theta} \prod_{i=1}^{n} p(x_i \mid \theta)$;因对数单调, 实际是最大化对数似然 $\ell(\theta) = \sum_i \log p(x_i \mid \theta)$ 并求导置零。

几乎所有参数模型的求解入口——正态参数、逻辑回归、混合模型 (EM 的 M 步);面试常考正态均值的 MLE 推导、Fisher 信息量与 CRLB、MLE 与矩估计 (MoM) 的对比。

相比矩估计只匹配前 $k$ 阶样本矩 (小样本有偏、可能低效), MLE 在正则条件下渐近无偏、一致且渐近有效, 方差达到信息论下界:

$\text{Var}(\hat{\theta}) \ge \frac{1}{I(\theta)}$ (Cramér–Rao 下界), 其中 $I(\theta) = -\mathbb{E}[\frac{\partial^2}{\partial \theta^2} \log L(\theta)]$ 为 Fisher 信息量;代价是小样本可能有偏 (如 $\hat{\sigma}^2$ 需用 $n-1$ 校正) 且需要数值优化。

检验攻克程度：针对「点估计 MLE/矩估计」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。