点估计 MLE/矩估计

点估计 (Point Estimation) 用样本构造单个参数值: 极大似然估计 (MLE) 选取使观测数据出现概率最大的参数, $\hat{\theta} = \arg\max_{\theta} \prod_{i=1}^{n} p(x_i \mid \theta)$;因对数单调, 实际是最大化对数似然 $\ell(\theta) = \sum_i \log p(x_i \mid \theta)$ 并求导置零。

几乎所有参数模型的求解入口——正态参数、逻辑回归、混合模型 (EM 的 M 步);面试常考正态均值的 MLE 推导、Fisher 信息量与 CRLB、MLE 与矩估计 (MoM) 的对比。

相比矩估计只匹配前 $k$ 阶样本矩 (小样本有偏、可能低效), MLE 在正则条件下渐近无偏、一致且渐近有效, 方差达到信息论下界:

$\text{Var}(\hat{\theta}) \ge \frac{1}{I(\theta)}$ (Cramér–Rao 下界), 其中 $I(\theta) = -\mathbb{E}[\frac{\partial^2}{\partial \theta^2} \log L(\theta)]$ 为 Fisher 信息量;代价是小样本可能有偏 (如 $\hat{\sigma}^2$ 需用 $n-1$ 校正) 且需要数值优化。

写出 MLE 的定义式, 并推导正态分布均值的 MLE。

为什么 MLE 通常取对数似然再求导?是否改变最优解?

Cramér–Rao 下界 $\text{Var}(\hat{\theta}) \ge 1/I(\theta)$ 的含义与 Fisher 信息量的定义?

MLE 与矩估计 (MoM) 的区别及各自的优缺点?

MLE 的大样本性质(一致性、渐近正态、渐近有效)是什么?