Bootstrap

Bootstrap (自助法) 用有放回重采样估计统计量 $\hat\theta = g(x_1, \dots, x_n)$ 的抽样分布:独立重复 $B$ 次,每次从原始 $n$ 个观测中有放回抽取 $n$ 个,并算出对应的 $\hat\theta^{*b}$($b = 1, \dots, B$),用这 $B$ 个重采样估计的经验分布近似 $\hat\theta$ 的分布。方差与标准误估计:

百分位区间取重采样分布的分位数 $\bigl[\hat\theta^{*}_{(\alpha/2)},\; \hat\theta^{*}_{(1-\alpha/2)}\bigr]$。统计依据:把样本经验分布 $\hat F_n$ 当作真实分布 $F$ 的近似,重采样即在 $\hat F_n$ 上“重复实验”。

中位数、相关系数等无解析标准误的统计量,小样本置信区间,以及模型评估指标(如 AUC、RMSE)的不确定性估计;面试常考“bootstrap 为什么有效”与 CLT 的关系。

解析标准误依赖 CLT 与大样本、要求统计量可微,bootstrap 对任意统计量、任意分布(只需 i.i.d.)给出近似抽样分布,实现仅需 $O(B n)$ 次重采样运算;局限是重采样集不引入样本外信息,对相关数据(时间序列)失效,需用 block bootstrap 等变体。

bootstrap 重采样估计 $\mathrm{Var}(\hat\theta)$ 的完整步骤与公式?为什么说它是“用经验分布近似真实分布”?

百分位置信区间如何构造?与正态近似区间 $\hat\theta \pm z_{\alpha/2} \widehat{\mathrm{SE}}$ 有何区别?

bootstrap 与 CLT 的关系:何时两者等价?bootstrap 何时更优?

参数化 bootstrap 与非参数 bootstrap 的区别?

bootstrap 的假设与失效场景(独立性、重采样集的信息上限、时间序列)?