Offline Evaluation & OPE: 解释 OPE 的置信区间与样本量。

Core Concept: OPE 估计有方差，需报告置信区间（bootstrap/解析）；有效样本量（ESS）比原始样本量更关键。

数学机理：<strong>OPE 估计的不确定性</strong>——(1) <strong>为什么需要 CI</strong>——(a) OPE 的估计 V̂ 是<strong>随机变量</strong>（依赖历史数据的抽样）；(b) 报告'点估计'不够（可能偶然）；(c) <strong>决策需要</strong>——'新策略比旧策略好'需'差异显著'（CI 不重叠）；(d) <strong>与 A/B 的对应</strong>——A/B 报告 CI，OPE 也应报告（否则无法比较）。(2) <strong>置信区间的估计方法</strong>——(a) <strong>解析方差（analytic variance）</strong>——IPS 有已知的方差公式：Var(V̂_IPS)≈(1/n)·Var(w·r)（样本方差）；<strong>优点</strong>——快；<strong>缺点</strong>——(i) 只对'简单估计器'有效；(ii) 假设'样本独立'（序列数据不满足）。(b) <strong>Bootstrap</strong>——(a) 对历史数据<strong>重采样</strong>（有放回）多次（如 1000 次），每次算 OPE 估计；(b) 取 2.5%/97.5% 分位数作为 95% CI；(c) <strong>优点</strong>——通用（任何估计器）；<strong>缺点</strong>——(i) 计算成本（1000 次重估）；(ii) <strong>需谨慎处理'序列/分组结构'</strong>（如按用户/会话 bootstrap，而非按样本——否则低估方差）。(c) <strong>Delta 方法</strong>（近似）；(d) <strong>贝叶斯方法</strong>（后验区间）。(3) <strong>有效样本量（ESS）——比 n 更关键</strong>——ESS=(Σw)²/Σw²；(a) <strong>含义</strong>——'权重的集中度'；若所有权重相等（w=1）则 ESS=n；若少数样本占大部分权重则 ESS≪n；(b) <strong>为什么关键</strong>——(i) OPE 的方差主要来自'高权重样本'；ESS 反映'实际参与估计的样本数'；(ii) <strong>ESS ≪ n 说明估计不可靠</strong>（即使 n 很大）；(c) <strong>判据</strong>——ESS/n > 10%~20% 才较可靠；(d) <strong>报告</strong>——<strong>应同时报告 n 与 ESS</strong>（否则误导）。(4) <strong>样本量的规划</strong>——(a) 需要多大 n 才能使 CI 足够窄？(b) 依赖'权重的分布'（不是简单的 n）；(c) <strong>实用做法</strong>——(i) 先算 ESS 与 CI；(ii) 若太宽则增加数据或降低方差（截断/DR）；(d) <strong>与 A/B 的对比</strong>——OPE 的'样本效率'通常远低于 A/B（因为权重降低有效样本量）。<strong>与其他问题的关系</strong>——(a) 与'IPS 的方差'（同一主题）；(b) 与'A/B 的样本量计算'（在线指标题）；(c) 与'统计显著性'（M5 的评估题）。<strong>实践建议</strong>——(a) <strong>报告 CI</strong>（不只点估计）；(b) <strong>报告 ESS</strong>（比 n 关键）；(c) <strong>bootstrap 按'用户/会话'重采样</strong>（保持结构）；(d) <strong>用 DR/截断降方差</strong>（使 CI 更窄）；(e) <strong>与 A/B 对比验证</strong>；(f) <strong>离线只做粗筛</strong>。<strong>度量</strong>——(a) CI 宽度；(b) ESS/n；(c) 权重的最大/分位值；(d) OPE 估计 vs A/B。

深度剖析与工程权衡：① <strong>'ESS 比 n 更关键'是重要认知</strong>——n 大不代表估计可靠（权重集中时 ESS 小）；面试中能指出这一点是深度理解的标志。② <strong>'bootstrap 需保持数据结构'</strong>——按用户/会话重采样（而非按样本）；否则低估方差。③ <strong>'OPE 的样本效率远低于 A/B'</strong>——因为权重降低有效样本量；这是 OPE 的固有代价。④ <strong>'CI 是决策的基础'</strong>——'新策略更好'需 CI 不重叠。⑤ <strong>'DR/截断使 CI 更窄'</strong>——降方差的手段同时也是'提高估计精度'的手段。⑥ <strong>面试要点</strong>——被问'OPE 估计可靠吗'，应给出'<strong>CI（bootstrap/解析）+ ESS（比 n 关键）+ bootstrap 保持结构 + 用 DR/截断降方差</strong>'；能指出'ESS 比 n 关键'是深度理解的标志。