Offline Evaluation & OPE: 解释 Doubly Robust 估计与它的双重稳健性。

Core Concept: DR = 直接方法（模型预测）+ IPS 修正；模型或倾向之一正确即可无偏（双重稳健），且方差通常更低。

数学机理：<strong>DR（Doubly Robust）</strong> 的结构——(1) <strong>两项</strong>——(a) <strong>直接方法项（DM）</strong>——用<strong>模型</strong> r̂(x,a) 预测'新策略下的期望奖励'：r̂(x,π_new)=Σ_a π_new(a|x)·r̂(x,a)（把模型预测按新策略加权）；(b) <strong>IPS 修正项</strong>——用倾向加权'<strong>模型预测的残差</strong>'：(π_new/π_old)·(r_i − r̂(x_i,a_i))。(2) <strong>直觉</strong>——(a) 若模型<strong>准确</strong>（r̂≈r），则残差 ≈0 → IPS 修正项 ≈0 → 估计 ≈ 模型预测（准确）；(b) 若模型<strong>不准</strong>，则 IPS 修正项'纠正'模型的偏差（用真实奖励的残差）；(c) 故'模型好则用模型、模型差则用 IPS 纠正'。(3) <strong>双重稳健性（double robustness）</strong> 的准确含义——<strong>若'模型 r̂ 正确'或'倾向 π_old 正确'其中之一成立</strong>，则 DR 估计是<strong>无偏</strong>的；<strong>注意</strong>——(a) 不是'两者都错也无偏'（那是误解）；(b) 是'只要一个对就无偏'（比'只用 DM'（需模型对）或'只用 IPS'（需倾向对）更稳健）；(c) <strong>实务意义</strong>——'模型'与'倾向'都可能有误差；DR 提供'双保险'。(4) <strong>方差优势</strong>——(a) 当模型准确时，残差小 → 修正项的方差小 → <strong>总方差远低于纯 IPS</strong>；(b) <strong>原因</strong>——模型'解释'了大部分奖励的变异（作为基线），IPS 只需处理'残差'（变异小）；(c) <strong>实证</strong>——DR 的方差通常显著低于 IPS（尤其倾向小、奖励变异大时）。(5) <strong>变体</strong>——(a) <strong>DR with SNIPS</strong>（自归一化版本，更稳）；(b) <strong>Switch-DR</strong>（根据倾向大小在 DM 与 IPS 间切换）；(c) <strong>MRDR</strong>（更鲁棒的变体）；(d) <strong>连续动作的 DR</strong>。<strong>与其他方法的关系</strong>——(a) <strong>DM（直接方法）</strong>——只用模型（方差小但'模型错则偏差大'）；(b) <strong>IPS</strong>——只用倾向（无偏但方差大）；(c) <strong>DR</strong>——两者结合（互补）；(d) <strong>DR 是当前 OPE 的主流方法</strong>（在多数基准上表现最好）。<strong>实践建议</strong>——(a) <strong>优先用 DR</strong>（比 IPS 方差低、比 DM 偏差小）；(b) <strong>用 SNIPS 变体</strong>（更稳）；(c) <strong>权重截断</strong>（进一步降方差）；(d) <strong>模型与倾向都要训练</strong>（两个组件）；(e) <strong>监控</strong>（估计 vs 在线 A/B 的偏差）；(f) <strong>离线只做粗筛</strong>。<strong>度量</strong>——(a) 估计偏差（vs A/B）；(b) 方差（多次重复的估计波动）；(c) 与 IPS/DM 的对比；(d) 有效样本量。

深度剖析与工程权衡：① <strong>'双重稳健 = 一个对就无偏'是关键</strong>——不是'都错也无偏'（常见误解）；面试中能准确表述是深度理解的标志。② <strong>'方差优势来自模型作为基线'</strong>——模型解释大部分变异、IPS 只处理残差。③ <strong>'DR 是当前主流'</strong>——在多数 OPE 基准上表现最好。④ <strong>'两个组件都要训练'</strong>——模型 + 倾向；这是成本（但值得）。⑤ <strong>'权重截断仍需要'</strong>——DR 也可能有极端权重；故仍需截断。⑥ <strong>面试要点</strong>——被问'DR 是什么'，应写出<strong>两项（DM + IPS 残差修正）</strong>并解释'<strong>模型或倾向之一正确即无偏</strong>'与'<strong>方差优势（模型作基线）</strong>'；能准确区分'双重稳健'与'都错也无偏'是深度理解的标志。