Offline Evaluation & OPE: 解释 OPE 中的权重截断与自归一化。

Core Concept: 权重截断把 w 限制在 [0,M]（降方差、引入偏差）；自归一化用 Σw 归一（有界、对缩放不敏感）。

数学机理：<strong>权重截断（weight clipping / capping）</strong>——(1) <strong>做法</strong>——把权重 w=π_new/π_old 限制在 [0, M]（如 M=10）：w←min(w, M)。(2) <strong>效果</strong>——(a) <strong>降方差</strong>（极端权重被压制）；(b) <strong>引入偏差</strong>（因为 w 被截断 → 估计不再无偏）；(c) <strong>权衡</strong>——M 小 → 偏差大、方差小；M 大 → 偏差小、方差大；<strong>这是经典的偏差-方差权衡</strong>。(3) <strong>M 的选择</strong>——(a) <strong>经验值</strong>（M=5~20）；(b) <strong>按分位数</strong>（如把 w 截断到 99 分位）；(c) <strong>按 ESS</strong>（调到 ESS 可接受）；(d) <strong>交叉验证</strong>（用'估计 vs A/B'的偏差选 M）；(e) <strong>自适应</strong>（按数据调整）。(4) <strong>注意</strong>——截断后'估计有偏'，但'方差大幅降低'；实践中'有偏但稳'常优于'无偏但炸'。<strong>自归一化（Self-Normalized IPS，SNIPS）</strong>——(1) <strong>做法</strong>——用'权重之和'归一：V̂_SNIPS=Σ(w_i·r_i)/Σ(w_i)。(2) <strong>为什么</strong>——(a) <strong>有界</strong>——因为分子分母都是'加权平均'，结果落在 [min r, max r] 内（不会爆炸）；(b) <strong>对'权重整体缩放'不敏感</strong>——若所有 w 乘以常数 c，SNIPS 不变（因为分子分母都乘 c）；(c) <strong>方差更低</strong>——实证上 SNIPS 的方差显著低于 IPS；(d) <strong>轻微偏差</strong>——SNIPS 是'有偏但一致'（大样本下收敛到真值）。(3) <strong>直觉</strong>——SNIPS 相当于'用加权平均替代加权和'（类似'加权版本的均值'）；故更稳。<strong>两者组合</strong>——(a) <strong>先截断再 SNIPS</strong>（最常用的组合）：(i) 截断压制极端权重；(ii) SNIPS 保证有界；(b) <strong>效果</strong>——方差大幅降低、偏差可控。<strong>其他降方差技术</strong>——(a) <strong>Shrinkage</strong>（把 w 向 1 收缩：w'=α·w+(1−α)·1）；(b) <strong>DR</strong>（用模型作基线）；(c) <strong>分层/分桶</strong>（按倾向分层估计）；(d) <strong>降低有效动作空间</strong>（只在'π_old 有正概率'的动作上评估）；(e) <strong>多个估计器平均</strong>。<strong>与其他问题的关系</strong>——(a) 与'IPS 的方差问题'（同一主题）；(b) 与'DR'（DR 也用截断）；(c) 与'偏差-方差权衡'（通用概念）。<strong>实践建议</strong>——(a) <strong>必做截断</strong>（M=5~20）；(b) <strong>用 SNIPS</strong>（比 IPS 稳）；(c) <strong>两者组合</strong>（截断 + SNIPS）；(d) <strong>监控 ESS 与最大权重</strong>；(e) <strong>用'估计 vs A/B'验证</strong>（调 M）；(f) <strong>优先 DR</strong>（更低的方差）。<strong>度量</strong>——(a) 估计偏差（vs A/B）；(b) 方差；(c) ESS；(d) 最大/分位权重；(e) M 的敏感度。

深度剖析与工程权衡：① <strong>'截断是有偏但稳'</strong>——实践中'有偏但稳'常优于'无偏但炸'；面试中能指出这一权衡是深度理解的标志。② <strong>'SNIPS 有界且对缩放不敏感'</strong>——这是它比 IPS 稳的原因。③ <strong>'截断 + SNIPS 是最常用组合'</strong>——两者互补（截断压极端、SNIPS 保证有界）。④ <strong>'M 的选择需用估计 vs A/B 验证'</strong>——不能只看方差。⑤ <strong>'ESS 是实用诊断'</strong>——ESS 低说明估计不可靠（即使方差看起来小）。⑥ <strong>面试要点</strong>——被问'权重太大怎么办'，应给出'<strong>截断（有偏但稳）+ SNIPS（有界、对缩放不敏感）+ 两者组合 + 用估计 vs A/B 调 M</strong>'；能指出'ESS 诊断'是深度理解的标志。