实验设计 (A/B): 解释分层随机化与它何时必要。

Core Concept: 在已知的重要协变量层内独立随机化，保证各层内处理/对照平衡；小样本或强预测协变量时必要。

分层随机化的做法：按一个或多个<strong>实验前</strong>协变量（如地区、设备类型、用户活跃度分位）把样本划分为若干<strong>层（stratum）</strong>，在每层内<strong>独立</strong>进行随机化（保证各层内处理/对照比例符合预期）。<strong>为什么有效</strong>：① <strong>保证平衡</strong>——若某协变量与指标强相关，完全随机化在小样本下可能产生组间不平衡（如处理组恰好包含更多高活跃用户），分层消除了这种风险；② <strong>降低方差</strong>——分层估计量 = Σ(层权重 × 层内效应)，其方差 ≤ 完全随机化的方差（因为消除了层间差异的贡献），这与 CUPED 的目标一致（都是用协变量降方差）。<strong>何时必要</strong>：① <strong>样本量小</strong>——随机化本身无法保证平衡时；② <strong>协变量与指标强相关</strong>——不平衡会显著偏倚结果；③ <strong>需要按层分析</strong>——如关心不同地区的效应（分层保证每层都有足够样本）；④ <strong>分层是业务流程要求</strong>——如按地区分批上线。

实践要点：① <strong>分层 vs 后分层（Post-stratification）</strong>——分层在<strong>随机化时</strong>使用协变量（需在实验前可知）；后分层在<strong>分析时</strong>按协变量加权调整（可用于实验后才获得的协变量，如用户历史行为）；两者都能降方差，后分层更灵活但需保证各层有足够样本。② <strong>分层 vs CUPED</strong>——两者都降方差但机制不同：分层用于<strong>离散</strong>协变量（层内完全平衡），CUPED 用于<strong>连续</strong>协变量（回归调整）；实践中可<strong>叠加</strong>（先分层再 CUPED）。③ <strong>层数的权衡</strong>——层数多则每层样本少（随机化不平衡风险再现）、分析复杂；通常 2–5 个分层变量、每层至少数百样本。④ <strong>分层的正确性</strong>——分层变量必须是<strong>实验前</strong>确定的（不能被处理影响），否则会引入偏差；常见错误是用'实验期行为'分层。⑤ <strong>分析</strong>——分层实验应用<strong>分层估计量</strong>（层内效应按层权重加权），而非简单合并所有样本（后者会引入 Simpson 悖论风险）；也可用带层固定效应的回归。⑥ <strong>与分组随机化的区别</strong>——分层是对<strong>个体</strong>按协变量分组后随机化；集群随机化是对<strong>整组</strong>随机化（处理干扰）；两者常结合（分层集群随机化）。