O3Medium★ DS/MLE 实验平台 · 绝对高频Part O · BA→Python 数据科学化与统计算子

CUPED 试验方差缩减与全局协方差最优系数估计

⚡闪卡盲测➔

手写实现可控实验 CUPED(Controlled-experiment Using Pre-Experiment Data),用全局最优 theta 使样本需求减少 50%+ 且保证无偏。

⏱️ 时间复杂度: O(N)
💾 空间复杂度: O(N)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def cuped_ab_evaluation(y: np.ndarray, x_pre: np.ndarray, treat: np.ndarray) -> dict:
# Estimate theta globally across pooled pre-experiment covariate to keep estimators unbiased under randomization
x_centered =
var_x = float(np.var(x_pre, ddof=1))
cov_yx = float(np.sum((y - np.mean(y)) * x_centered) / max(len(y) - 1, 1))
theta = cov_yx / var_x if var_x > 1e-12 else 0.0
y_cuped = y - theta * x_centered
mask_t = treat == 1
mask_c = treat == 0
ate_raw = float(np.mean(y[mask_t]) - np.mean(y[mask_c]))
ate_cuped = float(np.mean(y_cuped[mask_t]) - np.mean(y_cuped[mask_c]))
se_raw = float(np.sqrt(np.var(y[mask_t], ddof=1) / mask_t.sum() + np.var(y[mask_c], ddof=1) / mask_c.sum()))
se_cuped = float(np.sqrt(np.var(y_cuped[mask_t], ddof=1) / mask_t.sum() + np.var(y_cuped[mask_c], ddof=1) / mask_c.sum()))
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: CUPED 本质和强化学习里的 Policy Gradient Baseline 有什么数学共通点?
Q2: 如果分组极不均匀或有新用户无 X 数据怎么办?
下一题: 无 SQL 窗口函数手写乱序事件流 Session 切分算子 →
💡

实战一句话记忆口诀

Pooled 算 Cov/Var,扣掉历史线性偏,无偏立降方差 ρ²

📐 核心数学公式与机理推导

$$\tilde{Y}_i = Y_i - \theta(X_i - \bar{X}),\quad \theta^* = \frac{\text{Cov}(Y, X)}{\text{Var}(X)},\quad \frac{\text{Var}(\tilde{Y})}{\text{Var}(Y)} = 1 - \rho_{XY}^2$$
在随机分流前提下 E[XT]=E[XC]E[X_T] = E[X_C],线性调整量 Y~=Y−θ(X−Xˉ)\tilde{Y} = Y - \theta(X - \bar{X}) 对 ATE 期望完全无偏;其方差在 θ∗=Cov(Y,X)Var(X)\theta^* = \frac{\text{Cov}(Y, X)}{\text{Var}(X)} 时达到全局极小,方差相对缩小率为 ρXY2\rho_{XY}^2,等价于无需多等即可白白放大 1/(1−ρ2)1/(1-\rho^2) 倍实验流量。

🔄 张量维度与形状流转说明

y, x_pre, treat: (N_users,) -> variance-reduced SE & ATE scalars

🛡️ 数值稳定性自检与边界要点

  • 必须使用实验曝光前的历史协变量 X_pre,绝对不能用曝光后可能受干预污染的变量
  • theta 应在 Treatment 与 Control 合并池(pooled)上估计以防止样本均值泄露偏差
  • 新用户缺失历史 X_pre 时需赋全局均值或分组单独回归,避免空值丢行导致选择偏差

💻 完整参考代码实现

import numpy as np

def cuped_ab_evaluation(y: np.ndarray, x_pre: np.ndarray, treat: np.ndarray) -> dict:
    # Estimate theta globally across pooled pre-experiment covariate to keep estimators unbiased under randomization
    x_centered = x_pre - np.mean(x_pre)
    var_x = float(np.var(x_pre, ddof=1))
    cov_yx = float(np.sum((y - np.mean(y)) * x_centered) / max(len(y) - 1, 1))
    theta = cov_yx / var_x if var_x > 1e-12 else 0.0
    y_cuped = y - theta * x_centered
    mask_t = treat == 1
    mask_c = treat == 0
    ate_raw = float(np.mean(y[mask_t]) - np.mean(y[mask_c]))
    ate_cuped = float(np.mean(y_cuped[mask_t]) - np.mean(y_cuped[mask_c]))
    se_raw = float(np.sqrt(np.var(y[mask_t], ddof=1) / mask_t.sum() + np.var(y[mask_c], ddof=1) / mask_c.sum()))
    se_cuped = float(np.sqrt(np.var(y_cuped[mask_t], ddof=1) / mask_t.sum() + np.var(y_cuped[mask_c], ddof=1) / mask_c.sum()))
    return {"theta": theta, "ate_raw": ate_raw, "ate_cuped": ate_cuped, "se_raw": se_raw, "se_cuped": se_cuped, "var_reduction_pct": 100.0 * (1.0 - (se_cuped / max(se_raw, 1e-12)) ** 2)}

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

rng = np.random.default_rng(7)
n = 2000
x = rng.normal(50, 10, n)
treat = rng.integers(0, 2, n)
y = 0.85 * x + 2.0 * treat + rng.normal(0, 3.0, n)
res = cuped_ab_evaluation(y, x, treat)
assert res['var_reduction_pct'] > 70.0
assert res['se_cuped'] < 0.5 * res['se_raw']
print('O3 PASS')

🎯 核心工程追问与标准应答

Q1:CUPED 本质和强化学习里的 Policy Gradient Baseline 有什么数学共通点?
二者都是 Control Variate(控制变量法)降方差:在 RL 中从回报减去与动作无关的基准 V(s)V(s),等价于随机实验中减去由前序状态 XX 解释掉的部分;因 E[baseline]=0E[\text{baseline}]=0(或两端同分布),梯度与 ATE 均保持严格无偏。
Q2:如果分组极不均匀或有新用户无 X 数据怎么办?
可按是否有历史值拆分 strata 各自估计 theta,或对新用户统一填充全局 Xˉ\bar{X}(等价于对该子群体 Y~=Y\tilde{Y}=Y),保证整盘分布无偏。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: 辛普森悖论检测与 Kitagawa 漏斗拆因(Rate vs Mix Effect)返回 Part O 与全部 105 题下一题: 无 SQL 窗口函数手写乱序事件流 Session 切分算子 →