O3Medium★ DS/MLE 实验平台 · 绝对高频Part O · BA→Python 数据科学化与统计算子
CUPED 试验方差缩减与全局协方差最优系数估计
手写实现可控实验 CUPED(Controlled-experiment Using Pre-Experiment Data),用全局最优 theta 使样本需求减少 50%+ 且保证无偏。
⏱️ 时间复杂度:
O(N)💾 空间复杂度:
O(N)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def cuped_ab_evaluation(y: np.ndarray, x_pre: np.ndarray, treat: np.ndarray) -> dict:
# Estimate theta globally across pooled pre-experiment covariate to keep estimators unbiased under randomization
x_centered =
var_x = float(np.var(x_pre, ddof=1))
cov_yx = float(np.sum((y - np.mean(y)) * x_centered) / max(len(y) - 1, 1))
theta = cov_yx / var_x if var_x > 1e-12 else 0.0
y_cuped = y - theta * x_centered
mask_t = treat == 1
mask_c = treat == 0
ate_raw = float(np.mean(y[mask_t]) - np.mean(y[mask_c]))
ate_cuped = float(np.mean(y_cuped[mask_t]) - np.mean(y_cuped[mask_c]))
se_raw = float(np.sqrt(np.var(y[mask_t], ddof=1) / mask_t.sum() + np.var(y[mask_c], ddof=1) / mask_c.sum()))
se_cuped = float(np.sqrt(np.var(y_cuped[mask_t], ddof=1) / mask_t.sum() + np.var(y_cuped[mask_c], ddof=1) / mask_c.sum()))
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: CUPED 本质和强化学习里的 Policy Gradient Baseline 有什么数学共通点?
Q2: 如果分组极不均匀或有新用户无 X 数据怎么办?
💡
实战一句话记忆口诀
Pooled 算 Cov/Var,扣掉历史线性偏,无偏立降方差 ρ²
📐 核心数学公式与机理推导
$$\tilde{Y}_i = Y_i - \theta(X_i - \bar{X}),\quad \theta^* = \frac{\text{Cov}(Y, X)}{\text{Var}(X)},\quad \frac{\text{Var}(\tilde{Y})}{\text{Var}(Y)} = 1 - \rho_{XY}^2$$
在随机分流前提下 ,线性调整量 对 ATE 期望完全无偏;其方差在 时达到全局极小,方差相对缩小率为 ,等价于无需多等即可白白放大 倍实验流量。
🔄 张量维度与形状流转说明
y, x_pre, treat: (N_users,) -> variance-reduced SE & ATE scalars
🛡️ 数值稳定性自检与边界要点
- 必须使用实验曝光前的历史协变量 X_pre,绝对不能用曝光后可能受干预污染的变量
- theta 应在 Treatment 与 Control 合并池(pooled)上估计以防止样本均值泄露偏差
- 新用户缺失历史 X_pre 时需赋全局均值或分组单独回归,避免空值丢行导致选择偏差
💻 完整参考代码实现
import numpy as np
def cuped_ab_evaluation(y: np.ndarray, x_pre: np.ndarray, treat: np.ndarray) -> dict:
# Estimate theta globally across pooled pre-experiment covariate to keep estimators unbiased under randomization
x_centered = x_pre - np.mean(x_pre)
var_x = float(np.var(x_pre, ddof=1))
cov_yx = float(np.sum((y - np.mean(y)) * x_centered) / max(len(y) - 1, 1))
theta = cov_yx / var_x if var_x > 1e-12 else 0.0
y_cuped = y - theta * x_centered
mask_t = treat == 1
mask_c = treat == 0
ate_raw = float(np.mean(y[mask_t]) - np.mean(y[mask_c]))
ate_cuped = float(np.mean(y_cuped[mask_t]) - np.mean(y_cuped[mask_c]))
se_raw = float(np.sqrt(np.var(y[mask_t], ddof=1) / mask_t.sum() + np.var(y[mask_c], ddof=1) / mask_c.sum()))
se_cuped = float(np.sqrt(np.var(y_cuped[mask_t], ddof=1) / mask_t.sum() + np.var(y_cuped[mask_c], ddof=1) / mask_c.sum()))
return {"theta": theta, "ate_raw": ate_raw, "ate_cuped": ate_cuped, "se_raw": se_raw, "se_cuped": se_cuped, "var_reduction_pct": 100.0 * (1.0 - (se_cuped / max(se_raw, 1e-12)) ** 2)}🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
rng = np.random.default_rng(7)
n = 2000
x = rng.normal(50, 10, n)
treat = rng.integers(0, 2, n)
y = 0.85 * x + 2.0 * treat + rng.normal(0, 3.0, n)
res = cuped_ab_evaluation(y, x, treat)
assert res['var_reduction_pct'] > 70.0
assert res['se_cuped'] < 0.5 * res['se_raw']
print('O3 PASS')🎯 核心工程追问与标准应答
Q1:CUPED 本质和强化学习里的 Policy Gradient Baseline 有什么数学共通点?
二者都是 Control Variate(控制变量法)降方差:在 RL 中从回报减去与动作无关的基准 ,等价于随机实验中减去由前序状态 解释掉的部分;因 (或两端同分布),梯度与 ATE 均保持严格无偏。
Q2:如果分组极不均匀或有新用户无 X 数据怎么办?
可按是否有历史值拆分 strata 各自估计 theta,或对新用户统一填充全局 (等价于对该子群体 ),保证整盘分布无偏。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!