O2Medium★ Product Sense / Metric Drop · 核心必考Part O · BA→Python 数据科学化与统计算子

辛普森悖论检测与 Kitagawa 漏斗拆因(Rate vs Mix Effect)

⚡闪卡盲测➔

实现北极星指标大盘异动的对称 Kitagawa 分解,精确分离「各细分转化率变化」与「流量结构 Mix-Shift 漂移」并捕获辛普森悖论。

⏱️ 时间复杂度: O(K)
💾 空间复杂度: O(K)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def kitagawa_blinder_decomposition(conv_a: np.ndarray, total_a: np.ndarray, conv_b: np.ndarray, total_b: np.ndarray) -> dict:
n_a, n_b = float(total_a.sum()), float(total_b.sum())
w_a, w_b = total_a / max(n_a, 1e-12), total_b / max(n_b, 1e-12)
p_a =
p_b = np.where(total_b > 0, conv_b / total_b, 0.0)
total_diff = float(conv_b.sum() / n_b - conv_a.sum() / n_a)
rate_effect = float(np.sum(0.5 * (w_a + w_b) * (p_b - p_a)))
mix_effect = float(np.sum((w_b - w_a) * 0.5 * (p_a + p_b)))
paradox =
return {"total_diff": total_diff, "rate_effect": rate_effect, "mix_effect": mix_effect, "simpsons_paradox": paradox}
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 业务发现大盘转化跌了 5%,但 iOS 和 Android 转化都在涨,怎么用一句数学语言向 VP 解释?
Q2: 如果有成百上千个维度组合怎么避免多重切片看花眼?
下一题: CUPED 试验方差缩减与全局协方差最优系数估计 →
💡

实战一句话记忆口诀

均值权重算 Rate,均值转化算 Mix,对称相加零残差

📐 核心数学公式与机理推导

$$\Delta R_{\text{total}} = \sum_k \bar{w}_k (p_{B,k} - p_{A,k}) + \sum_k \Delta w_k \left(\frac{p_{A,k}+p_{B,k}}{2}\right)$$
总体指标变化 ΔR=∑kwB,kpB,k−∑kwA,kpA,k\Delta R = \sum_k w_{B,k} p_{B,k} - \sum_k w_{A,k} p_{A,k}。利用对称恒等式拆解为两组完全相加项:核心组内转化效应 Rate=∑wA,k+wB,k2(pB,k−pA,k)\text{Rate} = \sum \frac{w_{A,k}+w_{B,k}}{2}(p_{B,k}-p_{A,k}) 与流量占比结构效应 Mix=∑(wB,k−wA,k)pA,k+pB,k2\text{Mix} = \sum (w_{B,k}-w_{A,k})\frac{p_{A,k}+p_{B,k}}{2},二者之和严格等于 ΔR\Delta R 且无需指定基准期先后顺序。

🔄 张量维度与形状流转说明

conv_a/b, total_a/b: (K segments,) -> exact additive decomposition scalars

🛡️ 数值稳定性自检与边界要点

  • 校验 rate_effect + mix_effect 与 total_diff 残差小于 1e-9 确保无拆因漏项
  • 使用对称平均权重 0.5*(w_a+w_b) 避免经典 Oaxaca 分解的方向依赖残差
  • 检测每个细分组同向变化与总盘趋势相反时的辛普森悖论标志

💻 完整参考代码实现

import numpy as np

def kitagawa_blinder_decomposition(conv_a: np.ndarray, total_a: np.ndarray, conv_b: np.ndarray, total_b: np.ndarray) -> dict:
    n_a, n_b = float(total_a.sum()), float(total_b.sum())
    w_a, w_b = total_a / max(n_a, 1e-12), total_b / max(n_b, 1e-12)
    p_a = np.where(total_a > 0, conv_a / total_a, 0.0)
    p_b = np.where(total_b > 0, conv_b / total_b, 0.0)
    total_diff = float(conv_b.sum() / n_b - conv_a.sum() / n_a)
    rate_effect = float(np.sum(0.5 * (w_a + w_b) * (p_b - p_a)))
    mix_effect = float(np.sum((w_b - w_a) * 0.5 * (p_a + p_b)))
    paradox = bool(total_diff * rate_effect < 0 and np.all((p_b - p_a) * total_diff <= 0))
    return {"total_diff": total_diff, "rate_effect": rate_effect, "mix_effect": mix_effect, "simpsons_paradox": paradox}

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

ca = np.array([90.0, 100.0]); ta = np.array([100.0, 1000.0])
cb = np.array([85.0, 880.0]); tb = np.array([100.0, 1000.0])
ca2 = np.array([900.0, 10.0]); ta2 = np.array([1000.0, 100.0])
cb2 = np.array([92.0, 200.0]); tb2 = np.array([100.0, 1000.0])
res = kitagawa_blinder_decomposition(ca2, ta2, cb2, tb2)
assert abs((res['rate_effect'] + res['mix_effect']) - res['total_diff']) < 1e-9
assert res['rate_effect'] > 0 and res['total_diff'] < 0 and res['simpsons_paradox'] is True
print('O2 PASS')

🎯 核心工程追问与标准应答

Q1:业务发现大盘转化跌了 5%,但 iOS 和 Android 转化都在涨,怎么用一句数学语言向 VP 解释?
这是典型的 Mix-Shift 导致的辛普森悖论:高转化渠道(如老客/iOS)流量占比下降,低转化新渠道占比激增,Mix 负向效应盖过了各端本身的 Rate 正向提升。
Q2:如果有成百上千个维度组合怎么避免多重切片看花眼?
对渠道、平台、新老客等正交维度分别跑 Kitagawa 贡献排序,优先暴露贡献度绝对值 Top-3 的分段及统计显著性置信区间。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: 向量化 Cohort 累计 ARPU 三角阵(SQL GroupBy → NumPy)返回 Part O 与全部 105 题下一题: CUPED 试验方差缩减与全局协方差最优系数估计 →