O2Medium★ Product Sense / Metric Drop · 核心必考Part O · BA→Python 数据科学化与统计算子
辛普森悖论检测与 Kitagawa 漏斗拆因(Rate vs Mix Effect)
实现北极星指标大盘异动的对称 Kitagawa 分解,精确分离「各细分转化率变化」与「流量结构 Mix-Shift 漂移」并捕获辛普森悖论。
⏱️ 时间复杂度:
O(K)💾 空间复杂度:
O(K)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def kitagawa_blinder_decomposition(conv_a: np.ndarray, total_a: np.ndarray, conv_b: np.ndarray, total_b: np.ndarray) -> dict:
n_a, n_b = float(total_a.sum()), float(total_b.sum())
w_a, w_b = total_a / max(n_a, 1e-12), total_b / max(n_b, 1e-12)
p_a =
p_b = np.where(total_b > 0, conv_b / total_b, 0.0)
total_diff = float(conv_b.sum() / n_b - conv_a.sum() / n_a)
rate_effect = float(np.sum(0.5 * (w_a + w_b) * (p_b - p_a)))
mix_effect = float(np.sum((w_b - w_a) * 0.5 * (p_a + p_b)))
paradox =
return {"total_diff": total_diff, "rate_effect": rate_effect, "mix_effect": mix_effect, "simpsons_paradox": paradox}
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 业务发现大盘转化跌了 5%,但 iOS 和 Android 转化都在涨,怎么用一句数学语言向 VP 解释?
Q2: 如果有成百上千个维度组合怎么避免多重切片看花眼?
💡
实战一句话记忆口诀
均值权重算 Rate,均值转化算 Mix,对称相加零残差
📐 核心数学公式与机理推导
$$\Delta R_{\text{total}} = \sum_k \bar{w}_k (p_{B,k} - p_{A,k}) + \sum_k \Delta w_k \left(\frac{p_{A,k}+p_{B,k}}{2}\right)$$
总体指标变化 。利用对称恒等式拆解为两组完全相加项:核心组内转化效应 与流量占比结构效应 ,二者之和严格等于 且无需指定基准期先后顺序。
🔄 张量维度与形状流转说明
conv_a/b, total_a/b: (K segments,) -> exact additive decomposition scalars
🛡️ 数值稳定性自检与边界要点
- 校验 rate_effect + mix_effect 与 total_diff 残差小于 1e-9 确保无拆因漏项
- 使用对称平均权重 0.5*(w_a+w_b) 避免经典 Oaxaca 分解的方向依赖残差
- 检测每个细分组同向变化与总盘趋势相反时的辛普森悖论标志
💻 完整参考代码实现
import numpy as np
def kitagawa_blinder_decomposition(conv_a: np.ndarray, total_a: np.ndarray, conv_b: np.ndarray, total_b: np.ndarray) -> dict:
n_a, n_b = float(total_a.sum()), float(total_b.sum())
w_a, w_b = total_a / max(n_a, 1e-12), total_b / max(n_b, 1e-12)
p_a = np.where(total_a > 0, conv_a / total_a, 0.0)
p_b = np.where(total_b > 0, conv_b / total_b, 0.0)
total_diff = float(conv_b.sum() / n_b - conv_a.sum() / n_a)
rate_effect = float(np.sum(0.5 * (w_a + w_b) * (p_b - p_a)))
mix_effect = float(np.sum((w_b - w_a) * 0.5 * (p_a + p_b)))
paradox = bool(total_diff * rate_effect < 0 and np.all((p_b - p_a) * total_diff <= 0))
return {"total_diff": total_diff, "rate_effect": rate_effect, "mix_effect": mix_effect, "simpsons_paradox": paradox}🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
ca = np.array([90.0, 100.0]); ta = np.array([100.0, 1000.0])
cb = np.array([85.0, 880.0]); tb = np.array([100.0, 1000.0])
ca2 = np.array([900.0, 10.0]); ta2 = np.array([1000.0, 100.0])
cb2 = np.array([92.0, 200.0]); tb2 = np.array([100.0, 1000.0])
res = kitagawa_blinder_decomposition(ca2, ta2, cb2, tb2)
assert abs((res['rate_effect'] + res['mix_effect']) - res['total_diff']) < 1e-9
assert res['rate_effect'] > 0 and res['total_diff'] < 0 and res['simpsons_paradox'] is True
print('O2 PASS')🎯 核心工程追问与标准应答
Q1:业务发现大盘转化跌了 5%,但 iOS 和 Android 转化都在涨,怎么用一句数学语言向 VP 解释?
这是典型的 Mix-Shift 导致的辛普森悖论:高转化渠道(如老客/iOS)流量占比下降,低转化新渠道占比激增,Mix 负向效应盖过了各端本身的 Rate 正向提升。
Q2:如果有成百上千个维度组合怎么避免多重切片看花眼?
对渠道、平台、新老客等正交维度分别跑 Kitagawa 贡献排序,优先暴露贡献度绝对值 Top-3 的分段及统计显著性置信区间。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!