M1-055M1: 数学与统计基础实验设计 (A/B)Hard
⚡闪卡盲测➔掌握度:
CTR 上升但 CVR 没动,如何用统计方法分析原因。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
先做指标一致性检查(分流/口径/延迟),再用分层与中介分析判断是'流量结构变化'还是'转化链路被削弱'。
📌 核心要点提炼
- •分层分析(按用户等级/品类)看效应是否被 Simpson 反转
- •检查 CVR 的分母是否被 CTR 提升污染
- •用序贯/长周期观察延迟转化
- •必要时做 holdout 或 switchback 验证
📐 数学机理与严密推导
分析框架分三层:① 先排除基础设施问题——SRM 检验、指标口径一致性(CVR 的分母是'点击'还是'访问'?若分母是点击,则 CTR 上升会自动改变 CVR 的分母构成,产生分母污染)、转化延迟(CVR 有更长滞后,短期观测会低估)、日志完整性。② 再做分解分析——把 CVR 按链路拆解(曝光→点击→详情页→加购→下单),看哪一环的转化率变化;用中介分析(mediation analysis)量化'CTR 提升通过哪些路径影响最终转化',判断是部分中介(效果通过中间环节传导)还是被抵消(某环节转化率下降抵消了流量增长)。③ 最后做分层与结构分析——按用户等级/品类/新老用户分层,检查是否存在 Simpson 悖论(整体 CVR 不变但各层都变,或反之);检查流量结构变化(CTR 提升可能吸引了不同意图的用户,其转化率天然更低)。
🏭 深度剖析与工业落地权衡
典型的两种结论与对策:① '流量结构变化'型——CTR 提升带来的是低意图流量(如更强的标题吸引点击但用户发现不匹配),此时整体 GMV 可能仍上升但 CVR 下降;对策是优化相关性而非单纯提升吸引力,或用更下游的指标(GMV、留存)做主指标。② '链路削弱'型——某环节体验变差(如新 UI 增加点击但详情页加载变慢),需定位并修复该环节。统计工具:分层分析(含交互项检验)、CUPED 降方差后重测、贝叶斯后验概率(P(CVR 变化 > 阈值))、以及必要时延长观测期(转化延迟)。决策原则:不应仅凭'CVR 没动'就否定改动——若主指标是 GMV 且 GMV 上升,CVR 持平是可接受的;关键是在实验前明确主指标与护栏指标的优先级。
⚠️ 常见面试陷阱与高频失分点
- ✕忽略 CVR 分母被 CTR 提升污染(口径不一致)
- ✕只看整体 CVR 而不做分层,漏掉 Simpson 悖论
- ✕只看'CVR 没动'就否定改动,忽略主指标(GMV/留存)可能已改善
- ✕未检查转化延迟就下结论
🎯 面试官连环追问与延伸考察
- ?如果某层样本极小怎么办?(贝叶斯收缩 / 合并层)
- ?Simpson 悖论在 A/B 中的典型表现是什么?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!