M1-055M1: 数学与统计基础实验设计 (A/B)Hard
⚡闪卡盲测➔掌握度:

CTR 上升但 CVR 没动,如何用统计方法分析原因。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M1-056 →
📐 核心数学机理公式
中介效应: CTR→detail view→CVR\text{中介效应}:\ \text{CTR}\to\text{detail view}\to\text{CVR}
⚡ 一句话直击要害答案
先做指标一致性检查(分流/口径/延迟),再用分层与中介分析判断是'流量结构变化'还是'转化链路被削弱'。

📌 核心要点提炼

  • •
    分层分析(按用户等级/品类)看效应是否被 Simpson 反转
  • •
    检查 CVR 的分母是否被 CTR 提升污染
  • •
    用序贯/长周期观察延迟转化
  • •
    必要时做 holdout 或 switchback 验证

📐 数学机理与严密推导

分析框架分三层:① 先排除基础设施问题——SRM 检验、指标口径一致性(CVR 的分母是'点击'还是'访问'?若分母是点击,则 CTR 上升会自动改变 CVR 的分母构成,产生分母污染)、转化延迟(CVR 有更长滞后,短期观测会低估)、日志完整性。② 再做分解分析——把 CVR 按链路拆解(曝光→点击→详情页→加购→下单),看哪一环的转化率变化;用中介分析(mediation analysis)量化'CTR 提升通过哪些路径影响最终转化',判断是部分中介(效果通过中间环节传导)还是被抵消(某环节转化率下降抵消了流量增长)。③ 最后做分层与结构分析——按用户等级/品类/新老用户分层,检查是否存在 Simpson 悖论(整体 CVR 不变但各层都变,或反之);检查流量结构变化(CTR 提升可能吸引了不同意图的用户,其转化率天然更低)。

🏭 深度剖析与工业落地权衡

典型的两种结论与对策:① '流量结构变化'型——CTR 提升带来的是低意图流量(如更强的标题吸引点击但用户发现不匹配),此时整体 GMV 可能仍上升但 CVR 下降;对策是优化相关性而非单纯提升吸引力,或用更下游的指标(GMV、留存)做主指标。② '链路削弱'型——某环节体验变差(如新 UI 增加点击但详情页加载变慢),需定位并修复该环节。统计工具:分层分析(含交互项检验)、CUPED 降方差后重测、贝叶斯后验概率(P(CVR 变化 > 阈值))、以及必要时延长观测期(转化延迟)。决策原则:不应仅凭'CVR 没动'就否定改动——若主指标是 GMV 且 GMV 上升,CVR 持平是可接受的;关键是在实验前明确主指标与护栏指标的优先级。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    忽略 CVR 分母被 CTR 提升污染(口径不一致)
  • ✕
    只看整体 CVR 而不做分层,漏掉 Simpson 悖论
  • ✕
    只看'CVR 没动'就否定改动,忽略主指标(GMV/留存)可能已改善
  • ✕
    未检查转化延迟就下结论
🎯 面试官连环追问与延伸考察
  • ?
    如果某层样本极小怎么办?(贝叶斯收缩 / 合并层)
  • ?
    Simpson 悖论在 A/B 中的典型表现是什么?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M1-054: 什么是 CUPED?它为什么能降方差。📋 返回题库下一题 →M1-056: 定义因果效应与潜在结果框架(Rubin causal model)。