M1-010M1: Mathematics & Statistics FundamentalsCommon DistributionsHard
Mastery:
Common Distributions: 什么是重尾分布?它对均值估计和 A/B 测试有什么影响?
📐 Mathematical Definition
⚡ Executive Summary
Core Concept: 尾概率衰减慢于指数(如 Pareto/对数正态);极端值主导均值,样本均值收敛慢且不稳定。
📌 Key Takeaways
- •点击/消费/延迟数据常重尾
- •应看中位数、分位数、对数变换,或用稳健统计
- •A/B 中重尾指标方差巨大 → 需更长实验或 CUPED 降方差
📐 Mathematical Derivations
重尾的严格定义是尾概率衰减慢于任何指数:P(X>x)~x^{−α}L(x)(L 为缓变函数)。Pareto(α) 是最典型代表,当 α≤2 时方差无穷,α≤1 时均值无穷。关键后果是<strong>样本均值的收敛速度由尾部指数决定</strong>:对 α<2 的分布,CLT 失效或收敛极慢,且极值主导均值——这解释了'平均收入'被少数超级富豪拉高、'平均响应时间'被少数慢请求主导的现象。理论工具是<strong>极值理论(EVT)</strong>:Fisher-Tippett 定理指出极值(最大值)的极限分布只有三种类型(Gumbel/Fréchet/Weibull),与原始分布无关。
🏭 Production Trade-offs
对 A/B 测试的具体影响:① <strong>方差被极端值主导</strong>,少量异常样本即可翻转结论,导致实验需要极长周期或极大样本;② <strong>CLT 不适用</strong>,z/t 检验的置信区间不可信,应改用 bootstrap(但注意 bootstrap 对极值统计量同样失效,因为重采样难以复现尾部)、或对指标做<strong>截断/缩尾(winsorize)</strong>;③ <strong>用对数变换</strong>(若为正)或直接改用<strong>分位数/中位数</strong>作为指标。工程上更有效的手段是 <strong>CUPED</strong>(用实验前协变量吸收个体差异)与<strong>稳健方差估计</strong>,而不是简单延长实验。判断重尾的方法:QQ 图对比正态、Hill 估计量估计尾部指数、或检查样本方差是否随样本量持续增长(若增长则方差可能无穷)。
⚠️ Common Interview Pitfalls
- ✕对重尾数据直接用均值与 t 检验
- ✕用 bootstrap 估计极值(如最大值)的置信区间
🎯 Interviewer Follow-ups
- ?如何判断数据重尾?(QQ 图 / Hill 估计)
- ?重尾下 bootstrap 还可靠吗?
📚
Associated Knowledge Base Guides & Mindmaps
Explore the comprehensive technical article, exam cards, and global architecture tree.