M1-010M1: Mathematics & Statistics FundamentalsCommon DistributionsHard
Mastery:

Common Distributions: 什么是重尾分布?它对均值估计和 A/B 测试有什么影响?

📐 Mathematical Definition
P(X>x)∼x−α,α>1 时均值存在P(X>x)\sim x^{-\alpha},\quad \alpha>1\ \text{时均值存在}
⚡ Executive Summary
Core Concept: 尾概率衰减慢于指数(如 Pareto/对数正态);极端值主导均值,样本均值收敛慢且不稳定。

📌 Key Takeaways

  • •
    点击/消费/延迟数据常重尾
  • •
    应看中位数、分位数、对数变换,或用稳健统计
  • •
    A/B 中重尾指标方差巨大 → 需更长实验或 CUPED 降方差

📐 Mathematical Derivations

重尾的严格定义是尾概率衰减慢于任何指数:P(X>x)~x^{−α}L(x)(L 为缓变函数)。Pareto(α) 是最典型代表,当 α≤2 时方差无穷,α≤1 时均值无穷。关键后果是<strong>样本均值的收敛速度由尾部指数决定</strong>:对 α<2 的分布,CLT 失效或收敛极慢,且极值主导均值——这解释了'平均收入'被少数超级富豪拉高、'平均响应时间'被少数慢请求主导的现象。理论工具是<strong>极值理论(EVT)</strong>:Fisher-Tippett 定理指出极值(最大值)的极限分布只有三种类型(Gumbel/Fréchet/Weibull),与原始分布无关。

🏭 Production Trade-offs

对 A/B 测试的具体影响:① <strong>方差被极端值主导</strong>,少量异常样本即可翻转结论,导致实验需要极长周期或极大样本;② <strong>CLT 不适用</strong>,z/t 检验的置信区间不可信,应改用 bootstrap(但注意 bootstrap 对极值统计量同样失效,因为重采样难以复现尾部)、或对指标做<strong>截断/缩尾(winsorize)</strong>;③ <strong>用对数变换</strong>(若为正)或直接改用<strong>分位数/中位数</strong>作为指标。工程上更有效的手段是 <strong>CUPED</strong>(用实验前协变量吸收个体差异)与<strong>稳健方差估计</strong>,而不是简单延长实验。判断重尾的方法:QQ 图对比正态、Hill 估计量估计尾部指数、或检查样本方差是否随样本量持续增长(若增长则方差可能无穷)。
⚠️ Common Interview Pitfalls
  • ✕
    对重尾数据直接用均值与 t 检验
  • ✕
    用 bootstrap 估计极值(如最大值)的置信区间
🎯 Interviewer Follow-ups
  • ?
    如何判断数据重尾?(QQ 图 / Hill 估计)
  • ?
    重尾下 bootstrap 还可靠吗?
📚

Associated Knowledge Base Guides & Mindmaps

Explore the comprehensive technical article, exam cards, and global architecture tree.

← PreviousM1-009: Common Distributions: 解释 Beta 分布的形状参数含义,以及它在 A/B 测试中的应用。📋Back to BankNext →M1-011: Information Theory: 定义信息量(自信息)、熵、交叉熵、KL 散度,并说明相互关系。