M1-005M1: Mathematics & Statistics FundamentalsProbability FoundationsHard
Mastery:

Probability Foundations: 写出马尔可夫不等式与切比雪夫不等式,并说明它们的用途与松紧程度。

📐 Mathematical Definition
P(X≥a)≤E[X]a,P(∣X−μ∣≥kσ)≤1k2P(X\ge a)\le\frac{\mathbb{E}[X]}{a},\qquad P(|X-\mu|\ge k\sigma)\le\frac{1}{k^2}
⚡ Executive Summary
Core Concept: 马尔可夫用一阶矩界尾概率,切比雪夫用二阶矩;都很松,但无需分布假设。

📌 Key Takeaways

  • •
    切比雪夫可推出大数定律(弱)
  • •
    实际做置信区间应用 CLT 或 bootstrap,而非切比雪夫

📐 Mathematical Derivations

<strong>马尔可夫不等式</strong> P(X≥a)≤E[X]/a 仅要求 X 非负,证明只用到一个恒等式:E[X]=∫₀^∞P(X>t)dt ≥ ∫₀^a P(X>t)dt ≥ a·P(X>a)。<strong>切比雪夫不等式</strong> P(|X−μ|≥kσ)≤1/k² 是马尔可夫作用于 (X−μ)² 的直接推论:P((X−μ)²≥k²σ²)≤E[(X−μ)²]/(k²σ²)=1/k²。把 X 换成样本均值 X̄(方差 σ²/n),即得弱大数定律:P(|X̄−μ|≥ε)≤σ²/(nε²)→0。

🏭 Production Trade-offs

这两个不等式的价值在于<strong>无分布假设</strong>,因此在理论上不可替代(大数定律、PAC 学习理论、泛化界都依赖它们)。但代价是极松:切比雪夫给出的 95% 覆盖需要 k≈4.47 倍标准差,而正态分布只需 1.96——宽松一倍以上。工程实践中,做置信区间应优先用 CLT(大样本)、t 分布(小样本正态)、或 bootstrap(无分布但可计算),仅在理论上证明收敛性时才引用切比雪夫。若已知随机变量有界,Hoeffding 不等式给出指数级收敛(P(|X̄−E[X]|≥ε)≤2exp(−2nε²/(b−a)²)),远紧于切比雪夫,是 bandit 与在线学习理论的标准工具。
⚠️ Common Interview Pitfalls
  • ✕
    用切比雪夫构造实际置信区间(过于保守)
  • ✕
    忘记马尔可夫不等式要求 X 非负
🎯 Interviewer Follow-ups
  • ?
    为什么切比雪夫通常过于保守?
  • ?
    Hoeffding 不等式需要什么假设?
📚

Associated Knowledge Base Guides & Mindmaps

Explore the comprehensive technical article, exam cards, and global architecture tree.

← PreviousM1-004: Probability Foundations: 解释期望的线性性与方差的可加性,并说明各自需要什么条件。📋Back to BankNext →M1-006: Common Distributions: 列举常见离散/连续分布及其典型使用场景。