M1-005M1: Mathematics & Statistics FundamentalsProbability FoundationsHard
Mastery:
Probability Foundations: 写出马尔可夫不等式与切比雪夫不等式,并说明它们的用途与松紧程度。
📐 Mathematical Definition
⚡ Executive Summary
Core Concept: 马尔可夫用一阶矩界尾概率,切比雪夫用二阶矩;都很松,但无需分布假设。
📌 Key Takeaways
- •切比雪夫可推出大数定律(弱)
- •实际做置信区间应用 CLT 或 bootstrap,而非切比雪夫
📐 Mathematical Derivations
<strong>马尔可夫不等式</strong> P(X≥a)≤E[X]/a 仅要求 X 非负,证明只用到一个恒等式:E[X]=∫₀^∞P(X>t)dt ≥ ∫₀^a P(X>t)dt ≥ a·P(X>a)。<strong>切比雪夫不等式</strong> P(|X−μ|≥kσ)≤1/k² 是马尔可夫作用于 (X−μ)² 的直接推论:P((X−μ)²≥k²σ²)≤E[(X−μ)²]/(k²σ²)=1/k²。把 X 换成样本均值 X̄(方差 σ²/n),即得弱大数定律:P(|X̄−μ|≥ε)≤σ²/(nε²)→0。
🏭 Production Trade-offs
这两个不等式的价值在于<strong>无分布假设</strong>,因此在理论上不可替代(大数定律、PAC 学习理论、泛化界都依赖它们)。但代价是极松:切比雪夫给出的 95% 覆盖需要 k≈4.47 倍标准差,而正态分布只需 1.96——宽松一倍以上。工程实践中,做置信区间应优先用 CLT(大样本)、t 分布(小样本正态)、或 bootstrap(无分布但可计算),仅在理论上证明收敛性时才引用切比雪夫。若已知随机变量有界,Hoeffding 不等式给出指数级收敛(P(|X̄−E[X]|≥ε)≤2exp(−2nε²/(b−a)²)),远紧于切比雪夫,是 bandit 与在线学习理论的标准工具。
⚠️ Common Interview Pitfalls
- ✕用切比雪夫构造实际置信区间(过于保守)
- ✕忘记马尔可夫不等式要求 X 非负
🎯 Interviewer Follow-ups
- ?为什么切比雪夫通常过于保守?
- ?Hoeffding 不等式需要什么假设?
📚
Associated Knowledge Base Guides & Mindmaps
Explore the comprehensive technical article, exam cards, and global architecture tree.