常用分布族

常用分布族及其参数-期望-方差表: ① 正态 $\mathcal{N}(\mu,\sigma^2)$:密度 $f(x) = \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$,期望 $\mu$,方差 $\sigma^2$;② 伯努利 $\text{Bern}(p)$:$P(X=1) = p$,期望 $p$,方差 $p(1-p)$;③ 二项 $\text{Bin}(n,p)$:$P(X=k) = \binom{n}{k}p^k(1-p)^{n-k}$,期望 $np$,方差 $np(1-p)$;④ 泊松 $\text{Poisson}(\lambda)$:$P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}$,期望 $\lambda$,方差 $\lambda$;⑤ 指数 $\text{Exp}(\lambda)$:密度 $f(x) = \lambda e^{-\lambda x}$,期望 $1/\lambda$,方差 $1/\lambda^2$。

按数据生成过程选似然函数与输出层 — 二分类→伯努利(交叉熵),回归→正态(MSE),计数→泊松,等待时间→指数;面试常以“给数据选分布并写出似然”开题,分布表需背熟。

分布假设不匹配会让似然与方差估计系统性出错 — 泊松要求均值=方差,计数数据过离散 (over-dispersion) 时应改用负二项;指数分布的无记忆性使其适合建模无衰变记忆的等待时间。三大关系构成骨架:二项是 $n$ 个独立伯努利之和,泊松是 $n \to \infty$、$p \to 0$、$np = \lambda$ 时二项的极限,正态又是 $n$ 较大时泊松与二项的极限(CLT)。

写出正态、伯努利、二项、泊松、指数分布的参数、期望与方差表?

二项、泊松、正态三者之间有什么关系(极限与逼近)?

指数分布的无记忆性是什么?如何用它建模等待时间?

为什么二分类用伯努利(交叉熵)损失、回归用正态(MSE)损失?从似然角度解释。

泊松分布均值等于方差;遇到过离散 (over-dispersion) 的计数数据该怎么办?