熵 / KL 散度 / 交叉熵

熵 $H(X) = -\sum_x p(x)\log p(x)$ 度量随机变量的不确定度(最优编码的期望比特数);KL 散度度量两个分布的差异 $D_{KL}(P \Vert Q) = \sum_x p(x)\log\frac{p(x)}{q(x)} \ge 0$,等号成立当且仅当 $P = Q$。非负性由 Jensen 不等式证明:$\log$ 是凹函数,所以 $D_{KL}(P \Vert Q) = -\mathbb{E}_p\left[\log\frac{q(x)}{p(x)}\right] \ge -\log\mathbb{E}_p\left[\frac{q(x)}{p(x)}\right] = -\log 1 = 0$。KL 不对称:取 $P = \text{Bern}(0.5)$、$Q = \text{Bern}(0.1)$,则 $D_{KL}(P \Vert Q) \approx 0.511 \neq D_{KL}(Q \Vert P) \approx 0.368$,且当 $Q(x) = 0 < P(x)$ 时 $D_{KL} \to \infty$。交叉熵满足 $H(P,Q) = H(P) + D_{KL}(P \Vert Q)$。

分布差异是概率机器学习的核心度量 — 分类训练最小化交叉熵、VAE 目标含 $D_{KL}(q \Vert p)$、知识蒸馏让学生分布逼近教师、RLHF 用 KL 惩罚约束策略漂移;面试高频题“为什么损失用交叉熵”“证明 KL 非负”都从这里出。

相比 L2 等几何距离,KL 有信息论意义(用 $Q$ 编码 $P$ 的多余比特数),并与熵、互信息构成统一框架;但非对称、不满足三角不等式,需要对称距离时须另行构造(如 Jensen-Shannon 散度或 Wasserstein 距离)。

检验攻克程度：针对「熵 / KL 散度 / 交叉熵」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。