熵 / KL 散度 / 交叉熵

熵 $H(X) = -\sum_x p(x)\log p(x)$ 度量随机变量的不确定度(最优编码的期望比特数);KL 散度度量两个分布的差异 $D_{KL}(P \Vert Q) = \sum_x p(x)\log\frac{p(x)}{q(x)} \ge 0$,等号成立当且仅当 $P = Q$。非负性由 Jensen 不等式证明:$\log$ 是凹函数,所以 $D_{KL}(P \Vert Q) = -\mathbb{E}_p\left[\log\frac{q(x)}{p(x)}\right] \ge -\log\mathbb{E}_p\left[\frac{q(x)}{p(x)}\right] = -\log 1 = 0$。KL 不对称:取 $P = \text{Bern}(0.5)$、$Q = \text{Bern}(0.1)$,则 $D_{KL}(P \Vert Q) \approx 0.511 \neq D_{KL}(Q \Vert P) \approx 0.368$,且当 $Q(x) = 0 < P(x)$ 时 $D_{KL} \to \infty$。交叉熵满足 $H(P,Q) = H(P) + D_{KL}(P \Vert Q)$。

分布差异是概率机器学习的核心度量 — 分类训练最小化交叉熵、VAE 目标含 $D_{KL}(q \Vert p)$、知识蒸馏让学生分布逼近教师、RLHF 用 KL 惩罚约束策略漂移;面试高频题“为什么损失用交叉熵”“证明 KL 非负”都从这里出。

相比 L2 等几何距离,KL 有信息论意义(用 $Q$ 编码 $P$ 的多余比特数),并与熵、互信息构成统一框架;但非对称、不满足三角不等式,需要对称距离时须另行构造(如 Jensen-Shannon 散度或 Wasserstein 距离)。

证明 KL 散度非负:$D_{KL}(P \Vert Q) = \sum_x p(x)\log\frac{p(x)}{q(x)} \ge 0$,并说明等号何时成立?

KL 散度为什么不对称?给出一个数值例子。

熵、交叉熵与 KL 三者的关系?为什么交叉熵损失 = 熵 + KL?

KL 满足对称性与三角不等式吗?需要对称距离时用什么?

分类、知识蒸馏、RLHF 中 KL 分别出现在哪里?最小化 KL 的几何直觉是什么?