互信息

互信息度量一个随机变量携带的关于另一个变量的信息量: $I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = \sum_x \sum_y p(x,y)\log\frac{p(x,y)}{p(x)p(y)} \ge 0$。它是联合分布与边缘分布乘积之间的 KL 散度:$I(X;Y) = D_{KL}(p(x,y) \Vert p(x)p(y))$,且 $I(X;Y) = 0 \iff X \perp Y$。直观上 $H(X|Y) = H(X) - I(X;Y)$:知道 $Y$ 后 $X$ 的不确定性减少的量正是互信息。

特征选择(选与标签互信息最高的特征)、决策树信息增益分裂准则、聚类与降维质量评估、生成模型的信息瓶颈分析;面试常以“相关系数为 0 是否一定独立”切入。

相关系数只捕捉线性关系 — 如 $Y = X^2$ 时相关系数为 0 但互信息很大;互信息捕捉任意(含非线性)依赖且对单调变换不变,是比相关性更完整的依赖度量。代价是连续变量估计困难(需分箱/核密度或变分下界),且小样本下高估偏差明显。

写出互信息的定义及三种等价形式?为什么 $I(X;Y) \ge 0$?

互信息与相关系数有什么区别?为什么相关系数为 0 不代表独立?

$I(X;Y) = 0$ 的充要条件是什么?与条件熵 $H(X|Y)$ 的关系?

链式法则 $I(X,Y;Z) = I(X;Z) + I(Y;Z|X)$ 的含义?在特征选择中如何应用?

给定联合分布 $p(x,y)$,如何手算互信息?连续变量如何估计互信息?