互信息

互信息度量一个随机变量携带的关于另一个变量的信息量: $I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = \sum_x \sum_y p(x,y)\log\frac{p(x,y)}{p(x)p(y)} \ge 0$。它是联合分布与边缘分布乘积之间的 KL 散度:$I(X;Y) = D_{KL}(p(x,y) \Vert p(x)p(y))$,且 $I(X;Y) = 0 \iff X \perp Y$。直观上 $H(X|Y) = H(X) - I(X;Y)$:知道 $Y$ 后 $X$ 的不确定性减少的量正是互信息。

特征选择(选与标签互信息最高的特征)、决策树信息增益分裂准则、聚类与降维质量评估、生成模型的信息瓶颈分析;面试常以“相关系数为 0 是否一定独立”切入。

相关系数只捕捉线性关系 — 如 $Y = X^2$ 时相关系数为 0 但互信息很大;互信息捕捉任意(含非线性)依赖且对单调变换不变,是比相关性更完整的依赖度量。代价是连续变量估计困难(需分箱/核密度或变分下界),且小样本下高估偏差明显。

检验攻克程度：针对「互信息」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。