Information Theory: 解释数据处理不等式与它的含义。

Core Concept: 若 X→Y→Z 构成马尔可夫链，则 I(X;Z) ≤ I(Y;Z) ≤ I(X;Y)；处理不会增加信息。

数据处理不等式（DPI）的表述：若 X→Y→Z 构成马尔可夫链（即 Z 在给定 Y 下与 X 条件独立），则 I(X;Z)≤I(X;Y)。<strong>直观含义</strong>：任何对数据的<strong>确定性或随机处理</strong>都不会增加关于原始变量的信息，只会保持或减少——这是'信息守恒'的严格版本。<strong>与充分统计量的关系</strong>：统计量 T(Y) 是充分的当且仅当 I(X;T)=I(X;Y)（不损失信息）；任何非充分统计量都会损失信息。<strong>重要推论</strong>：对神经网络而言，若输入 X 经多层变换得到表示 Z，则 I(X;Z)≤I(X;输入)——即网络<strong>不可能创造信息</strong>，只能保留或丢弃。这看似显然，但对理解表示学习很关键：网络的任务不是'创造信息'，而是<strong>在保留任务相关信息的同时丢弃无关信息</strong>（即最大化 I(Z;Y) 同时最小化 I(Z;X)）。

机器学习中的应用与启示：① <strong>信息瓶颈（Information Bottleneck）</strong> 原理——学习目标可写为 max I(Z;Y)−β·I(Z;X)，即在保留预测力（I(Z;Y)）的前提下压缩表示（减小 I(Z;X)）；Tishby 等人用它解释深度学习的泛化（'压缩阶段'），尽管这一理论后来有争议。② <strong>对比学习</strong>——InfoNCE 损失可视为最大化 I(Z_视图1;Z_视图2) 的下界，即学习对增强不变的表示。③ <strong>特征选择的依据</strong>——应选择使 I(X_S;Y) 最大的特征子集（充分性），同时使特征间冗余 I(Xᵢ;Xⱼ|Y) 最小（这也是 mRMR 准则的来源）。④ <strong>生成模型的评估</strong>——DPI 说明'从生成样本无法获得比原始数据更多的信息'。⑤ <strong>注意</strong>——DPI 适用于马尔可夫链结构；若 Z 额外依赖其他信息源（如先验知识、外部数据），则不适用（此时 I(X;Z) 可以大于 I(X;Y)）。⑥ <strong>与注意力的关系</strong>——注意力机制可视为'选择性保留'（根据相关性分配信息通道），是 DPI 框架下的信息分配。