M1-013M1: 数学与统计基础信息论Medium
⚡闪卡盲测➔掌握度:

解释互信息与点互信息(PMI),它们分别用在哪里?

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M1-014 →
📐 核心数学机理公式
I(X;Y)=∑x,yp(x,y)log⁡p(x,y)p(x)p(y),PMI(x,y)=log⁡p(x,y)p(x)p(y)I(X;Y)=\sum_{x,y}p(x,y)\log\frac{p(x,y)}{p(x)p(y)},\qquad \mathrm{PMI}(x,y)=\log\frac{p(x,y)}{p(x)p(y)}
⚡ 一句话直击要害答案
互信息衡量两变量共享的信息量;PMI 是单点对的信息贡献,MI 是 PMI 的期望。

📌 核心要点提炼

  • •
    MI=0 当且仅当独立
  • •
    PMI 是词向量(word2vec/GloVe)与词共现分析的基础
  • •
    归一化 PMI(NPMI)便于跨频次比较

📐 数学机理与严密推导

互信息 I(X;Y)=KL(p(x,y)‖p(x)p(y)) 是'联合分布与独立分布的距离',因此 I=0 当且仅当严格独立——这比相关系数强得多,因为相关系数只捕捉线性依赖(例如 Y=X² 时相关系数为 0 但 MI>0)。把它展开即得 I(X;Y)=Σp(x,y)·PMI(x,y)=E[PMI],所以 PMI 是 MI 的逐点分解:MI 是 PMI 的期望,PMI 描述单个点对贡献了多少信息。互信息的对称性来自 p(x,y) 的对称性,而非对称的 PMI 也可对称化为 PMI(x,y)+PMI(y,x)。

🏭 深度剖析与工业落地权衡

两大应用:① 词向量——word2vec 的 SGNS 目标在数学上等价于分解 PMI 矩阵(Levy & Goldberg 2014 的经典结论),GloVe 则显式拟合 log 共现计数;PMI 的优点是能凸显低频但强关联的词对(因为除以边缘概率),缺点是低频词对 PMI 方差极大,故实践用 PMI^k(乘以计数阈值)或 NPMI(除以 −log p(x,y) 归一化到 [−1,1]);② 特征选择与因果发现——MI 用于筛选与目标非线性相关的特征,也是因果发现(PC 算法)中条件独立检验的基础。高维 MI 估计是难点:分箱法偏差大,KSG(k-NN)估计器更常用但维数灾难严重,故实践中常改用 MINE(神经估计)或直接回归预测目标。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    用相关系数替代 MI 判断独立性(漏掉非线性依赖)
  • ✕
    对低频词对直接使用 PMI(方差极大、不稳定)
🎯 面试官连环追问与延伸考察
  • ?
    MI 与相关系数的区别?(MI 能捕捉非线性)
  • ?
    如何高效估计高维 MI?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M1-012: KL 散度为什么不对称?前向与反向 KL 在优化上有什么区别?📋 返回题库下一题 →M1-014: 交叉熵损失与最大似然估计为什么等价?