M1-013M1: 数学与统计基础信息论Medium
⚡闪卡盲测➔掌握度:
解释互信息与点互信息(PMI),它们分别用在哪里?
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
互信息衡量两变量共享的信息量;PMI 是单点对的信息贡献,MI 是 PMI 的期望。
📌 核心要点提炼
- •MI=0 当且仅当独立
- •PMI 是词向量(word2vec/GloVe)与词共现分析的基础
- •归一化 PMI(NPMI)便于跨频次比较
📐 数学机理与严密推导
互信息 I(X;Y)=KL(p(x,y)‖p(x)p(y)) 是'联合分布与独立分布的距离',因此 I=0 当且仅当严格独立——这比相关系数强得多,因为相关系数只捕捉线性依赖(例如 Y=X² 时相关系数为 0 但 MI>0)。把它展开即得 I(X;Y)=Σp(x,y)·PMI(x,y)=E[PMI],所以 PMI 是 MI 的逐点分解:MI 是 PMI 的期望,PMI 描述单个点对贡献了多少信息。互信息的对称性来自 p(x,y) 的对称性,而非对称的 PMI 也可对称化为 PMI(x,y)+PMI(y,x)。
🏭 深度剖析与工业落地权衡
两大应用:① 词向量——word2vec 的 SGNS 目标在数学上等价于分解 PMI 矩阵(Levy & Goldberg 2014 的经典结论),GloVe 则显式拟合 log 共现计数;PMI 的优点是能凸显低频但强关联的词对(因为除以边缘概率),缺点是低频词对 PMI 方差极大,故实践用 PMI^k(乘以计数阈值)或 NPMI(除以 −log p(x,y) 归一化到 [−1,1]);② 特征选择与因果发现——MI 用于筛选与目标非线性相关的特征,也是因果发现(PC 算法)中条件独立检验的基础。高维 MI 估计是难点:分箱法偏差大,KSG(k-NN)估计器更常用但维数灾难严重,故实践中常改用 MINE(神经估计)或直接回归预测目标。
⚠️ 常见面试陷阱与高频失分点
- ✕用相关系数替代 MI 判断独立性(漏掉非线性依赖)
- ✕对低频词对直接使用 PMI(方差极大、不稳定)
🎯 面试官连环追问与延伸考察
- ?MI 与相关系数的区别?(MI 能捕捉非线性)
- ?如何高效估计高维 MI?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
📚