Logistic Regression & GLM: 解释逻辑回归与最大熵模型的关系。

Core Concept: 在给定特征期望约束下，最大熵解的形式恰是逻辑回归；两者是同一模型的不同推导路径。

推导路径：<strong>最大熵视角</strong>——给定训练数据，我们希望对每个特征函数 f_k(x,y) 满足'模型期望 = 经验期望'的约束（Σ_{x,y}p̃(x)p(y|x)f_k(x,y)=Σ_{x,y}p̃(x,y)f_k(x,y)），在此约束下最大化条件熵 H(p)=−Σp̃(x)p(y|x)log p(y|x)。用拉格朗日乘子法求解，得到<strong>对数线性形式</strong> p(y|x)∝exp(Σₖλₖfₖ(x,y))——这正是<strong>逻辑回归/softmax 回归</strong>（当 fₖ 取'特征值 × 类别指示'时）。<strong>逻辑回归视角</strong>——直接假设 log-odds 是特征的线性函数，得到 p(y=1|x)=σ(wᵀx)。两条路径殊途同归，说明逻辑回归不是'碰巧好用'，而是在'只用特征的一阶统计信息、不做额外假设'这一原则下的<strong>唯一选择</strong>。这也解释了为什么逻辑回归的<strong>充分统计量</strong>是 Σᵢyᵢxᵢ（特征与标签的交叉和）。

这一等价关系的价值：① <strong>模型选择的依据</strong>——若认为'特征的一阶统计量'足以刻画数据，逻辑回归就是最自然（最少假设）的模型；若需更高阶信息（如特征交互），应显式加入交互特征函数 fₖ（这等价于扩展特征空间）。② <strong>正则化的贝叶斯解释</strong>——L2 正则对应高斯先验（对参数 λₖ），L1 对应 Laplace 先验；最大熵框架下加正则等价于放松约束（允许模型期望与经验期望有偏差），这在'数据少、约束可能被噪声污染'时更稳健。③ <strong>推广到结构预测</strong>——最大熵原理推广到序列/结构化输出即 <strong>CRF（条件随机场）</strong>：p(y|x)∝exp(Σₖλₖfₖ(x,y))，其中 y 是标签序列；CRF 可视为'序列版最大熵'，其归一化需对所有可能序列求和（用前向-后向算法）。④ <strong>与深度学习的关系</strong>——softmax 输出层 + 交叉熵训练仍是当前 LLM 的标准做法（本质是最大熵/对数线性模型），只是特征由网络自动学习而非人工指定。⑤ <strong>实践含义</strong>——若逻辑回归效果不佳，通常是'特征不够'（缺少必要的 fₖ）而非'模型太简单'，应先做特征工程而非直接换复杂模型。