Logistic Regression & GLM: 逻辑回归与单层神经网络是什么关系？

Core Concept: 完全等价：单层线性 + sigmoid 输出，只是视角与优化方式不同。

等价性的具体对应：单层神经网络（无隐藏层）= 线性变换 Wx+b 后接 sigmoid 输出 = 逻辑回归（单输出）或 softmax 回归（多输出）。差异只在于：① <strong>优化方式</strong>——传统统计用牛顿法/IRLS（利用凸性，二阶收敛），深度学习框架用 SGD/Adam（一阶，但可扩展到大数据与深层）；② <strong>正则化视角</strong>——统计用 L1/L2 惩罚，深度学习用 weight decay/dropout（本质相近）；③ <strong>术语</strong>——统计称'系数'，深度学习称'权重'。这个等价性揭示了一个重要认识：<strong>深度学习是线性模型 + 非线性变换的逐层堆叠</strong>，逻辑回归是这一谱系的起点。

加入隐藏层后的关键变化：① <strong>非凸性</strong>——多层网络的损失不再凸，存在多个局部极小与鞍点（虽然高维下鞍点远多于局部极小）；② <strong>表达力跃升</strong>——单层只能学线性决策边界，加一层隐藏层后成为通用函数逼近器（Universal Approximation）；③ <strong>特征学习</strong>——隐藏层自动学习特征表示，替代了逻辑回归所需的手工特征工程，这是深度学习的核心价值。<strong>实践含义</strong>：若特征已经很好、样本量不大，逻辑回归往往够用且可解释、训练快、不易过拟合；若原始输入（图像/文本/序列）缺乏好特征，则需深层网络。此外，逻辑回归的凸性使其成为<strong>检验特征有效性的基线</strong>——若复杂模型不能显著超过逻辑回归，说明特征工程或模型复杂度不是瓶颈。