Bias-Variance Tradeoff & Model Selection: 解释'没有免费午餐'定理与归纳偏置的含义。

Core Concept: 不存在对所有问题都最优的算法；任何算法的优势都来自对特定问题结构的假设（归纳偏置）。

<strong>没有免费午餐（NFL）定理</strong>（Wolpert 1996）的严格表述：若在所有可能的目标函数 f 上<strong>均匀平均</strong>，则任何两个学习算法的<strong>期望泛化误差相同</strong>。<strong>直觉解释</strong>：若对问题一无所知（所有 f 等可能），则'随机猜测'与'最精巧的算法'平均表现一样——因为任何算法在某些 f 上表现好，必在另一些 f 上表现差（例如'所有样本都是正类'的 f 会让'学习'反而有害）。<strong>为什么这不意味着算法等价</strong>：真实问题<strong>不是均匀分布</strong>的——它们有结构（平滑性、局部性、稀疏性、层次性）。算法的优势正来自<strong>归纳偏置</strong>（inductive bias）与真实问题结构的<strong>匹配</strong>：CNN 假设局部性与平移不变（匹配图像）、Transformer 假设全局关系（匹配长程依赖）、树模型假设轴平行分割与交互（匹配表格数据）、线性模型假设线性性。<strong>核心结论</strong>：算法选择不是'找最强的算法'，而是'找与问题结构最匹配的归纳偏置'。

实践含义：① <strong>为什么表格数据上 GBDT 常胜</strong>——表格数据的典型结构是'少量异质特征 + 非线性 + 交互 + 对旋转不敏感'，这与树的轴平行分裂高度匹配；而神经网络在表格数据上缺乏合适偏置（需大量调参）。② <strong>为什么图像用 CNN/ViT</strong>——图像的结构是局部相关 + 平移等变 + 层次性，CNN 的归纳偏置天然匹配；ViT 缺乏这些偏置故需更多数据（或强增强/蒸馏）。③ <strong>为什么序列用 Transformer/RNN</strong>——序列的结构是顺序依赖与变长，注意力提供全局建模（但需位置编码补充顺序偏置）。④ <strong>偏置-方差的双重角色</strong>——强归纳偏置降低方差（假设空间小）但可能引入偏差；弱偏置（如全连接网络）偏差低但方差高、需更多数据；这解释了'小数据用强偏置模型（线性/树）、大数据可用弱偏置模型（深网）'。⑤ <strong>迁移学习与预训练的价值</strong>——预训练本质上是从大规模数据中<strong>学到好的归纳偏置/表示</strong>，使下游任务只需少量数据；这是'预训练 + 微调'优于'从头训练'的理论依据。⑥ <strong>实践建议</strong>——不要盲目追随 SOTA，而应问'我的数据结构是什么？哪个模型的假设与之匹配？'；并在小数据上用交叉验证比较几个不同偏置的模型族（线性/树/核/神经网络）。