M2-100M2: 经典机器学习偏差-方差与模型选择Medium
⚡闪卡盲测➔掌握度:

解释 AIC、BIC 与调整 R²,以及它们与交叉验证的关系

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-101 →
📐 核心数学机理公式
AIC=2k−2log⁡L^,BIC=klog⁡n−2log⁡L^\text{AIC}=2k-2\log\hat L,\qquad \text{BIC}=k\log n-2\log\hat L
⚡ 一句话直击要害答案
信息准则 = 拟合优度 − 复杂度惩罚;AIC/BIC 用解析惩罚近似 CV,BIC 惩罚更强且有一致性。

📌 核心要点提炼

  • •
    AIC 惩罚 2k,BIC 惩罚 k·log n(n>7 时更严)
  • •
    BIC 具有模型选择一致性(n→∞ 选出真模型)

📐 数学机理与严密推导

三者的构造与含义:① AIC = 2k − 2log L̂——衡量'拟合优度(对数似然)减去参数个数的 2 倍惩罚';理论依据是 AIC 渐近无偏地估计了模型的KL 风险(预测分布与真实分布的差异),故目标偏向预测最优(可能选出比真模型更复杂的模型)。② BIC = k·log n − 2log L̂——惩罚更重(当 n>7 时 log n>2),且具有一致性:n→∞ 时以概率 1 选出真模型(若真模型在候选集中);故目标偏向识别真模型(更保守、更简洁)。③ 调整 R² = 1 − (1−R²)(n−1)/(n−k−1)——对 R² 做自由度校正,惩罚增加特征;但它只适用于线性回归且不适用于比较非嵌套模型(不同响应变量时不可比)。与交叉验证的关系:AIC/BIC 是 CV 的解析近似——AIC 渐近等价于留一交叉验证(LOO-CV),BIC 则近似于某种加权的 CV;它们的优势是只需一次拟合(无需 K 次重训),在大数据上成本极低;劣势是依赖渐近假设(大样本、真模型在候选集中、似然正确指定)。

🏭 深度剖析与工业落地权衡

实践选择与要点:① AIC vs BIC——若目标是预测(不假设真模型在候选集中),用 AIC;若目标是识别真模型(如变量选择、科学推断),用 BIC。实践中 BIC 更常用(倾向简洁模型)。② 何时用 CV 而非信息准则——(a) 小样本(渐近近似不准);(b) 模型非嵌套或包含正则化(似然不标准);(c) 目标指标不是似然(如 AUC、F1)——此时 CV 更直接可靠。③ 信息准则的适用条件——需极大似然估计、样本量足够、模型正确指定(若模型误设,AIC/BIC 的解读需谨慎);且只能比较同一响应变量的模型(比较不同变换的 y 无意义)。④ 与正则化的关系——Lasso 等路径上的 λ 选择不能用 AIC/BIC 直接做(因为自由度定义模糊),应改用 BIC 的推广(EBIC)、CV 或 稳定性选择。⑤ 自由度 k 的定义——对正则化模型 k 应是有效自由度(如岭回归的 tr(H)、Lasso 的非零系数个数),而非参数总数。⑥ 报告规范——报告多个准则(AIC/BIC/调整 R²/CV)并说明一致性;若结论冲突,应说明依据(预测 vs 解释)。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    用 AIC/BIC 比较不同响应变量变换的模型
  • ✕
    把正则化模型的参数总数当作自由度 k
🎯 面试官连环追问与延伸考察
  • ?
    为什么 AIC 与 BIC 会给出不同结论?
  • ?
    信息准则 vs 交叉验证的取舍?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-099: 解释随机深度(Stochastic Depth / DropPath)与它与 Dropout 的差异📋 返回题库下一题 →M2-101: 解释学习曲线与验证曲线,以及各自的诊断用途