Bias-Variance Tradeoff & Model Selection: 解释 AIC、BIC 与调整 R²，以及它们与交叉验证的关系。

Core Concept: 信息准则 = 拟合优度 − 复杂度惩罚；AIC/BIC 用解析惩罚近似 CV，BIC 惩罚更强且有一致性。

三者的构造与含义：① <strong>AIC</strong> = 2k − 2log L̂——衡量'拟合优度（对数似然）减去参数个数的 2 倍惩罚'；理论依据是 AIC 渐近无偏地估计了模型的<strong>KL 风险</strong>（预测分布与真实分布的差异），故目标偏向<strong>预测最优</strong>（可能选出比真模型更复杂的模型）。② <strong>BIC</strong> = k·log n − 2log L̂——惩罚更重（当 n>7 时 log n>2），且具有<strong>一致性</strong>：n→∞ 时以概率 1 选出真模型（若真模型在候选集中）；故目标偏向<strong>识别真模型</strong>（更保守、更简洁）。③ <strong>调整 R²</strong> = 1 − (1−R²)(n−1)/(n−k−1)——对 R² 做自由度校正，惩罚增加特征；但它只适用于<strong>线性回归</strong>且<strong>不适用于比较非嵌套模型</strong>（不同响应变量时不可比）。<strong>与交叉验证的关系</strong>：AIC/BIC 是 CV 的<strong>解析近似</strong>——AIC 渐近等价于留一交叉验证（LOO-CV），BIC 则近似于某种加权的 CV；它们的优势是<strong>只需一次拟合</strong>（无需 K 次重训），在大数据上成本极低；劣势是依赖渐近假设（大样本、真模型在候选集中、似然正确指定）。

实践选择与要点：① <strong>AIC vs BIC</strong>——若目标是<strong>预测</strong>（不假设真模型在候选集中），用 AIC；若目标是<strong>识别真模型</strong>（如变量选择、科学推断），用 BIC。实践中 BIC 更常用（倾向简洁模型）。② <strong>何时用 CV 而非信息准则</strong>——(a) 小样本（渐近近似不准）；(b) 模型非嵌套或包含正则化（似然不标准）；(c) 目标指标不是似然（如 AUC、F1）——此时 CV 更直接可靠。③ <strong>信息准则的适用条件</strong>——需<strong>极大似然估计</strong>、<strong>样本量足够</strong>、<strong>模型正确指定</strong>（若模型误设，AIC/BIC 的解读需谨慎）；且只能比较<strong>同一响应变量</strong>的模型（比较不同变换的 y 无意义）。④ <strong>与正则化的关系</strong>——Lasso 等路径上的 λ 选择不能用 AIC/BIC 直接做（因为自由度定义模糊），应改用 <strong>BIC 的推广（EBIC）</strong>、<strong>CV</strong> 或 <strong>稳定性选择</strong>。⑤ <strong>自由度 k 的定义</strong>——对正则化模型 k 应是<strong>有效自由度</strong>（如岭回归的 tr(H)、Lasso 的非零系数个数），而非参数总数。⑥ <strong>报告规范</strong>——报告多个准则（AIC/BIC/调整 R²/CV）并说明一致性；若结论冲突，应说明依据（预测 vs 解释）。