统计学习理论中的样本复杂度、VC 维与 Rademacher 复杂度泛化误差上界 (Statistical Learning Theory: Sample Complexity, VC-Dimension & Empirical Rademacher Complexity Bounds) 是研究机器学习泛化理论、PAC (Probably Approximately Correct) 可学习性与过拟合边界的核心数学工具箱;核心理论体系:1) 经验 Rademacher 复杂度:衡量假设空间
H 对随机雷德马赫噪声
σi∈{−1,+1} 的拟合能力:
R^S(H)=Eσ[suph∈Hm1∑i=1mσih(xi)];2) 泛化误差上界定理:以至少
1−δ 的高概率成立,真实泛化风险
R(h) 被经验训练风险与 Rademacher 复杂度严格限制:
R(h)≤R^S(h)+2R^S(H)+32mln(2/δ);3) 谱范数归一化泛化界 (Bartlett's Spectral Norm Bound): 针对深度神经网络推导出与网络参数量
无关、仅依赖于各层权重矩阵谱范数之积
∏∥Wl∥2 的严格泛化界。