样本复杂度与 Rademacher 泛化界

统计学习理论中的样本复杂度、VC 维与 Rademacher 复杂度泛化误差上界 (Statistical Learning Theory: Sample Complexity, VC-Dimension & Empirical Rademacher Complexity Bounds) 是研究机器学习泛化理论、PAC (Probably Approximately Correct) 可学习性与过拟合边界的核心数学工具箱；核心理论体系：1) 经验 Rademacher 复杂度：衡量假设空间 $\mathcal{H}$ 对随机雷德马赫噪声 $\sigma_i \in \{-1, +1\}$ 的拟合能力：$\hat{\mathcal{R}}_S(\mathcal{H}) = \mathbb{E}_\sigma \left[ \sup_{h \in \mathcal{H}} \frac{1}{m} \sum_{i=1}^m \sigma_i h(x_i) \right]$；2) 泛化误差上界定理：以至少 $1-\delta$ 的高概率成立，真实泛化风险 $R(h)$ 被经验训练风险与 Rademacher 复杂度严格限制：$R(h) \le \hat{R}_S(h) + 2 \hat{\mathcal{R}}_S(\mathcal{H}) + 3 \sqrt{\frac{\ln(2/\delta)}{2m}}$；3) 谱范数归一化泛化界 (Bartlett's Spectral Norm Bound): 针对深度神经网络推导出与网络参数量无关、仅依赖于各层权重矩阵谱范数之积 $\prod \|W_l\|_2$ 的严格泛化界。

统计学习理论研究、深层网络泛化性数学证明、样本效率理论推导。

传统 VC 维理论认为当模型参数量远大于样本量时必然过拟合，无法解释现代过参数化深度学习拥有数千亿参数却能优秀泛化的现象；基于 Rademacher 复杂度和谱范数的界解释了正则化与隐式偏置下的泛化能力。

从霍夫丁不等式 (Hoeffding's Inequality) 与 McDiarmid 不等式完整推导 Rademacher 复杂度均匀泛化误差上界定理？

对比 VC 维 (VC-Dimension: 纯组合几何性质、分布无关) 与 Rademacher 复杂度 (数据依赖、反映底层数据流形分布) 的核心数学差异？

为什么在现代深度神经网络中，参数量 $P \gg N$（过参数化百万倍）时，传统基于参数量的复杂度界会崩溃（变为无意义的大数），而谱范数界 (Spectral Bounds) 依然有效？

对偶范数与向量集中不等式 (Vector Concentration Inequalities): 线性分类器 $\mathcal{H} = \{x \mapsto w^T x: \|w\|_2 \le B\}$ 的 Rademacher 复杂度推导？

隐式正则化理论 (Implicit Regularization): 梯度下降在过参数化线性回归中为什么能自动收敛至最小 $L_2$ 范数解（无显式正则项）？