Linear Regression: 解释回归中的交互项与多项式项，以及如何避免过拟合。

Core Concept: 交互项捕捉'一个特征的效应依赖另一特征'；多项式项捕捉非线性；需标准化与正则化。

交互项的作用：在模型 y=w₀+w₁x₁+w₂x₂+w₃x₁x₂ 中，x₁ 对 y 的<strong>边际效应</strong>是 ∂y/∂x₁=w₁+w₃x₂——即<strong>依赖于 x₂ 的取值</strong>。若 w₃ 显著，说明两个特征存在<strong>协同或拮抗</strong>作用（例如'广告投放的回报取决于用户年龄'）。<strong>多项式项</strong>（x²、x³…）用于捕捉非线性：单变量情况下它把线性模型提升为多项式回归，可拟合任意光滑曲线。<strong>过拟合风险与对策</strong>：① <strong>数值不稳定</strong>——x 的取值范围随幂次急剧扩大（x=10 时 x⁵=10⁵），导致设计矩阵病态；对策是先<strong>中心化</strong>（减均值）与<strong>标准化</strong>（除标准差），使各幂次量级相近；② <strong>参数爆炸</strong>——p 个特征的 d 阶组合数为 C(p+d,d)，d=3、p=100 时达 17 万项；对策是<strong>只加有领域意义的交互</strong>、用<strong>正则化</strong>（L1/L2）或<strong>特征选择</strong>筛选；③ <strong>多重共线性</strong>——x 与 x² 高度相关（尤其 x 全为正时），导致系数方差爆炸；中心化能显著缓解（中心化后 x 与 x² 的相关性降为 0，若 x 对称）；④ <strong>外推危险</strong>——多项式在训练数据范围外会急剧发散，故<strong>不可外推</strong>。

实践建议与替代方案：① <strong>中心化是必须的</strong>——构造交互项与多项式项前应中心化（有时也称'正交多项式'），这既改善数值条件又使系数更可解释（主效应在'其他变量取均值时'的意义）。② <strong>树模型与深度学习的替代</strong>——树模型自动学习交互与非线性（无需手工构造），深度学习用隐藏层与注意力隐式建模交互；故<strong>手工构造主要针对线性模型</strong>。③ <strong>正则化的必要性</strong>——加入大量交互/多项式后必须用 L1（选择有用项）、L2（收缩）或弹性网；实践中常配合<strong>分层建模</strong>（先加主效应，再逐步加交互，用 CV 验证每一步的增益）。④ <strong>分箱替代多项式</strong>——对有非线性的特征，分箱（等频/有监督）比高次多项式更稳健（抗异常值、可解释），是风控评分卡的常用做法。⑤ <strong>交互项的选择</strong>——优先用领域知识（如'价格/收入'比、'BMI'）而非盲目生成全部交互；也可用树模型的重要度或 SHAP 交互值<strong>发现</strong>值得加入的交互项。⑥ <strong>诊断</strong>——用偏残差图（partial residual plot）观察非线性是否被捕捉、用 VIF 检查共线。