M2-064M2: 经典机器学习特征工程Medium
⚡闪卡盲测➔掌握度:

解释特征交互与多项式特征,什么时候需要

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-065 →
📐 核心数学机理公式
ϕ(x)=[1,x1,x2,x1x2,x12,… ]\phi(x)=[1,x_1,x_2,x_1x_2,x_1^2,\dots]
⚡ 一句话直击要害答案
线性模型无法捕捉交互,需显式构造 x_i·x_j;树模型可自动学习交互。

📌 核心要点提炼

  • •
    组合爆炸 → 需特征选择或 FM/FFM
  • •
    深度学习用注意力隐式建模交互

📐 数学机理与严密推导

交互的必要性:线性模型假设 E[y|x]=Σwⱼxⱼ(各特征独立贡献),无法表达'效果依赖另一特征'的关系——例如'广告投放的效果取决于用户年龄'(年龄×投放的交互项)。多项式特征(sklearn 的 PolynomialFeatures)显式生成所有 d 阶组合(x₁x₂、x₁²、x₁x₂x₃ 等),把线性模型提升为多项式回归。组合爆炸:p 个特征的 d 阶组合数为 C(p+d, d),当 p=100、d=2 时约 5000 项,d=3 时约 17 万项——参数与计算量急剧上升,且需要大量数据才能稳定估计。替代方案:① 特征选择——只保留有意义的交互(用领域知识或正则筛选);② FM(因子分解机)——为每个特征学隐向量 vⱼ,用 ⟨vⱼ,vₖ⟩ 表示二阶交互权重,参数量从 O(p²) 降到 O(pk),这是推荐系统(CTR 预估)的核心;③ FFM(Field-aware FM)——为每个特征域单独学隐向量,表达力更强。

🏭 深度剖析与工业落地权衡

实践要点:① 树模型自动学交互——树的分裂天然产生交互(一个分裂在另一个之后即形成条件依赖),故树模型通常不需要手工构造交互特征;但线性模型、逻辑回归、SVM(线性核)必须显式加。② 领域知识优先——有意义的交互应由领域知识指导(如'价格/收入'比、'BMI=体重/身高²'),这比盲目生成全部多项式更有效且可解释。③ 深度学习的隐式交互——神经网络的隐藏层可自动学习任意阶交互(理论上 MLP 是通用逼近器),注意力机制进一步实现内容自适应的交互(每对特征按语义加权);这使特征工程在深度学习中需求大幅降低(但仍有用——输入表示的设计仍是关键)。④ 数值稳定性——高阶多项式会导致数值范围急剧扩大(x=10 时 x⁵=100000),需标准化或改用样条(spline)替代高次项。⑤ 正则化的必要性——加入大量交互后必须用 L1/L2 正则或特征选择控制复杂度。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    对树模型手工构造全部多项式交互(冗余且增噪)
  • ✕
    加入大量高阶交互而不做正则化
🎯 面试官连环追问与延伸考察
  • ?
    FM 如何避免组合爆炸?
  • ?
    为什么深度学习不需要手工交互?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-063: 为什么要对数值特征分箱?分箱方式有哪些📋 返回题库下一题 →M2-065: 时间特征的工程要点有哪些?如何避免泄漏