M2-064M2: 经典机器学习特征工程Medium
⚡闪卡盲测➔掌握度:
解释特征交互与多项式特征,什么时候需要
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
线性模型无法捕捉交互,需显式构造 x_i·x_j;树模型可自动学习交互。
📌 核心要点提炼
- •组合爆炸 → 需特征选择或 FM/FFM
- •深度学习用注意力隐式建模交互
📐 数学机理与严密推导
交互的必要性:线性模型假设 E[y|x]=Σwⱼxⱼ(各特征独立贡献),无法表达'效果依赖另一特征'的关系——例如'广告投放的效果取决于用户年龄'(年龄×投放的交互项)。多项式特征(sklearn 的
PolynomialFeatures)显式生成所有 d 阶组合(x₁x₂、x₁²、x₁x₂x₃ 等),把线性模型提升为多项式回归。组合爆炸:p 个特征的 d 阶组合数为 C(p+d, d),当 p=100、d=2 时约 5000 项,d=3 时约 17 万项——参数与计算量急剧上升,且需要大量数据才能稳定估计。替代方案:① 特征选择——只保留有意义的交互(用领域知识或正则筛选);② FM(因子分解机)——为每个特征学隐向量 vⱼ,用 ⟨vⱼ,vₖ⟩ 表示二阶交互权重,参数量从 O(p²) 降到 O(pk),这是推荐系统(CTR 预估)的核心;③ FFM(Field-aware FM)——为每个特征域单独学隐向量,表达力更强。🏭 深度剖析与工业落地权衡
实践要点:① 树模型自动学交互——树的分裂天然产生交互(一个分裂在另一个之后即形成条件依赖),故树模型通常不需要手工构造交互特征;但线性模型、逻辑回归、SVM(线性核)必须显式加。② 领域知识优先——有意义的交互应由领域知识指导(如'价格/收入'比、'BMI=体重/身高²'),这比盲目生成全部多项式更有效且可解释。③ 深度学习的隐式交互——神经网络的隐藏层可自动学习任意阶交互(理论上 MLP 是通用逼近器),注意力机制进一步实现内容自适应的交互(每对特征按语义加权);这使特征工程在深度学习中需求大幅降低(但仍有用——输入表示的设计仍是关键)。④ 数值稳定性——高阶多项式会导致数值范围急剧扩大(x=10 时 x⁵=100000),需标准化或改用样条(spline)替代高次项。⑤ 正则化的必要性——加入大量交互后必须用 L1/L2 正则或特征选择控制复杂度。
⚠️ 常见面试陷阱与高频失分点
- ✕对树模型手工构造全部多项式交互(冗余且增噪)
- ✕加入大量高阶交互而不做正则化
🎯 面试官连环追问与延伸考察
- ?FM 如何避免组合爆炸?
- ?为什么深度学习不需要手工交互?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!