J1Hard★ 工业基石 (核心高频)Part J · 推荐系统与搜索指标
FM 因子分解机(二阶特征交叉 O(kd) 手撕)
推荐系统经典里程碑,通过代数平方差化简将 O(k*d^2) 的全特征交叉降至 O(k*d) 线性复杂度。
⏱️ 时间复杂度:
O(B * D * K) 严格线性时间复杂度💾 空间复杂度:
O(D * K) 隐向量存储🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
class FactorizationMachine:
def __init__(self, num_features: int, k_factors: int = 8):
self.w0 = 0.0 # 全局偏置
self.w1 = np.zeros(num_features) # 一阶线性权重 (D,)
self.V =
def forward(self, x: np.ndarray) -> np.ndarray:
"""
x: (B, D) 样本特征矩阵
返回: (B,) 预测打分
"""
# 1. 零阶与一阶线性部分: w0 + x @ w1
linear_part = self.w0 + x @ self.w1 # (B,)
# 2. 二阶交叉部分
# term1: (sum(V_if * x_i))^2 -> (x @ V)^2 -> (B, K)
sum_vx = x @ self.V # (B, K)
term1 = sum_vx ** 2 # (B, K)
# term2: sum(V_if^2 * x_i^2) -> (x^2 @ V^2) -> (B, K)
term2 = (x ** 2) @ (self.V ** 2) # (B, K)
# 沿 K 轴求和并乘 0.5
interaction_part = 0.5 * np.sum(term1 - term2, axis=-1) # (B,)
return
Step 3 · 反例与边界断言核对
💡
实战一句话记忆口诀
和的平方减平方和,乘上零点五求全和,交叉高阶化线性
📐 核心数学公式与机理推导
### 二阶交叉项的代数化简神技
Steffen Rendle 在 2010 年提出因子分解机(FM)。
在稀疏推荐场景中,高维特征(如 )两两交叉 参数量达 ,不仅极易过拟合且计算不可行。
FM 为每个特征学习一个 维隐向量 ,令交叉权重 。
关键化简步骤:
展开内积并在各维度上独立提取公因子:
成功将计算量从 压缩到 线性耗时!
Steffen Rendle 在 2010 年提出因子分解机(FM)。
在稀疏推荐场景中,高维特征(如 )两两交叉 参数量达 ,不仅极易过拟合且计算不可行。
FM 为每个特征学习一个 维隐向量 ,令交叉权重 。
关键化简步骤:
展开内积并在各维度上独立提取公因子:
成功将计算量从 压缩到 线性耗时!
🔄 张量维度与形状流转说明
x: (B, D) -> linear: (B,) -> sum_vx: (B, K) -> term1, term2 -> 0.5*sum(term1-term2) -> (B,)
🛡️ 数值稳定性自检与边界要点
- V 必须使用小方差(如 0.01)初始化,防止二阶交叉在初期产生巨大数值导致发散
- 在实际 CTR 点击率预估中,最后通常通过 Sigmoid 输出预估点击率概率
💻 完整参考代码实现
import numpy as np
class FactorizationMachine:
def __init__(self, num_features: int, k_factors: int = 8):
self.w0 = 0.0 # 全局偏置
self.w1 = np.zeros(num_features) # 一阶线性权重 (D,)
self.V = np.random.randn(num_features, k_factors) * 0.01 # 二阶隐向量 (D, K)
def forward(self, x: np.ndarray) -> np.ndarray:
"""
x: (B, D) 样本特征矩阵
返回: (B,) 预测打分
"""
# 1. 零阶与一阶线性部分: w0 + x @ w1
linear_part = self.w0 + x @ self.w1 # (B,)
# 2. 二阶交叉部分
# term1: (sum(V_if * x_i))^2 -> (x @ V)^2 -> (B, K)
sum_vx = x @ self.V # (B, K)
term1 = sum_vx ** 2 # (B, K)
# term2: sum(V_if^2 * x_i^2) -> (x^2 @ V^2) -> (B, K)
term2 = (x ** 2) @ (self.V ** 2) # (B, K)
# 沿 K 轴求和并乘 0.5
interaction_part = 0.5 * np.sum(term1 - term2, axis=-1) # (B,)
return linear_part + interaction_part
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
fm = FactorizationMachine(num_features=5, k_factors=4)
x = np.random.randn(2, 5)
out = fm.forward(x)
assert out.shape == (2,)
assert not np.isnan(out).any()
print("✓ FM 因子分解机自测通过")🎯 核心工程追问与标准应答
Q1:DeepFM 是如何在 FM 基础上进行深度学习升级的?
DeepFM 共享相同的 Embedding 输入层,并列并行构建两个分支:FM 分支负责通过上述代数公式手撕显式的二阶低阶特征交叉;Deep 分支通过多层感知机(MLP)拟合高阶非线性特征交互,最后将两部分加权输出,实现了端到端端兼顾记忆性与泛化性。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!