E4Medium★ 工业基石 (核心高频)Part E · 损失函数大全

InfoNCE 对比学习损失(Batch 内样本对与温度缩放)

⚡闪卡盲测➔

SimCLR / MoCo / 对比表示学习核心,互信息下界优化,同行对角线为正样本,其余为负样本。

⏱️ 时间复杂度: O(B^2 * D)
💾 空间复杂度: O(B^2) 相似度矩阵显存
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def info_nce_loss(
q: np.ndarray, # (B, D) Query 特征向量
k: np.ndarray, # (B, D) Key 特征向量 (第 i 个 q 与第 i 个 k 互为正样本对)
tau: float = 0.07
) -> float:
# 1. L2 范数归一化 (余弦相似度前提)
q_norm =
k_norm = k / np.linalg.norm(k, axis=-1, keepdims=True)
# 2. 计算相似度矩阵: (B, D) @ (D, B) -> (B, B)
similarity = (q_norm @ k_norm.T) / tau
# 3. 构造对角线正样本目标: targets = [0, 1, ..., B-1]
B = q.shape[0]
targets = np.arange(B)
# 4. 数值稳定交叉熵计算
sim_max = np.max(similarity, axis=-1, keepdims=True)
exp_sim = np.exp(similarity - sim_max)
log_sum = sim_max.squeeze(-1) + np.log(np.sum(exp_sim, axis=-1))
# 对角线正样本点积分数
pos_sim = np.diag(similarity)
loss = log_sum - pos_sim
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 如果 Batch Size 受显存限制无法设得很大,对比学习有哪些经典解决路径?
下一题: CLIP 对称对比损失(双向图文匹配) →
💡

实战一句话记忆口诀

先做归一算内积,除以温度调惩罚,对角正例四方负

📐 核心数学公式与机理推导

LInfoNCE=−log⁡esim(q,k+)/τesim(q,k+)/τ+∑iesim(q,ki−)/τ\mathcal{L}_{\text{InfoNCE}} = -\log \frac{e^{\mathrm{sim}(q, k_+) / \tau}}{e^{\mathrm{sim}(q, k_+) / \tau} + \sum_i e^{\mathrm{sim}(q, k_i^-) / \tau}}
### 互信息下界推导与温度系数
InfoNCE(Information Noise-Contrastive Estimation)是表示学习中互信息 I(X;Y)I(X; Y) 的下界优化目标。
在无监督预训练中,给定一个 Query 表征 qq、一个正样本 k+k_+(例如同一张图的不同增强版本)和一组负样本 {ki−}\{k_i^-\}:
将其建模为一个多分类问题:在所有候选键中正确识别出正样本对的对数后验概率。
温度系数 $\tau$(Temperature)的物理意义:
- τ\tau 控制注意力的平滑度与排斥力;
- τ\tau 较小时,相似度稍高的负样本会受到指数级强烈的惩罚(Hard Negative Mining 效应);
- 工业推荐通常取 τ=0.07\tau = 0.07(MoCo 默认)或可学习标量。

🔄 张量维度与形状流转说明

q, k: (B, D) -> L2 归一化 -> 余弦相似度矩阵: (B, B) / tau -> 对角线正样本 -> CrossEntropy -> 标量损失

🛡️ 数值稳定性自检与边界要点

  • 特征必须先做 L2 范数归一化,否则未约束的模长会导致指数溢出
  • 矩阵对角线上的元素 [i,i][i, i] 对应 (qi,ki)(q_i, k_i) 正样本对,其余非对角线元素全为负样本
  • Batch Size 越大,InfoNCE 效果越好(负样本库越丰富,互信息下界估计越紧致)

💻 完整参考代码实现

import numpy as np

def info_nce_loss(
    q: np.ndarray,      # (B, D) Query 特征向量
    k: np.ndarray,      # (B, D) Key 特征向量 (第 i 个 q 与第 i 个 k 互为正样本对)
    tau: float = 0.07
) -> float:
    # 1. L2 范数归一化 (余弦相似度前提)
    q_norm = q / np.linalg.norm(q, axis=-1, keepdims=True)
    k_norm = k / np.linalg.norm(k, axis=-1, keepdims=True)
    
    # 2. 计算相似度矩阵: (B, D) @ (D, B) -> (B, B)
    similarity = (q_norm @ k_norm.T) / tau
    
    # 3. 构造对角线正样本目标: targets = [0, 1, ..., B-1]
    B = q.shape[0]
    targets = np.arange(B)
    
    # 4. 数值稳定交叉熵计算
    sim_max = np.max(similarity, axis=-1, keepdims=True)
    exp_sim = np.exp(similarity - sim_max)
    log_sum = sim_max.squeeze(-1) + np.log(np.sum(exp_sim, axis=-1))
    
    # 对角线正样本点积分数
    pos_sim = np.diag(similarity)
    
    loss = log_sum - pos_sim
    return float(np.mean(loss))

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
B, D = 4, 16
q = np.random.randn(B, D)
k = q + np.random.randn(B, D) * 0.01 # 强正相关
loss = info_nce_loss(q, k, tau=0.07)
# 正样本几乎一致时,损失应极低
assert loss < 0.1, f"强正样本损失应很小: {loss}"
print("✓ InfoNCE 对比损失自测通过")

🎯 核心工程追问与标准应答

Q1:如果 Batch Size 受显存限制无法设得很大,对比学习有哪些经典解决路径?
1. 队列动量缓存(MoCo):维护一个跨批次先进先出的 Key 队列,解耦 Batch Size 与负样本容量;2. 跨卡 All-Gather 显存共享:在分布式 DDP 中将各卡特征进行 All-Gather 同步组成超大全局相似度矩阵。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: Focal Loss(类别不平衡聚焦因子)返回 Part E 与全部 105 题下一题: CLIP 对称对比损失(双向图文匹配) →