E1Easy★ 工业基石 (核心高频)Part E · 损失函数大全

Cross-Entropy 交叉熵(Log-Softmax 稳定 + ignore_index)

⚡闪卡盲测➔

通过 Log-Sum-Exp 稳定化消除中间概率下溢,支持忽略填充标签 ignore_index 的数值稳定损失算子。

⏱️ 时间复杂度: O(N * C)
💾 空间复杂度: O(N * C) 临时指数缓存
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def cross_entropy_loss(
logits: np.ndarray, # (B, C) 或 (B, S, C) 未归一化的实数预测
targets: np.ndarray, # (B,) 或 (B, S) 整数真实类别标签
ignore_index: int = -100,
reduction: str = "mean"
) -> float:
# 展平成 2D: (N, C) 与 (N,)
C = logits.shape[-1]
flat_logits =
flat_targets = targets.reshape(-1)
# 1. 计算 Log-Sum-Exp: log(sum(exp(z)))
z_max = np.max(flat_logits, axis=-1, keepdims=True)
exp_shifted = np.exp(flat_logits - z_max)
log_sum_exp = z_max.squeeze(-1) + np.log(np.sum(exp_shifted, axis=-1))
# 2. 提取目标类别的 logits: z_y
# 过滤 ignore_index
valid_mask = flat_targets != ignore_index
valid_targets = flat_targets[valid_mask]
valid_logits = flat_logits[valid_mask]
valid_lse = log_sum_exp[valid_mask]
if len(valid_targets) == 0:
return 0.0
# 获取有效样本的目标 logit: z[i, target[i]]
N_valid = len(valid_targets)
target_logits = valid_logits[np.arange(N_valid), valid_targets]
# 3. 负对数似然损失: L = -(z_y - LSE) = LSE - z_y
losses = valid_lse - target_logits
if reduction == "mean":
return float(np.mean(losses))
elif reduction == "sum":
return
return losses
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: Label Smoothing(标签平滑)如何修改交叉熵公式?对模型校准有何影响?
下一题: BCE with Logits Loss(二元交叉熵数值稳定) →
💡

实战一句话记忆口诀

LSE 减去目标项,ignore_index 剔除忙,分母只除有效数

📐 核心数学公式与机理推导

L=−log⁡ezy∑jezj=−zy+max⁡(z)+log⁡∑jezj−max⁡(z)\mathcal{L} = -\log \frac{e^{z_y}}{\sum_j e^{z_j}} = -z_y + \max(z) + \log \sum_j e^{z_j - \max(z)}
### 数值稳定性化简与对数概率
交叉熵损失定义为 L=−log⁡py\mathcal{L} = -\log p_y。
若先计算 pj=softmax(z)jp_j = \mathrm{softmax}(z)_j 再计算 log⁡(py)\log(p_y):当模型初期对某类别预测极其不准时,py→0p_y \to 0(在 FP32 下当 zy−max⁡z<−88z_y - \max z < -88 时浮点下溢为精确的 0.0),此时 log⁡(0)=−∞\log(0) = -\infty,梯度发生 NaN 崩溃。
数值稳定化简:
log⁡py=log⁡ezy∑jezj=zy−log⁡∑jezj=zy−(max⁡kzk+log⁡∑jezj−max⁡kzk)\log p_y = \log \frac{e^{z_y}}{\sum_j e^{z_j}} = z_y - \log \sum_j e^{z_j} = z_y - \left(\max_k z_k + \log \sum_j e^{z_j - \max_k z_k}\right)
彻底将 Softmax 的除法转换为 LogSumExp 的减法,完全没有除零和 log⁡(0)\log(0) 风险。

ignore_index 机制:
在掩码语言建模(如 BERT)或因果指令微调(SFT)中,Prompt 提示词部分不参与梯度计算,其 target 通常置为 -100。算子必须跳过该位置并在求均值时扣除有效 Token 计数。

🔄 张量维度与形状流转说明

logits: (N, C) -> max 减法与 exp -> LSE: (N,) -> 索引抽取 target_logits: (N_valid,) -> LSE - z_y -> (N_valid,) -> mean/sum 标量

🛡️ 数值稳定性自检与边界要点

  • 绝对不可写成 -np.log(softmax(logits)[range, targets])
  • 使用 target != ignore_index 掩码时,mean 归一化分母必须除以有效 Token 数 N_valid,而非总长 N
  • 反向传播梯度形式极其优雅:dlogits = (softmax(logits) - one_hot(targets)) / N_valid

💻 完整参考代码实现

import numpy as np

def cross_entropy_loss(
    logits: np.ndarray,      # (B, C) 或 (B, S, C) 未归一化的实数预测
    targets: np.ndarray,     # (B,) 或 (B, S) 整数真实类别标签
    ignore_index: int = -100,
    reduction: str = "mean"
) -> float:
    # 展平成 2D: (N, C) 与 (N,)
    C = logits.shape[-1]
    flat_logits = logits.reshape(-1, C)
    flat_targets = targets.reshape(-1)
    
    # 1. 计算 Log-Sum-Exp: log(sum(exp(z)))
    z_max = np.max(flat_logits, axis=-1, keepdims=True)
    exp_shifted = np.exp(flat_logits - z_max)
    log_sum_exp = z_max.squeeze(-1) + np.log(np.sum(exp_shifted, axis=-1))
    
    # 2. 提取目标类别的 logits: z_y
    # 过滤 ignore_index
    valid_mask = flat_targets != ignore_index
    valid_targets = flat_targets[valid_mask]
    valid_logits = flat_logits[valid_mask]
    valid_lse = log_sum_exp[valid_mask]
    
    if len(valid_targets) == 0:
        return 0.0
    
    # 获取有效样本的目标 logit: z[i, target[i]]
    N_valid = len(valid_targets)
    target_logits = valid_logits[np.arange(N_valid), valid_targets]
    
    # 3. 负对数似然损失: L = -(z_y - LSE) = LSE - z_y
    losses = valid_lse - target_logits
    
    if reduction == "mean":
        return float(np.mean(losses))
    elif reduction == "sum":
        return float(np.sum(losses))
    return losses

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
logits = np.array([[1000.0, 1001.0, 1002.0], [2.0, 1.0, 0.0]])
targets = np.array([2, -100]) # 第二个被忽略
loss = cross_entropy_loss(logits, targets, ignore_index=-100)
# 样本 0 target 为 2,即最大项,loss 应为 -log(softmax([0, 1, 2])[2]) = 0.4076
assert not np.isnan(loss) and not np.isinf(loss)
assert np.isclose(loss, 0.4076, atol=1e-3)
print("✓ 交叉熵损失数值稳定自测通过")

🎯 核心工程追问与标准应答

Q1:Label Smoothing(标签平滑)如何修改交叉熵公式?对模型校准有何影响?
将真实 One-Hot 标签 (1,0,… )(1, 0, \dots) 替换为 (1−ϵ)+ϵ/C(1 - \epsilon) + \epsilon / C,损失分解为 (1−ϵ)LCE+ϵH(u,p)(1 - \epsilon) \mathcal{L}_{\mathrm{CE}} + \epsilon \mathcal{H}(u, p)(交叉熵与均匀分布熵的加权)。它有效防止模型在 Softmax 极值区输出过度自信的无限大 Logits,显著改善模型的预测概率校准度和抗噪泛化能力。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: FlashAttention Online Softmax 概念手撕(分块增量归一化)返回 Part E 与全部 105 题下一题: BCE with Logits Loss(二元交叉熵数值稳定) →