E1Easy★ 工业基石 (核心高频)Part E · 损失函数大全
Cross-Entropy 交叉熵(Log-Softmax 稳定 + ignore_index)
通过 Log-Sum-Exp 稳定化消除中间概率下溢,支持忽略填充标签 ignore_index 的数值稳定损失算子。
⏱️ 时间复杂度:
O(N * C)💾 空间复杂度:
O(N * C) 临时指数缓存🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def cross_entropy_loss(
logits: np.ndarray, # (B, C) 或 (B, S, C) 未归一化的实数预测
targets: np.ndarray, # (B,) 或 (B, S) 整数真实类别标签
ignore_index: int = -100,
reduction: str = "mean"
) -> float:
# 展平成 2D: (N, C) 与 (N,)
C = logits.shape[-1]
flat_logits =
flat_targets = targets.reshape(-1)
# 1. 计算 Log-Sum-Exp: log(sum(exp(z)))
z_max = np.max(flat_logits, axis=-1, keepdims=True)
exp_shifted = np.exp(flat_logits - z_max)
log_sum_exp = z_max.squeeze(-1) + np.log(np.sum(exp_shifted, axis=-1))
# 2. 提取目标类别的 logits: z_y
# 过滤 ignore_index
valid_mask = flat_targets != ignore_index
valid_targets = flat_targets[valid_mask]
valid_logits = flat_logits[valid_mask]
valid_lse = log_sum_exp[valid_mask]
if len(valid_targets) == 0:
return 0.0
# 获取有效样本的目标 logit: z[i, target[i]]
N_valid = len(valid_targets)
target_logits = valid_logits[np.arange(N_valid), valid_targets]
# 3. 负对数似然损失: L = -(z_y - LSE) = LSE - z_y
losses = valid_lse - target_logits
if reduction == "mean":
return float(np.mean(losses))
elif reduction == "sum":
return
return losses
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: Label Smoothing(标签平滑)如何修改交叉熵公式?对模型校准有何影响?
💡
实战一句话记忆口诀
LSE 减去目标项,ignore_index 剔除忙,分母只除有效数
📐 核心数学公式与机理推导
### 数值稳定性化简与对数概率
交叉熵损失定义为 。
若先计算 再计算 :当模型初期对某类别预测极其不准时,(在 FP32 下当 时浮点下溢为精确的 0.0),此时 ,梯度发生 NaN 崩溃。
数值稳定化简:
彻底将 Softmax 的除法转换为 LogSumExp 的减法,完全没有除零和 风险。
ignore_index 机制:
在掩码语言建模(如 BERT)或因果指令微调(SFT)中,Prompt 提示词部分不参与梯度计算,其 target 通常置为
交叉熵损失定义为 。
若先计算 再计算 :当模型初期对某类别预测极其不准时,(在 FP32 下当 时浮点下溢为精确的 0.0),此时 ,梯度发生 NaN 崩溃。
数值稳定化简:
彻底将 Softmax 的除法转换为 LogSumExp 的减法,完全没有除零和 风险。
ignore_index 机制:
在掩码语言建模(如 BERT)或因果指令微调(SFT)中,Prompt 提示词部分不参与梯度计算,其 target 通常置为
-100。算子必须跳过该位置并在求均值时扣除有效 Token 计数。🔄 张量维度与形状流转说明
logits: (N, C) -> max 减法与 exp -> LSE: (N,) -> 索引抽取 target_logits: (N_valid,) -> LSE - z_y -> (N_valid,) -> mean/sum 标量
🛡️ 数值稳定性自检与边界要点
- 绝对不可写成 -np.log(softmax(logits)[range, targets])
- 使用 target != ignore_index 掩码时,mean 归一化分母必须除以有效 Token 数 N_valid,而非总长 N
- 反向传播梯度形式极其优雅:dlogits = (softmax(logits) - one_hot(targets)) / N_valid
💻 完整参考代码实现
import numpy as np
def cross_entropy_loss(
logits: np.ndarray, # (B, C) 或 (B, S, C) 未归一化的实数预测
targets: np.ndarray, # (B,) 或 (B, S) 整数真实类别标签
ignore_index: int = -100,
reduction: str = "mean"
) -> float:
# 展平成 2D: (N, C) 与 (N,)
C = logits.shape[-1]
flat_logits = logits.reshape(-1, C)
flat_targets = targets.reshape(-1)
# 1. 计算 Log-Sum-Exp: log(sum(exp(z)))
z_max = np.max(flat_logits, axis=-1, keepdims=True)
exp_shifted = np.exp(flat_logits - z_max)
log_sum_exp = z_max.squeeze(-1) + np.log(np.sum(exp_shifted, axis=-1))
# 2. 提取目标类别的 logits: z_y
# 过滤 ignore_index
valid_mask = flat_targets != ignore_index
valid_targets = flat_targets[valid_mask]
valid_logits = flat_logits[valid_mask]
valid_lse = log_sum_exp[valid_mask]
if len(valid_targets) == 0:
return 0.0
# 获取有效样本的目标 logit: z[i, target[i]]
N_valid = len(valid_targets)
target_logits = valid_logits[np.arange(N_valid), valid_targets]
# 3. 负对数似然损失: L = -(z_y - LSE) = LSE - z_y
losses = valid_lse - target_logits
if reduction == "mean":
return float(np.mean(losses))
elif reduction == "sum":
return float(np.sum(losses))
return losses
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
logits = np.array([[1000.0, 1001.0, 1002.0], [2.0, 1.0, 0.0]])
targets = np.array([2, -100]) # 第二个被忽略
loss = cross_entropy_loss(logits, targets, ignore_index=-100)
# 样本 0 target 为 2,即最大项,loss 应为 -log(softmax([0, 1, 2])[2]) = 0.4076
assert not np.isnan(loss) and not np.isinf(loss)
assert np.isclose(loss, 0.4076, atol=1e-3)
print("✓ 交叉熵损失数值稳定自测通过")🎯 核心工程追问与标准应答
Q1:Label Smoothing(标签平滑)如何修改交叉熵公式?对模型校准有何影响?
将真实 One-Hot 标签 替换为 ,损失分解为 (交叉熵与均匀分布熵的加权)。它有效防止模型在 Softmax 极值区输出过度自信的无限大 Logits,显著改善模型的预测概率校准度和抗噪泛化能力。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!