Numerical Stability: 解释为什么用 log1p(exp(-|z|)) 计算 BCE，而不是直接 log(1+exp(-z))。

Core Concept: 直接写法在 z 很负时 exp(-z) 溢出；用 |z| 保证指数非正，永不溢出。

BCE with logits 的标准稳定形式推导：−[y log σ(z)+(1−y)log(1−σ(z))]，其中 log σ(z)=−log(1+e^{−z})、log(1−σ(z))=−z−log(1+e^{−z})。代入化简后得到 max(z,0)−zy+log(1+e^{−|z|})。关键在最后一项用 <strong>|z|</strong> 而非 z：当 z 很负时，e^{−z} 会溢出为 inf（z=−1000 时 e^{1000} 远超 float32 上限）；而 e^{−|z|}=e^{−1000}≈0，log(1+0)=0，完全安全。这个式子在<strong>整个实数区间</strong>都数值安全，且与原始 BCE 数学等价。同理，<code>sigmoid(z)</code> 也需分段实现：z≥0 用 1/(1+e^{−z})，z<0 用 e^z/(1+e^z)，避免 exp 的溢出。

推广到一般形式：<strong>softplus(x)=log(1+e^x)</strong> 在 x 很大时等价于 x（会溢出），稳定实现为 <code>max(x,0)+log1p(exp(−|x|))</code>；这正是上面 BCE 公式的来源。工程含义有三：① <strong>永远使用框架的 <code>*_with_logits</code> 版本</strong>——<code>binary_cross_entropy_with_logits</code>、<code>cross_entropy</code>（内置 log_softmax）、<code>log_softmax</code> 都做了这类稳定化，而 <code>sigmoid</code>+<code>BCE</code> 或 <code>softmax</code>+<code>log</code> 的组合会引入溢出风险与精度损失；② <strong>梯度更干净</strong>——BCE with logits 对 logits 的梯度恰为 (σ(z)−y)，无额外因子；③ <strong>对极端 logits 的鲁棒性</strong>——训练早期 logits 可能很大（如大学习率导致），稳定形式能避免 loss 变 NaN 从而中断训练。