Dense Retrieval & Dual-Encoders: 解释对比学习中的温度参数与它的作用。

Core Concept: τ 控制 softmax 锐度：小 τ 聚焦最难负样本、大 τ 更平滑；检索中常用可学习温度（0.01~0.07）。

数学机理：<strong>温度 τ 的作用</strong>——对比损失的 softmax 为 p(d)=e^{s(q,d)/τ}/Σ_{d'} e^{s(q,d')/τ}，其中 s 是相似度（如余弦 ∈[−1,1] 或内积）。(1) <strong>τ 小</strong>——分布<strong>尖锐</strong>：softmax 集中在相似度最高的负样本上（<strong>聚焦最难负样本</strong>）；梯度主要来自最难的那些；<strong>效果</strong>——类似'hard negative mining'（自动聚焦难例）。(2) <strong>τ 大</strong>——分布<strong>平坦</strong>：所有负样本的权重接近（<strong>平滑</strong>）；梯度来自所有负样本；<strong>效果</strong>——信号更全面但'难例'的影响被稀释。(3) <strong>τ→∞</strong>——退化为均匀分布（无区分度）。<strong>与难负样本挖掘的关系</strong>——温度是'软性的难度聚焦'（不像硬挖掘那样显式选择）；τ 小 ≈ 自动聚焦难例。<strong>为什么用可学习温度</strong>——(a) <strong>尺度匹配</strong>——τ 需与'相似度的尺度'匹配（而尺度随训练/模型变化）；(b) <strong>自适应</strong>——不同任务的'难度'不同；故可学习温度能自动调整。<strong>实证</strong>——(a) 检索模型的可学习温度常收敛到 <strong>0.01~0.07</strong>（较小值，说明'聚焦难负样本'最优）；(b) 固定 τ 需手工调（且可能次优）；(c) CLIP 的温度从 0.07 起步、收敛到约 0.01。<strong>实现细节</strong>——(a) <strong>参数化</strong>——常参数化 logit scale（1/τ）而非 τ 本身（数值更稳定）；初始化为 log(1/0.07)≈2.66；(b) <strong>数值稳定</strong>——softmax 需减最大值（见 M3 的数值稳定题）；(c) <strong>与 batch size 的交互</strong>——大 batch 有更多难负样本，故可用更小 τ。<strong>与其他超参的交互</strong>——(a) <strong>温度 vs 难负样本数量</strong>——两者都影响'聚焦难度'（可互补或替代）；(b) <strong>温度 vs 损失函数</strong>——不同损失（InfoNCE vs sigmoid）对温度的敏感度不同；(c) <strong>温度 vs 嵌入归一化</strong>——若嵌入未归一化，则内积的尺度受向量范数影响（温度的作用会被混淆）；故常<strong>先 L2 归一化再用温度</strong>。<strong>实践建议</strong>——(a) <strong>用可学习温度</strong>（默认）；(b) 若固定，从 0.02~0.07 起步；(c) <strong>先归一化嵌入</strong>（否则温度语义不清）；(d) <strong>监控温度的收敛值</strong>（异常大/小提示问题）。<strong>度量</strong>——(a) 召回指标；(b) 温度的收敛曲线；(c) 不同温度下的效果对比。

深度剖析与工程权衡：① <strong>'温度 = 难度聚焦旋钮'是核心直觉</strong>——τ 小则聚焦难负样本；面试中能指出'温度与难负样本挖掘的关系'是深度理解的标志。② <strong>'可学习温度'避免手工调参</strong>——这是实践中的便利与鲁棒性提升。③ <strong>'收敛到小值'说明聚焦难例最优</strong>——这印证了'难负样本更重要'的经验。④ <strong>'先归一化再用温度'是重要细节</strong>——否则内积的尺度会混淆温度的作用。⑤ <strong>'与 batch size 的交互'</strong>——大 batch 有更多难负样本，故可用更小 τ；两者可互相补偿。⑥ <strong>面试要点</strong>——被问'检索中的温度'，应给出'<strong>τ 控 softmax 锐度 → 小 τ 聚焦难负样本、大 τ 平滑</strong>'与'<strong>可学习温度（收敛 0.01~0.07）+ 先归一化</strong>'；能指出'温度是软性的难度聚焦'是深度理解的标志。