M5-106M5: NLP 与大语言模型幻觉与安全Medium
⚡闪卡盲测➔掌握度:
解释不确定性量化与校准在幻觉检测中的作用。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
让模型输出置信度并使其'校准'(置信度≈正确率);用语义熵、自一致性、logit 熵检测高幻觉风险的回答。
📌 核心要点提炼
- •校准:置信度应等于实际正确率(ECE 衡量偏差)
- •LLM 常'过度自信'(校准差)→ 需校准训练/后处理
- •幻觉检测:用语义熵/自一致性/logit 熵识别高风险回答
📐 数学机理与严密推导
数学机理:校准(calibration)——一个模型是校准的,若其输出的置信度 c 对应'实际正确率 ≈ c'(即 P(correct | conf=c)≈c)。ECE(Expected Calibration Error) 度量偏差:把预测按置信度分桶,计算各桶内'平均置信度与准确率之差的加权平均'。LLM 的校准问题——LLM 通常过度自信(对错误答案也给高置信度);原因:(a) MLE 训练不优化校准(只优化似然);(b) RLHF 可能加剧(奖励'自信有帮助的回答');(c) softmax 的尖锐性(logits 尺度大 → 概率趋近 0/1)。校准方法——(a) 温度缩放(temperature scaling)——在 logits 上除以温度 T(T>1 使分布更平缓),用验证集拟合 T;这是最简单有效的方法;(b) Platt scaling / isotonic regression(后处理映射);(c) 校准训练(训练时加校准损失);(d) RLHF 中惩罚过度自信。幻觉检测——利用'不确定性信号'识别高风险回答:(1) logit 熵 / 序列概率——低概率(高困惑)的回答更可能有幻觉(但不可靠,因为流畅的幻觉概率也高);(2) 语义熵(semantic entropy,Kuhn 等 2023)——对同一问题多次采样,把语义等价的回答聚为一类(用 NLI 判断等价),计算'语义类别分布'的熵:若多次采样给出语义不同的答案(高语义熵),说明模型'不确定'(可能幻觉);若语义一致(低熵),则更可信。关键——它用语义而非token 层面的多样性(因为措辞不同但语义相同应视为一致)。(3) 自一致性(self-consistency)——多次采样的答案是否一致(不一致 = 高不确定);(4) P(True)(模型自评'我的答案对吗?'的概率);(5) 隐藏状态探针(用模型的内部表征训练一个'是否幻觉'的分类器)。应用——(a) 拒答/澄清——高不确定时让模型说'我不确定'或请求澄清;(b) 人工复核——高风险的输出转人工;(c) 重采样——高不确定时重新生成;(d) RAG 触发——不确定时检索。评估——(a) ECE / Brier score(校准质量);(b) AUROC(不确定性信号区分'对/错'的能力);(c) 拒答的取舍(覆盖率 vs 精度)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① 'LLM 过度自信'是普遍问题——故'让模型说置信度'本身不够(置信度不可靠);必须先校准(如温度缩放)再用。② '语义熵优于 token 熵'是关键洞察——因为同一答案可有多种措辞(token 层面多样但语义一致);故应按语义聚类后计算熵。这使不确定性估计更可靠。③ '不确定 ≠ 错误'——高不确定只是'风险信号',不代表一定错;故应用是'触发额外处理(检索/复核)'而非'直接拒答'。④ '拒答的取舍'——拒答能减少错误但损害覆盖率(用户不满);故需按场景设阈值(医疗/法律宜保守,闲聊宜宽松)。⑤ 与'校准 vs 判别'的区别——校准(置信度是否反映正确率)与判别(能否区分对错)是两个不同的问题;一个模型可以'校准好但判别弱'(都输出 0.7)。⑥ 面试要点——被问'如何检测幻觉',应给出'校准(温度缩放/ECE)+ 不确定性信号(语义熵/自一致性/P(True))+ 应用(拒答/复核/重采样/RAG 触发)',并强调'语义熵优于 token 熵'与'LLM 默认过度自信需先校准';这是幻觉检测类问题的深度回答。
⚠️ 常见面试陷阱与高频失分点
- ✕直接相信模型自报的置信度(未校准)
- ✕用 token 级熵估计不确定性(应语义聚类)
🎯 面试官连环追问与延伸考察
- ?什么是语义熵(semantic entropy)?
- ?为什么'自信'不等于'正确'?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!