M5-104M5: NLP 与大语言模型幻觉与安全Easy
⚡闪卡盲测➔掌握度:

解释幻觉的成因与分类。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-105 →
📐 核心数学机理公式
hallucination=factuality (wrong fact)+faithfulness (unfaithful to source)\text{hallucination}=\text{factuality}\ (\text{wrong fact})+\text{faithfulness}\ (\text{unfaithful to source})
⚡ 一句话直击要害答案
成因:训练目标(似然而非真值)、知识缺失、上下文误导、解码随机性;分'事实性'与'忠实性'两类。

📌 核心要点提炼

  • •
    成因:MLE 目标不优化真值、知识有截止/缺失、上下文误导、采样随机
  • •
    分类:事实性(与客观事实不符)vs 忠实性(与给定源不符)
  • •
    另有'编造引用'、'过度自信'等具体形态

📐 数学机理与严密推导

数学机理:成因(多层)。(1) 训练目标层面——语言模型用最大似然(MLE) 训练,目标是'预测下一个 token'(拟合数据分布),不是'说真话';故模型学的是'什么样的文本看起来像真的'(流畅、合理),而非'什么是真的'。这是幻觉的根本成因。(2) 知识层面——(a) 知识截止(训练数据有时间边界);(b) 知识缺失(长尾知识、专业领域);(c) 知识冲突(训练数据内部矛盾);(d) 知识错误(训练数据本身有错)。(3) 上下文层面——(a) 上下文误导(prompt 中隐含错误前提,模型顺着答);(b) 忽略上下文(RAG 场景中不用检索到的证据);(c) 上下文冲突(多文档矛盾)。(4) 解码层面——采样(温度、top-p)引入随机性;且模型校准差(对错误答案也可能很自信)。(5) 对齐层面——RLHF 若奖励'看起来有帮助',会鼓励模型'编造答案而非说不知道'(谄媚/讨好)。分类——(a) 事实性幻觉(factuality)——输出与客观事实不符(如编造不存在的论文);(b) 忠实性幻觉(faithfulness / groundedness)——输出与给定的源(文档、上下文)不符(RAG 场景:检索到了正确内容但模型没按它说);两者需分别评估(一个模型可能事实性好但忠实性差,或反之)。具体形态——(i) 编造引用(伪造论文/链接/法条);(ii) 数字错误(算错、记错数据);(iii) 过度自信(错也说得肯定);(iv) 前后矛盾(多轮中自相矛盾);(v) 时间错误(把过时信息当最新)。为什么难以根除——因为'流畅的生成'与'准确的生成'在训练目标上并不完全一致;且模型无法'知道自己不知道'(缺乏可靠的自我知识边界)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 'MLE 不优化真值'是根本成因——这解释了为什么'更大的模型仍有幻觉'(规模提升流畅性与知识覆盖,但不改变目标函数)。理解这一点能避免'靠加大模型解决幻觉'的误解。② '事实性 vs 忠实性'的区分很关键——RAG 主要解决忠实性(提供证据)与部分事实性(提供最新知识);评估需分别度量(RAG 的'忠实度'指标)。③ '编造引用'是最危险的形态——因为它'看起来可核查'(有引用格式)但实际是伪造的;故需 (a) 强制引用可点击/可验证、(b) 引用检查(回答中的事实是否有真实来源支持)。④ '校准差'是幻觉的放大器——模型对错误答案也自信,使用户难以辨别;故不确定性量化(见后续题)是重要补充。⑤ 与'RLHF 谄媚'的关系——若奖励模型偏好'有用的回答'(即使编造),会鼓励幻觉;故偏好数据需包含'承认不知道'的正例。⑥ 面试要点——被问'幻觉为什么发生',应给出'根本成因(MLE 不优化真值)+ 知识/上下文/解码/对齐多层因素'与'事实性 vs 忠实性的区分',并指出'编造引用'与'校准差'两个具体形态;能说明'RAG 主要解决忠实性'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    以为加大模型规模就能解决幻觉
  • ✕
    把事实性与忠实性混为一谈
🎯 面试官连环追问与延伸考察
  • ?
    为什么 MLE 训练会导致幻觉?
  • ?
    忠实性与事实性有何区别?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-103: 解释评估的统计显著性与样本量。📋 返回题库下一题 →M5-105: 列举缓解幻觉的主要手段。