幻觉缓解

幻觉缓解是一套降低模型编造内容概率的技术组合,主线三条:(1) 检索增强 RAG——用检索文档作 grounding 约束生成,条件分布变为 $P(y \mid x, z)$,z 为检索证据,并要求引用来源;(2) 诚实拒绝——当模型不确定或无法回答时允许输出"我不知道",如置信度低于阈值 $\tau$(即 $\max_t p_t < \tau$)时放弃回答;(3) 不确定性提示——在系统提示中显式要求"不确定就直说",配合自一致性与校验式生成过滤矛盾输出。

客服、问答、报告生成等对事实性要求高的产品;RAG 系统防检索无关时的编造;Agent 在工具结果缺失时防虚报;面试高频组合题:RAG + 诚实拒绝 + 不确定性提示 如何一起用。

单靠模型内化知识无法覆盖长尾事实,也无法表达"不知道";RAG 把知识外挂到可验证的证据上,诚实拒绝把不确定性显式化,不确定性提示让模型在低置信时倾向放弃而非硬编造,三者互补覆盖"无据可依、无把握、提示不明"三种场景。

RAG 为什么能缓解幻觉?如果检索返回的是无关文档,幻觉反而会加重,如何防御?

诚实拒绝的工程实现:置信度阈值、可应答性分类器、"不知道"训练数据分别怎么设计?

自一致性 (self-consistency) 为什么能降低推理型幻觉?多数投票公式是什么?

生成后校验 (post-hoc verification) 有哪些手段?如何自动检查事实错误?

幻觉缓解的评估:如何度量"拒绝率 vs 有用性"的权衡?误拒绝怎么调?