幻觉缓解

幻觉缓解是一套降低模型编造内容概率的技术组合,主线三条:(1) 检索增强 RAG——用检索文档作 grounding 约束生成,条件分布变为 $P(y \mid x, z)$,z 为检索证据,并要求引用来源;(2) 诚实拒绝——当模型不确定或无法回答时允许输出"我不知道",如置信度低于阈值 $\tau$(即 $\max_t p_t < \tau$)时放弃回答;(3) 不确定性提示——在系统提示中显式要求"不确定就直说",配合自一致性与校验式生成过滤矛盾输出。

客服、问答、报告生成等对事实性要求高的产品;RAG 系统防检索无关时的编造;Agent 在工具结果缺失时防虚报;面试高频组合题:RAG + 诚实拒绝 + 不确定性提示 如何一起用。

单靠模型内化知识无法覆盖长尾事实,也无法表达"不知道";RAG 把知识外挂到可验证的证据上,诚实拒绝把不确定性显式化,不确定性提示让模型在低置信时倾向放弃而非硬编造,三者互补覆盖"无据可依、无把握、提示不明"三种场景。

检验攻克程度：针对「幻觉缓解」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。