2023 年 6 月，美国纽约南区法院的一份裁定书里列出了六个不存在的判决——Varghese、Shaboon、Petersen、Martinez、Durden、Miller。它们出现在一份真实提交的法律文书里，被引用、被摘录、被赋予了卷宗号。法官 P. Kevin Castel 依据《联邦民事诉讼规则》第 11 条作出制裁，两名律师及其事务所被连带罚款 5,000 美元。其中一名律师的解释是，他「以为它不可能自己编造案例」；而当他反复追问 ChatGPT 这些案例是否真实时，模型坚称真实。[1]
这句解释揭示了问题核心。更麻烦的一点是，模型出错时的表达方式和答对时几乎完全一样：同样流畅、同样具体、同样带着可以直接复制粘贴的细节。错误没有留下可供分辨的痕迹，于是核验的责任被完整地转移给了使用者，而使用者常常没有意识到自己已经接手了这份责任。
过去两年里，这件事从「用户经验」变成了有一手材料可查的技术问题：美国国家标准与技术研究院把它写进了生成式 AI 的风险清单 [2]，OpenAI 的研究团队给出了它为什么在训练与评测中被奖励的解释 [3]，牛津团队在《自然》上量化了「模型自己知道多少」[4]，斯坦福团队测量了接上检索之后错误率下降到什么程度 [5]。这些材料指向同一个结论：幻觉会持续出现，需要作为一种输出属性管理。
问题集中在三个方面：它为什么会发生；模型对「自己不知道」的感知有多准；以及实际使用中的问题——哪些输出必须逐条核验，哪些可以抽样，哪些可以放过。数据均标注来源、样本与测量时点，来源事实和分析分别说明。
1. 先把「幻觉」拆开：自信的错误与随机差异
「幻觉」这个词被用得过宽了。它同时被用来指三种性质不同的现象，而这三种需要不同的应对。
第一种是自信的错误。 NIST 在 AI 600-1《生成式人工智能画像》里把它列为十二类风险之一，用的词是 confabulation，定义为「被自信陈述但错误或虚假的内容」，并注明俗称 hallucination 或 fabrication。[2] 这个定义的重点在「自信」：内容以正常陈述句的形态出现，语气平常，结论却可能错误。
第二种是复述差异。 同一个问题问两次，得到措辞不同、侧重不同、甚至结论不同的两份答案。这在生成式模型里是采样机制的正常结果，不必然意味着任何一份是错的。《同一个问题问两次，为什么答案不一样》里单独写过这件事，它需要稳定输出的工程手段，不属于事实核查。
第三种是学来的错误。 训练数据里本身就存在的错误说法，模型会一致地、稳定地重复它。牛津团队在《自然》论文里明确把研究对象限定为前者的一个子集——他们用 confabulation 指「错误且任意」的输出，即答案会随随机种子变化的那一类，并写明他们的方法抓不到从训练数据里学到的一致性错误。[4]
核验不能只看回答是否自洽。重复提问能发现随机错误，发现不了模型稳定复述的错误知识。
2. 机制：编造是被评分规则奖励出来的行为
2025 年 9 月，OpenAI 的 Adam Kalai、Ofir Nachum、Santosh Vempala 与 Edwin Zhang 发布了《Why Language Models Hallucinate》，把幻觉的成因拆成两段。[3]
预训练阶段：没有负例。 模型只看到「什么是对的」，没有被标注过「什么是假的」。论文把生成错误归约为二元分类误差——如果连判断一句话真假都做不到，生成时就必然出错。更关键的是一类被称为「任意事实」的信息：某个人的生日、某篇论文的标题这类没有可学习规律、在训练数据里只出现一两次的事实。对这类信息，统计学习没有任何可以泛化的结构，出错率有下界。
后训练与评测阶段：弃答被惩罚。 主流基准大多采用二元评分：答对得 1 分，答错得 0 分，说「我不知道」也得 0 分。论文指出，在这种规则下，弃答严格劣于猜测——猜错和不答同分，猜对却有得分，所以最优策略永远是猜。模型学会的是「在不确定时也给出答案」这个被奖励的行为。
论文引用 GPT-5 System Card 里的 SimpleQA 结果作为对照，两个模型的差别很能说明问题：[3]
| 模型 | 弃答率 | 准确率 | 错误率 |
|---|
| gpt-5-thinking-mini | 52% | 22% | 26% |
| o4-mini | 1% | 24% | 75% |
o4-mini 的准确率比前者高 2 个百分点，错误率高出近 3 倍。两者的差别几乎完全来自「不确定时要不要答」这一个策略选择。
论文还逐条回应了四种常见说法：准确率即使接近 100%，幻觉仍会出现，因为有些问题本身无法回答；模型可以选择弃答，幻觉因此能够减少；小模型有时更容易识别自己的边界，陌生语言直接弃答比半懂更可靠；只要主流排行榜仍以准确率为主，加一项幻觉评测也难以改变模型的行为倾向。[3]
幻觉与评分规则有关。提示词可以允许弃答，验收标准也要把「说不知道」与「猜对」分开。
3. 校准：模型对「自己不知道」的感知有多准
如果模型能准确地报告自己的不确定性，核验就可以只针对它标记为「不确定」的部分。这个假设需要用数据检查。
OpenAI 的 SimpleQA 是一个 4,326 题的短事实问答基准，2024 年 10 月发布，每题只有一个可验证答案，评级分为正确、错误、未作答三档，数据集自身的固有错误率约 3%。[6] 它用两种方式测校准：直接要求模型给出置信度百分比；以及把同一问题重复采样 100 次，用答案出现频率当作隐含置信度。两种测法的结论一致——模型自述的置信度与实际准确率正相关，但持续高估：图上的点位系统性地落在 y=x 之下。更大的模型比更小的模型更校准。[6]
这份结果有明确的边界：它只测短问答，只测有单一可验证答案的题目。长文写作、多步推理、开放式分析的校准情况不能从这里推出。
牛津团队的语义熵给出了另一条路径。Sebastian Farquhar、Jannik Kossen、Lorenz Kuhn 与 Yarin Gal 在《自然》上提出，方法先把多次采样的答案按语义等价聚类，再在语义层面计算熵。「巴黎」和「法国首都巴黎」会被视为同一个答案，措辞差异也不会被误判为不确定。[4] 在 30 组任务与模型组合上，平均 AUROC 为：
| 方法 | 平均 AUROC |
|---|
| 语义熵 | 0.790 |
| P(True) | 0.698 |
| 朴素熵 | 0.691 |
| 嵌入回归 | 0.687 |
各模型族的语义熵成绩落在 0.78–0.81 区间，方法无需监督数据、无需针对特定任务训练。论文同时报告，允许模型在高不确定时拒答，可以提高剩余回答的准确率。[4]
AUROC 0.79 适合用来排序核验优先级，不能把「模型很确定」当成免检信号。
对个人使用者来说，语义熵还有一个廉价的近似版本：把同一个关键问题问三遍，看三次回答在语义上是否一致。不一致的地方就是需要优先核查的地方。这个动作花不了一分钟，命中的正是第一类「任意且错误」的输出。
4. 接上检索之后，错误只是换了形式
常见误解是，联网和引用就能解决幻觉。两份实测材料显示，错误仍会存在。
生成式搜索引擎的可验证性。 Nelson Liu、Tianyi Zhang 与 Percy Liang 的研究测量了带引用的生成式搜索结果，研究给出两个数字：平均只有 51.5% 的生成句子被其引用完全支持；而所有引用中，只有 74.5% 真的支持了它所标注的那句话。[5] 即便页面上挂满脚注，仍有约一半的陈述没有被脚注完整支撑，四分之一的脚注挂错了位置。
专业领域的检索增强工具。 Varun Magesh、Faiz Surani、Matthew Dahl、Mirac Suzgun、Christopher Manning 与 Daniel Ho 的研究测试了法律行业的 AI 检索工具，2025 年发表于《实证法律研究杂志》。测试对象是 2024 年 5 月版本的产品：[7]
| 工具 | 准确（正确且有依据） | 不完整 | 幻觉率区间 |
|---|
| Lexis+ AI | 65% | 18% | 17%–33%（三款工具整体区间） |
| Westlaw AI-AR | 41% | 25% | 同上 |
| Ask Practical Law AI | 19% | 62% | 同上 |
| GPT-4（无检索对照） | — | — | 43% |
三款专业工具的幻觉率落在 17%–33% 之间，明显低于无检索的 GPT-4（43%），但距离厂商宣传的「无幻觉」仍有差距。
这两份数据都需要时点限定：Liu 等人的测量早于当前一代搜索产品，Magesh 等人测的是 2024 年 5 月的版本，这些产品此后经历了多次更新。它们不能被当作今天的产品水平引用，能支撑的结论是结构性的那一条。
有引用不等于已核验。链接降低查找成本，不能替代点开和对照原文。
5. 哪些输出必须核验：按后果与可恢复性分级
实际工作中不可能核验每一句话，所以需要一个分级标准。分级依据要放在两个问题上：错误能否被发现，能否被撤回。第 1 节已经说明，编造和正确在表面上难以区分。
红区：必须逐条核验
这一区的共同特征是，错误在读者那里不可分辨，且一旦流出就难以收回。
一、引文、判例、条款、标准号。 论文标题、作者、期刊、卷页、法条编号、国标号、专利号。这些都是「任意事实」——第 2 节说明了它们恰好是统计学习最容易出错的一类。核验方式是回到原始数据库确认存在，不能只问模型「这个是真的吗」。Mata v. Avianca 案里，律师做的正是后者，模型坚称案例真实。[1]
二、数字与口径。 数值本身要核，口径更要核：同比还是环比、含税还是不含税、口径是全球还是单一市场、单位是百万还是十亿、时间区间的起止点。同一个数字换一个口径就是另一个结论，而口径信息往往在模型的复述中被抹掉。
三、日期与时效性。 法规生效日、版本号、价格、API 参数、人事任命。这一类的特殊之处是它「曾经是对的」——模型给出的是训练时点的正确答案，今天已经过期。这种错误尤其难被发现，因为它在任何历史资料里都能被「验证」通过。
四、人名、机构、头衔与隶属关系。 谁在哪家公司、职位是什么、论文的哪几位作者、机构的隶属关系。写错会直接构成事实错误，且对当事人有实质影响。
五、代码里的 API、参数与依赖名。 函数签名、配置项、包名都要在官方文档或包索引里确认存在。不存在的依赖名一旦写进安装脚本并被反复使用，就可能变成可被他人抢注的名字。这条推论基于机制，暂无具体统计。
六、对外承诺性口径。 政策、退款规则、保修范围、服务条款、给客户的承诺。这一类风险还涉及责任。加拿大不列颠哥伦比亚省民事裁判所在 Moffatt v. Air Canada（2024 BCCRT 149，2024 年 2 月 14 日）中裁定，航空公司官网聊天机器人给出的错误丧亲票价政策构成过失性虚假陈述，判赔约 650 加元。裁定的关键在理由，不在金额：企业对其官网上的所有信息负责，包括交互式组件在内；消费者没有义务用网站的另一部分去核对某一部分的说法。[8]
黄区：抽样核验
结构与逻辑、措辞与语气、摘要与改写、翻译、代码风格与重构建议。这些的错误通常可被读者察觉，也可被修正，成本可控。抽样检查加上一次通读足够，重点看有没有在改写中悄悄改变原意或丢掉限定词。
绿区：不必逐句核验
创意发散、命名候选、大纲草稿、格式转换、正则与脚本骨架、头脑风暴清单。这些的价值在数量与启发，判断权始终在使用者手上。重点看完整性：格式转换和长文处理中，静默丢内容是更常见的问题。
核验预算应优先留给难以判断真伪、出错后难以撤回的输出。很多团队反复润色，却没有打开引用链接。
6. 核验流程
核验流程分为四层。
提示词层：把弃答变成合法选项。 第 2 节说明幻觉是「不确定时也要作答」被奖励的结果，那么最直接的干预就是在自己的提示里显式允许弃答。Anthropic 的官方文档在减少幻觉的建议中第一条就是明确允许模型回答「我不知道」；对长文档（超过约 2 万 token），建议先让模型逐字提取原文引用、再基于引用作答，用引用把结论锚定在文档上，并把引用本身当作验证材料。[9] 这个做法改变的是任务结构，对不同模型都适用。
生成层：用一致性做初筛。 关键结论重复问三次，比较语义是否一致；不一致处标记为待核。这是语义熵的低成本近似（第 3 节），能有效命中「错误且任意」的那一类，但抓不到训练数据里学来的一致性错误——后者只能靠外部来源。
验收层：改掉自己的评分规则。 研究里的问题是基准把弃答和答错同等对待；团队里的问题一模一样——评审时「答得完整」的稿子看起来总是比「留了三处待查」的稿子更好。可操作的改法是把「标注不确定」记为合格行为，把「编造一个来源」记为严重不合格，并让后者的成本高于返工的成本。
发布层：清单化。 数字二次录入（不复制，重新看一遍原始表）；每个链接实际点开一次；每条引文回到原文确认字句；给所有时效性内容标注「截至某日」；保留一个公开的更正记录页，把已发内容的修订写清楚——这一条同时也是可信度的来源。
在中国境内提供服务的场景里，这套流程还有明确的监管对应。《生成式人工智能服务管理暂行办法》（2023 年 7 月 13 日公布，2023 年 8 月 15 日施行）第四条第（五）项要求：「基于服务类型特点，采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性。」[10] 条文没有规定具体的核验方法，但把准确性与可靠性写成服务提供者的义务，也不能只由使用者自行决定。
《把工作交给 AI 的边界在哪里》进一步讨论了哪些工作需要保留人的判断；这里的分级聚焦事实性输出。
结论
结论可以压缩为三点。
幻觉会受到评分规则影响。 预训练缺少负例，任意事实难以学会；后训练与评测的二元打分又让弃答劣于猜测。[3] 模型能力提升后，错误可能更流畅、更合理，也更难发现。
模型能感知不确定性，但精度有限。 自述置信度与准确率正相关却持续高估 [6]；语义熵的平均 AUROC 为 0.790 [4]。这个水平支持「优先核验可疑输出」，不支持「模型说确定就不用看」。
核验应按后果分级，不按可疑程度分级。引文、数字、日期、人名机构、代码依赖、对外承诺，这六类错误在读者那里难以分辨，流出后也难以撤回。Mata v. Avianca 的 5,000 美元罚款和 Moffatt v. Air Canada 的过失性虚假陈述认定说明，内容由 AI 生成也不能转移责任。[1][8]
核验体现的是一个前提：模型给出的句子在表面上同样可信，可信度需要由外部证据补上。核验工作没有消失，只是转移给了使用者。
