什么是大模型幻觉？ - 代码学习笔记

一、什么是大模型幻觉？

幻觉是指大语言模型生成看似合理、连贯，但实际上与事实不符、无中生有或严重偏离上下文信息的内容。它就像模型“一本正经地胡说八道”，生成结果在语法和逻辑上可能很完美，但在事实上却是错误的。这种现象并非模型“恶意”欺骗，而是其内部机制的必然产物。我们可以将其理解为，模型基于海量文本学会了“如何说话”，但并没有一个内置的、绝对的“事实核查器”来确保所说内容都源于现实。

幻觉通常分为两类：事实性幻觉和忠实性幻觉。事实性幻觉指模型生成的内容与可验证的客观世界知识相悖，例如编造不存在的学术论文、历史事件。忠实性幻觉则指模型的回答未能忠实于其提供的上下文（如给定的文档、对话历史），而是“跑偏”加入了模型自己的“知识”。理解这个区别对于后续评估和缓解至关重要。

提示：幻觉是LLM可靠性的最大挑战之一。在医疗、法律、金融等对准确性要求极高的领域，未加控制的幻觉输出可能带来严重风险。

二、幻觉产生的核心原因

大模型产生幻觉的根源复杂，主要可归结为以下几点：

训练数据的本质：模型的知识完全源于其训练数据。这些数据本身可能包含错误、偏见、过时信息，或者相互矛盾的内容。模型通过统计模式学习，无法区分数据中的“真理”与“谬误”，只是学会了某种文本模式的分布。
概率生成机制：LLM的本质是一个强大的概率模型。在每一步，它根据前文预测下一个最可能（或通过采样策略选定的）的token。它的目标是“生成流畅的文本”，而非“生成真实的文本”。当模型在训练数据中未见过某个问题的确切答案时，它会倾向于用最可能的、符合语法的序列来“填补空白”，这往往导致看似合理但不正确的输出。
缺乏事实锚点与推理能力：模型没有真正的“理解”和“推理”能力，其行为是高度复杂的模式匹配。它无法像人类一样，基于一个内在的、自洽的世界模型进行逻辑推理和验证。当面对需要精确计算、严格逻辑链或实时知识的问题时，纯概率驱动的生成极易出错。

三、幻觉的典型表现形式

幻觉的表现多样，有时甚至非常隐蔽。以下是一些常见场景：

编造事实：这是最直接的幻觉。例如，当被问及“首次登月的阿波罗飞船指令长是谁？”，模型可能正确回答“尼尔·阿姆斯特朗”，但在后续的详细解释中，可能会错误地编造出“阿姆斯特朗在登月前曾在某某学院担任教授”这类并不存在的信息。
错误引用：模型会“创造”出真实作者未说过的话，或者编造不存在的论文、书籍的标题和内容。
数学与逻辑错误：在处理稍复杂的数学计算或多步推理时，模型可能会给出一个符合“数字形式”但结果错误的答案。例如，将 27 * 45 计算为 1225（实际为1215），因为它生成的数字序列更常见。
上下文不一致：在长对话中，模型可能忘记之前对话中明确提到的事实，导致前后矛盾。

四、缓解幻觉的技术策略

完全消除幻觉目前仍是业界难题，但可以通过多种技术和策略显著降低其发生概率。

首先，在提示工程层面下功夫。 这是用户最直接可控的方法。通过设计更精确的提示词，引导模型减少发散。

# 示例：通过明确的指令约束模型
prompt_vague = "写一段关于人工智能发展的介绍。"  # 宽泛，易产生幻觉
prompt_specific = """请根据以下权威资料，撰写一段关于人工智能发展的介绍。要求：
1. 只使用资料中提供的信息。
2. 若资料中未提及，请明确说明“根据提供的资料，未找到相关信息”。
3. 语言客观，避免推测。

资料：[此处插入可信的文献摘要或网页内容]"""

其次，采用检索增强生成。 RAG 是目前最主流、有效的工程化解决方案。其核心思想是：不让模型凭“记忆”回答，而是先让它从可靠的知识库（如企业文档、最新新闻库、学术数据库）中检索出相关片段，然后将这些片段作为上下文，连同问题一起提交给模型生成答案。这相当于为模型提供了一个实时的、可验证的“参考资料”。

# 概念性伪代码演示RAG流程
def answer_with_rag(query, knowledge_base):
    # 1. 检索：根据query从知识库中找到最相关的文档片段
    relevant_docs = retrieve(query, knowledge_base) 
    
    # 2. 增强提示：将问题和检索到的资料组合成新提示
    augmented_prompt = f"""请严格根据以下资料回答问题。如果资料中没有相关信息，请回答“无法根据现有资料确定”。
    
    问题：{query}
    
    资料：{chr(10).join(relevant_docs)}
    
    回答："""
    
    # 3. 生成：调用LLM基于增强后的提示生成答案
    response = llm_generate(augmented_prompt)
    return response

最后，结合后处理与验证。 对模型输出的关键事实，可以调用外部API（如搜索引擎、知识图谱、数据库）进行自动验证。或者，在模型输出时要求其提供“引用来源”（即从哪个上下文得出的结论），方便人工核查。

五、工程实践中的其他考量

除了技术策略，系统的整体设计也对控制幻觉至关重要。

选择更可靠的基础模型：通常，参数更大、经过更严格“对齐”训练的模型，其指令遵循能力和事实性会相对更好。关注模型的RLHF（基于人类反馈的强化学习）和RLEF（基于执行反馈的强化学习）训练阶段。
明确系统边界：设计清晰的Prompt模板，在系统提示中反复强调模型的任务边界和不确定性应对策略。例如，固定添加：“你是一个基于给定文档的问答助手，请严格依据文档内容作答。”
设置安全护栏：对于高风险应用，可以设计“熔断”机制。当检测到模型可能输出幻觉时（例如，回答涉及具体数字、日期、人名，且置信度较低），系统可以自动转为“我需要查阅更多资料来确认这个问题”或转接人工。

六、总结与展望

大模型幻觉是其强大语言能力的一体两面。它源于模型的概率本质、训练数据的局限以及对世界知识表征的缺陷。缓解幻觉不能依赖单一方法，而需要一个多层次、立体的防御体系：前端通过精准提示和约束引导，中端通过RAG等技术引入可靠外部知识，后端通过验证和人工审核兜底。

作为开发者或使用者，理解幻觉的成因和表现，是我们安全、有效利用大模型这项强大技术的前提。当前，从模型架构（如引入事实性损失函数）到训练方法（如基于事实的强化学习），再到应用架构（如自动化事实核查流水线），相关研究正在快速发展。未来的LLM，很可能会内化更强的“事实意识”和“不确定性感知”能力，从而从根本上提升其可信度。