什么是大模型幻觉？ - 代码学习笔记

一、什么是大模型幻觉？

大模型幻觉 是指大型语言模型在生成文本时，产生看似合理、流畅但与事实不符、缺乏依据或完全虚构的内容。它就像模型的“一本正经地胡说八道”。这种现象并非模型“有意说谎”，而是其基于统计模式进行文本预测的副产品。当模型过度自信地组合其学到的语言模式时，就可能偏离事实的轨道。

例如，当你询问“爱因斯坦何时发表了《相对论》？”时，模型可能会非常自信地给出一个错误的年份，甚至编造一个不存在的期刊名称作为出处。这种幻觉在需要高事实准确性的场景（如医疗咨询、法律文书、知识问答）中危害巨大，因为它会以极高的可信度输出错误信息。

提示：区分“事实性幻觉”和“忠诚性幻觉”。前者指与真实世界事实相悖，后者指与给定的输入上下文（如提供的文档）相悖。

二、幻觉从何而来？—— 主要成因分析

幻觉的产生是模型、数据、训练与解码策略共同作用的结果，主要原因包括：

数据的缺陷：预训练数据本身可能包含错误、过时的信息、偏见或虚构内容（如小说、剧本）。模型无差别地吸收了这些“知识”，并在生成时“复现”出来。数据分布不均也会导致模型对罕见但正确的事实“记忆不牢”。
模型架构的本质：LLM本质是一个概率语言模型，其核心目标是预测下一个最可能的词元（token）。它优化的是文本的连贯性和与训练分布的拟合度，而不是事实的准确性。“最可能”的文本未必是“最真实”的文本。
解码策略的引入：为了生成多样、不重复的文本，我们通常采用采样（如top-k、top-p）而非纯粹的贪心解码。这会引入随机性，增加生成低概率但看似合理文本的可能性，从而可能“飘向”幻觉。
训练目标的局限：标准的预训练目标（下一个词预测）无法明确教导模型区分“我知道”和“我不知道”。当遇到知识边界之外的问题时，模型倾向于“编造”一个符合语言模式的答案，而不是承认不确定。

三、代码视角：温度参数如何影响幻觉倾向

解码参数中的温度对幻觉有显著影响。较高的温度会增加低概率词元的选择机会，使输出更随机、有创意，但也更容易产生幻觉。较低的温度使输出更保守、更集中在最可能的高概率词元上，但也可能更死板。

from transformers import pipeline, set_seed

generator = pipeline('text-generation', model='gpt2')
set_seed(42) # 固定随机种子以便复现

prompt = "爱因斯坦在1905年发表了关于狭义相对论的著名论文，题目是："

# 低温度 (更保守，可能更准确，但可能简单重复或错过合理推测)
print("低温 (0.3) 生成:", generator(prompt, max_length=50, temperature=0.3, do_sample=True)[0]['generated_text'])
# 示例输出可能直接截断或重复常见短语。

# 高温度 (更随机，更具创意，但幻觉风险大增)
print("高温 (1.5) 生成:", generator(prompt, max_length=50, temperature=1.5, do_sample=True)[0]['generated_text'])
# 示例输出可能编造出完整但错误的论文标题、副标题甚至合作者。

提示：实际应用中，需要在创造性、多样性和事实准确性之间通过temperature、top_p、top_k等参数进行权衡。对于知识密集型任务，建议使用较低的温度。

四、缓解策略：我们能做什么？

完全消除幻觉是当前AI领域的开放难题，但以下策略可以显著缓解：

检索增强生成：这是目前最主流、有效的方法之一。让模型在回答前，先从可靠的外部知识库（如维基百科、企业文档库）中检索相关段落作为上下文，然后基于这些“证据”进行生成。这相当于给模型提供了一个“开卷考试”的机会。
指令微调与对齐：通过在高质量、经过验证的指令-回答对数据上进行微调，特别是引入RLHF，可以教会模型在不确定时说“我不知道”或引用来源，而不是编造。
提示工程：在提示中明确要求模型“请仅根据以下提供的文本进行回答”、“如果不确定，请说明”。这能约束模型的生成范围。
后处理与验证：对模型输出的结果，使用另一个模型或规则系统进行事实核查。或者生成多个答案并进行一致性投票，选择最一致的。

五、一个简化的RAG示例

下面用伪代码展示检索增强生成的核心流程：

from langchain.vectorstores import FAISS
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.llms import OpenAI
from langchain.chains import RetrievalQA

# 1. 准备知识库
texts = ["爱因斯坦于1905年发表《论动体的电动力学》创立狭义相对论...", "爱因斯坦在1915年完成广义相对论..."]
embedding_model = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")
vectorstore = FAISS.from_texts(texts, embedding_model)

# 2. 创建带检索的问答链
qa_chain = RetrievalQA.from_chain_type(
    llm=OpenAI(temperature=0.1), # 使用低温度
    chain_type="stuff",
    retriever=vectorstore.as_retriever()
)

# 3. 提问，模型会先检索再回答
result = qa_chain.run("爱因斯坦的狭义相对论和广义相对论分别是什么时候发表的？")
print(result)
# 输出将基于检索到的准确文本进行生成，大大降低幻觉概率。

六、挑战与未来方向

尽管有上述缓解措施，挑战依然存在：

知识边界模糊：模型难以清晰界定自身知识的边界，何时该检索、何时该凭“记忆”是困难。
检索质量依赖：RAG的效果高度依赖检索模块的准确性，如果检索到错误或不相关的内容，可能“错上加错”。
评估困难：如何自动化、大规模地评估幻觉程度本身就是一个难题。

未来方向可能包括：模型的自我认知能力（知道其知识的置信度）、更精细的知识编辑技术（直接修正模型内部的错误参数）、以及结合符号推理与神经网络的混合架构。

七、个人心得与总结

作为一名开发者，我认为对待幻觉的态度应该是 “理解、规避、验证” 。首先理解它是大模型目前的固有特性，而非bug；其次通过合理的技术选型（如在关键场景使用RAG）和工程实践（精心设计提示、设置合理参数）来主动规避；最后，对任何输出的关键信息，保持验证的习惯，尤其是在不能出错的领域。

大模型幻觉提醒我们，目前的AI更像是一个知识渊博但有时会记错细节的“实习生”，而不是一个权威的“专家”。我们的角色是成为一名优秀的“导师”，为其提供正确的参考资料并审阅其成果，共同完成高质量的工作。