为什么大语言模型会产生幻觉？如何解决大语言模型幻觉问题？

随着ChatGPT 的兴起，大语言模型再次被提及，越来越多的行业开始探索，如导购、政府、教育、医疗等行业；

大语言模型的突破，展现出了类人的通用智能“涌现”能力，能够学习多个领域的知识、处理多种任务，因此被称为通用大模型，通用大语言模型具备特点也具备不足，大模型特点主要参数模型大、泛化能力强、支持多模态，如 GPT、豆包、通义等在语言交互场景回答问题表现出色。虽然大语言模型在多个指标展现的能力可能超出人类，但大语言模型也存在诸多不足：

• 不可能的三角问题：大模型在专业性、泛化性和经济性三方面不可兼得，产生不可能的三角问题。大模型的准确性要求越高，越需要特定领域数据进行训练，可能造成模型过拟合而降低泛化能力，以及增加数据收集和训练成本，降低经济性。

• 知识局限性：大语言模型知识的广度严重依赖于训练模型时数据的广度，目前的市面上大部分大语言模型的训练数据都来源于互联网，对于内部企业知识、特定领域知识等无从学习。

• 模型幻觉问题：所有 AI 模型的底层原理都是基于数学概率，模型的输出本质是一系列的数值的运算，所以大模型有时候会一本正经的胡说八道，在大模型不擅长的场景或不具备某一方面的知识表现尤为突出。区分大模型的幻觉比较困难，要求使用者具备相应领域的知识。

• 知识滞后性：大语言模型的知识的获取都是通过训练数据集获得，模型训练后产生新的知识模型无法快速学习，想要增加新的知识需要进行训练，成本极高。

  ---

什么是大模型幻觉：在大语言模型中幻觉表示模型输出了内容，但是内容是虚假文本，容易导致一些错误发生。

让模型产生幻觉的原因可能是：

• 模型训练数据：大语言模型是通过互联网上的各种各样的数据训练，并不关心训练过程中使用的具体文档和来源。模型训练的重点不在于具体细节，而是广泛性，这样大模型能够输出创造性的答案、参与复杂的对话。如果训练数据不准确、误导性，模型可能学习到这些信息并在生成文本时表现出来。

• 模型自身限制：模型的运作都是基于 token 的概念，token 是从单个字符到整个字符的离散语言单位。大语言模型一次性处理特定数量的 token，使用复杂的数学计算模型来预测序列中最有可能出现的下一个 token。而对于没有学习的特定领域的知识、新的知识、以及一些专业场景，模型输出可能导致出现幻觉；

• 上下文理解的限制：在理解上下文时可能存在限制，当上下文不足或存在歧义时，可能导致生产的文本不准确，导致出现幻觉。

因此通用大模型以发展通识为目标，更侧重泛化性，在专业性方面很难满足具体行业的特定需求，存在“有幻觉”等情况。

通用大模型在toB垂直领域，由于缺乏细分专业知识，所以更容易产生幻觉。每一个客户都有自己独特的数据、业务、流程等，因此需要训练行业大模型，紧密结合业务系统实现可落地的智能应用。客户针对行业大模型加上自己的数据进行训练和微调，才能大打造出适合企业智能服务。

如何解决大语言模型幻觉问题？

1、引导：提示工程

2、外挂：检索增强生成

• 满足企业自由数据所有权的诉求：模型本身只会查找和调用外挂的数据，并不会将外挂的知识库数据进行训练，变成模型自有知识。
• 提高模型的准确性：通过外挂知识库的方式，让模型能基于特定数据生成内容，降低模型的幻觉。
• 具备高性价比：底层的大语言模型不做调整，不需要投入人力和算力进行微调和预训练，能够快速开发和部署。

3、优化：微调

4、原生：预训练

典型案例‍‍‍‍‍‍‍‍‍‍‍‍‍‍

• 清晰的区分 context & query
• 在 prompt 中针对场景描述额外的需求
• 模板：你作为XXXX的客服，解答用户在使用XX时遇到的问题，以下是几条可能与用户问题相关的常见问题与答案，你只能根据提供的材料来回答用户的问题。如果提供的材料无法回答用户问题，请你回答：”抱歉，无法回答您的问题！”以下是可能与用户问题相关的常见问题与答案：
  <CONTEXT>（检索增强召回的内容）
  用户问题:<QUERY>
  ‍