在语言模型(LLM)领域,“幻觉”是一个重要的概念。
一、定义
LLM的幻觉是指模型生成的内容包含事实错误或不符合实际逻辑,但看起来却像是合理的表述。例如,模型可能会编造不存在的事件、引用错误的统计数据或者给出与已知知识相矛盾的解释。
二、产生原因
- 训练数据问题
- 数据不准确或过时:如果训练数据包含错误信息,那么模型可能会学习到这些错误并在生成内容时表现出来。比如,在一些过时的文献中存在错误的科学理论,当这些文献作为训练数据时,模型可能会产生基于这些错误理论的内容。
- 数据偏差:当训练数据存在某种偏向性时,模型也会受到影响。例如,数据集中大部分内容是关于某个特定观点的,模型可能会过度倾向于...