OpenAI 最新论文《为什么模型会产生幻觉》

来自 OpenAI 最新发布的论文《为什么语言模型会幻觉》（Why Language Models Hallucinate）。核心论点是，语言模型产生幻觉的根本原因是：训练和评估过程奖励猜测而非承认不确定性，且幻觉的产生源于二元分类中的错误。摘要：* LLM 幻觉就像学生考试时“蒙题”。 大型语言模型在不确定时，常常会像面对难题的学生一样，选择**“猜测”而非承认“不知道”，从而产生看似合理却错误的回答。这种行为在最先进的 AI 系统中也普遍存在，并且损害了我们对它们的信任。* 幻觉并非神秘，它只是 AI 的“小失误”。 研究指出，AI 的幻觉并非什么高深莫测的现象，它本质上就是其内部**“是非判断”系统（二元分类）中产生的错误。简单来说，模型在判断一个信息是真是假时出了错，然后就自信地把错的说出来了。* 即使训练数据完美无瑕，AI 也可能“犯错”。 令人惊讶的是，即使给 AI 喂...去小宇宙查看完整单集简介在小宇宙查看该单集文稿