【第452期】OpenAI：语言模型产生幻觉的统计根源

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。今天的主题是：Why Language Models HallucinateSummary就像学生在面对困难的考试题目时一样，大型语言模型在不确定时有时会进行猜测，生成看似合理但实际上错误的陈述，而不是承认自身的不确定性。即便在最先进的系统中，这类“幻觉”现象仍然存在，并削弱了人们对模型的信任。我们认为，语言模型之所以会产生幻觉，是因为训练和评估流程奖励猜测行为，而非承认不确定性；并且我们分析了现代训练流水线中导致幻觉的统计学成因。幻觉并不神秘——它们本质上只是二元分类中的错误。如果无法将错误陈述与事实区分开来，那么在自然的统计压力作用下，预训练语言模型中就会产生幻觉。接着，我们指出，幻觉之所以持续存在，是由于大多数评测的评分方式所致——语言模型被优化成“擅长应试”的系统，而在不确定时进行猜测能够提升测试成绩。这种对不确定回答进行惩罚的“流行病”，只能通过一种社会—技术层面的缓解手段来解决：与其引入新的幻觉评测，不如修改那些虽然存在错位但却主导排行榜的现有基准的评分方式。这一改变可能会引导该领域迈向更加值得信赖的人工智能系统。原文链接：https://arxiv.org/abs/2509.04664前往小宇宙评论区与主播互动