大语言模型无法可靠区分信念和事实

这项研究系统地评估了包括GPT-4、Claude-3和Llama-3在内的大型语言模型（LLMs）在区分信念、知识和事实方面的认知能力，因为这种区分对于医疗、法律和新闻等关键领域的可靠决策至关重要。研究人员创建了一个名为KaBLE的新数据集，包含13,000个问题，发现在涉及错误情景时，模型的表现显著下降，尤其是在确认第一人称信念的任务中。研究结果揭示了LLMs在处理与训练数据相矛盾的个人信念时的系统性困难，以及处理第一人称和第三人称信念时存在不对称性，这些局限性引发了对其在需要精确和同理心理解人类主观状态的高风险应用中的可靠性担忧。总体而言，该研究强调了在LLMs广泛部署于关键部门之前，必须改进其关于真理、信念和知识的推理能力。参考文献Mirac Suzgun，Belief in the Machine: Investigating Epistemological Blind Spots of Language Models前往小宇宙评论区与主播互动