人类最后的考试：前沿AI测评基准

Humanity’s Last Exam (HLE) 是一个旨在评估大型语言模型在人类知识前沿表现的极高难度基准测试集。由于现有测试集如 MMLU 已趋于饱和，研究人员开发了这一包含 2,500 个跨学科问题 的多模态数据集，涵盖数学、自然科学和人文科学等领域。这些题目由全球数百名领域专家编写，经过了严格的自动化筛选和专家评审，确保其具有不可搜索性且需要深度的专业推理。评估结果显示，目前的顶尖模型在 HLE 上的准确率极低，且往往对错误答案表现出盲目自信。该基准通过公开释放数据，为科学研究和政策制定提供了衡量人工智能专家级学术能力的重要参考坐标。