GPQA：博士开卷也挂科 研究生级科学基准测试

GPQA是一个包含448道高质量多选题的基准测试集，涵盖了生物、物理和化学等研究生水平的专业知识。该数据集由领域专家编写，旨在通过极高的难度挑战现有的人工智能系统和人类。研究显示，即使可以使用互联网，非专家读者的准确率也仅为34%，而像GPT-4这样的先进模型表现也差强人意。开发此测试集的目的是为了推动可扩展监督技术的研究，帮助人类未来能有效监督超越人类能力的AI。专家们通过严格的验证流程确保了问题的客观性，同时通过设置金币奖励激励编写者创作出更具挑战性的题目。这些题目通常被设计为“防搜索”的，意味着仅靠简单的网络查询难以找到直接答案。