AllenAI：ScholarQA-CS2面向专家标注的自动化评估流程

这份研究通过对 ScholarQA-CS2 基准测试的案例分析，深入探讨了利用人类成对偏好来验证大语言模型（LLM）评估框架的有效性与局限。研究指出，虽然偏好排名适用于系统层级的整体表现评估，但往往无法捕捉实例或特定指标层面的细微差别。实验表明，专家标注者的专业深度会显著影响评估结果，且专家之间存在难以避免的主观性差异。为了提升深度研究系统的评价标准，作者建议在元评估中加入针对特定指标的显式标注，并根据评估目标谨慎匹配标注者的专业水平。最终，该研究为未来设计更精准、透明且符合科研需求的自动化评估流程提供了实践指南。