Google IFEval：大语言模型指令遵循能力的客观评测基准 测评大模型听不听话

谷歌和耶鲁大学研究人员开发的 IFEval（指令遵循评估） 基准测试，旨在解决大型语言模型在遵循自然语言指令方面缺乏标准化评估的问题。该工具通过 “可验证指令” 来实现客观评价，涵盖了关键词频率、文本格式、语言类型及长度限制等 25 种可自动检测的规则。研究者构建了 500 多个提示词，每个提示词都包含一个或多个具体的约束条件，通过程序化脚本判定模型的执行准确性。相较于主观的人类评价或可能存在偏见的模型互评，IFEval 提供了更具可重复性且客观的性能衡量指标。通过对 GPT-4 和 PaLM 2 等模型进行测试，该文展示了如何通过严格与宽松两种标准来量化评估模型对 原子化指令 的遵守程度。这些源代码和测试数据已公开，旨在帮助科研人员深入分析模型在不同任务场景下的执行边界。