BixBench：生物学AI Agent基准测试

BixBench是一个专门为评估 LLM 智能体在生物信息学领域处理真实世界数据分析能力而设计的综合性基准测试。该基准包含 61 个复杂的分析场景和 205 个开放式问题，要求模型在计算生物学环境下完成多步骤的实验规划、数据探索及结果解读。研究团队利用 GPT-4o 和 Claude 3.5 Sonnet 在开源智能体框架上进行了测试，结果显示这些前沿模型在开放式回答中的准确率仅为 21%，在选择题测试中的表现也仅略高于随机水平。作者通过暴露当前模型在处理模糊且复杂的科学发现任务时的局限性，旨在推动能够进行严谨生物信息学分析的 AI 系统开发。最终，BixBench 为衡量自主科学研究工具的进步提供了一个关键的评估指标和标准化环境。