OpenAI 宣布撤回對 SWE-Bench Pro 的推薦

OpenAI 宣布撤回對 SWE-Bench Pro 的推薦。 核心審計結果 OpenAI 針對目前廣泛使用的 AI 程式開發基準測試「SWE-Bench Pro」做了全面審計，發現該基準測試中約有 30% 的任務存在嚴重缺陷，導致其無法準確衡量前沿模型的程式開發能力。基於此項發現，OpenAI 正式撤回先前建議研究社群使用 SWE-Bench Pro 作為主要程式開發評估指標的立場。 任務缺陷分類 審計團隊指出，SWE-Bench Pro 的任務問題主要集中在以下四個面向，這些問題會扭曲評估結果，導致模型因非能力因素而失敗： 過於嚴格的測試：強制要求提示詞（prompt）中未明確規定的實作細節，導致功能正確的程式碼無法通過測試。 規格不明確的提示詞：隱藏測試要求與提示詞內容不符，且無法從現有資訊中合理推斷。 測試覆蓋率不足：測試項目未能完整檢查請求的功能，導致不完整的修復方案也能通過。 誤導性的提示詞：提示詞引導模型走向錯誤的行為，或與測試要求產生矛盾。 根據 OpenAI 對 SWE-Bench Pro 的審計，不論是透過人類監督的代理審查或人類標註，皆發現有顯著比例的任務存在問題，其中以「過於嚴格的測試（Overly strict tests）」佔比最高（分別達 14.4% 與 17.8%），證實該基準測試存在可能扭曲評估結果的缺陷。 審計方法論 為了確保審計的規模化與準確性，OpenAI 採用了「模型輔助調查 Agent」結合「專家人工審查」的混合模式： 資料品質管道：利用自動化過濾器檢視模型嘗試、任務元資料與失敗軌跡，初步標記出潛在問題任務。 Agent 審計：部署基於 Codex 的調查 Agent，賦予其存取任務儲存庫與環境的權限，深入分析任務歧義與常見失敗模式。 人工審查：由五位經驗豐富的軟體工程師獨立評估，針對 Agent 標記的任務做最終判斷，並對意見不一致的案例升級審查。 這是一張展示 OpenAI 品質保證流程（Quality assurance pipeline）的架構圖，說明從自動化篩選到人工審核的資料品質檢測機制。 對未來評估的啟示 OpenAI 強調，隨著模型能力的提升，評估基準必須變得更困難、更公平且更具公信力。由於開源專案的歷史 Pull Request 本質上是為人類協作設計，其測試案例往往過於針對特定變更，而非定義通用的解決標準，這使得將其轉化為可靠的 AI 評估基準面臨挑戰。OpenAI 呼籲研究社群應開發由專業軟體工程師專門設計的新基準，以確保評估結果能真實反映模型的實際能力與對齊程度。原文：https://easyvibecoding.app/curated/2410-openai-withdraws-recommendation-swe-bench-pro