@serenaa_ge：Datacurve 發布 DeepSWE 長週期程式開發 Agent 基準測試。 Serena Ge（Datacurve）近期發布了「DeepSWE」，這…

Datacurve 發布 DeepSWE 長週期程式開發 Agent 基準測試。 Serena Ge（Datacurve）近期發布了「DeepSWE」，這是一個針對前沿程式開發 Agent 所設計的長週期軟體工程基準測試。該測試旨在反映開發者在日常工作中面臨的真實挑戰，並揭示目前頂尖模型在實際應用上的能力差距。 解決現有基準測試的痛點 現有的基準測試（如 SWE-bench Pro）多半透過抓取 GitHub 的 Issues 與 Pull Requests 來建立任務，這導致了兩個嚴重問題：模型可能在預訓練階段就已經「背誦」過解決方案，且大多數任務過於瑣碎。DeepSWE 採取了不同的策略： 完全原創的任務：所有任務皆從零開始編寫，並未採用現有的提交紀錄或修補程式，確保模型無法透過記憶歷史資料來作弊。 任務不進入公開紀錄：這些任務不會被合併回原始程式庫，因此不會出現在未來的公開訓練資料集中，能更純粹地測試 Agent 的問題解決能力。 更高的複雜度：雖然提示詞（Prompt）長度僅為 SWE-bench Pro 的一半，但解決方案所需的程式碼量卻是其 5.5 倍，輸出的 token 數約為 2 倍。 嚴謹的驗證機制 為了確保評估的公平性，Datacurve 開發了一套軌跡分析 Agent 來重現 Agent 的執行過程，並精確標記失敗原因。審計發現，現有的基準測試存在顯著的評估雜訊，例如 SWE-bench Pro 的驗證器在錯誤率方面，偽陽性（false positives）高達 8%，偽陰性（false negatives）則高達 24%。相比之下，DeepSWE 的驗證器是針對任務描述手寫的，專注於軟體行為而非實作細節，在隨機抽樣測試中，其與人類分析師的判斷分歧率僅為 1.4%。 廣泛的技術覆蓋 DeepSWE 包含 113 個任務，涵蓋 91 個活躍的開源程式庫，支援 TypeScript、Go、Python、JavaScript 與 Rust 五種語言。這種規模使其成為衡量 Agent 在真實世界中處理不同結構、文件與維護程度程式庫能力的理想指標。 快速上手指南 開發者可以使用 Pier 框架來執行該基準測試，以下是操作步驟： 克隆程式庫並安裝 Pier： `bash git clone https://github.com/datacurve-ai/deep-swe uv tool install datacurve-pier ` 設定環境變數並執行測試（以 Claude Opus 為例）： `bash export ANTHROPICAPIKEY=... pier run -p deep-swe/tasks --agent mini-swe-agent --model anthropic/claude-opus-4-7 ` 若要執行隨機子集（例如 10 個任務）： `bash pier run -p deep-swe/tasks --agent mini-swe-agent --n-tasks 10 --sample-seed 0 ` 若要執行單一任務： `bash pier run -p deep-swe/tasks/ --agent mini-swe-agent ` 關於 Pier 框架 Pier 是一個相容於 Harbor 的沙盒執行框架，專為隔離環境下的程式開發 Agent 評測而設計。它不僅支援在斷網環境下執行任務，還增加了針對每個 Agent 的網路存取白名單功能，確保環境隔離的同時，也能提供完整的軌跡元資料與分析工具（pier critique run），協助開發者深入剖析 Agent 的決策過程。更多詳細資訊可參考 DeepSWE 官方部落格 或 GitHub 專案頁面。原文：https://easyvibecoding.app/curated/1577