一個不會解題的 AI 拿了 SWE-bench 滿分，跑分還能信嗎

10 行 Python 騙過 SWE-bench 500 題，送空 JSON 拿下另一個 benchmark 滿分。Berkeley 團隊的研究揭示 AI 跑分的 7 種致命漏洞模式，以及你下次看到跑分時該問什麼問題。 ⭐ 文章深度讀：整理了 7 種漏洞模式與你該問的具體問題 → https://heymaibao.com/ai-benchmark-trust-crisis-berkeley/ 📝 懶人包 ∙ Berkeley 團隊的 exploit agent 在 SWE-bench、WebArena、Terminal-Bench 等 8 個主流 AI benchmark 上取得接近滿分，但沒有真正解決任何一個任務。 ∙ 這些漏洞不是個案，8 個 benchmark 共享 7 種相同的結構性缺陷，整個 AI 評測生態系存在系統性的信任問題。 ∙ 團隊提出了 Agent-Eval Checklist，要求 benchmark 在發佈前通過對抗性測試，並正在開發 BenchJack 工具來自動化這個檢驗流程。 📚 參考資料 How We Broke Top AI Agent Benchmarks: And What Comes Next (Hao Wang, Qiuyang Mang, Alvin Cheung, Koushik Sen, Dawn Song, 2026) → https://rdi.berkeley.edu/blog/trustworthy-benchmarks-cont/