測試全過但 AI agent 上線就壞？你的 eval 可能測錯東西了

LangChain 團隊分享 AI agent eval 實戰心法。越多測試不代表越好，關鍵是每條 eval 都要對準生產環境行為。從 dogfooding 到模型選擇框架，看懂 eval 策展核心邏輯。 ⭐ 文章深度讀：整理了 eval 行為向量心法，從 dogfooding 到正確性優先框架 → https://heymaibao.com/ai-agent-eval-design/ ⚡ 章節重點 全部測試過，上線就爆 00:00 百分之百的失敗 00:48 三種 eval 來源哪種最有效 02:47 先對再快的模型選擇框架 04:08 框架背後的三個缺口 05:45 最值錢的心態轉換 06:41 📝 懶人包 ∙ eval 數量堆疊是假進步。每條 eval 都要能回答「它在測哪個生產環境的行為」，回答不出來就不該加 ∙ 最有效的 eval 來源是 dogfooding (自己用自己做的產品) 產生的真實錯誤，不是從 benchmark 批量匯入 ∙ 選模型先過正確性門檻再比效率。用「理想軌跡」量化同樣答對但多繞了幾步 ∙ 我的觀察：文中沒有討論「什麼錯誤值得寫成 eval」的優先級框架。dogfooding 每天都會發現錯誤，但不是每個都值得固化成永久測試，這個篩選標準才是實務落地最大的缺口 📚 參考資料 How We Build Evals for Deep Agents → https://blog.langchain.com/how-we-build-evals-for-deep-agents/