AI agent 反覆跑推理優化實驗，結果發現多數花招只是雜訊

讓 AI agent 反覆跑推理優化，最大加速是去掉 top-p sampling (+10.8%)。KV cache 量化反而崩壞，多數調參只是雜訊。比速度更重要的發現是：測試框架才是優化的真正產品。 ⭐ 文章深度讀：整理了哪些優化有效、哪些只是雜訊的完整分析 → https://heymaibao.com/ai-agent-inference-optimization-experiment/ ⚡ 章節重點 AI 效能數字在自嗨？ 00:00 一個逼 AI 說實話的實驗 01:17 最大加速竟來自最簡單的改動 02:57 理論上該有效卻全軍覆沒 04:00 比 10.8% 更值錢的發現 05:15 📝 懶人包 ∙ 去掉 top-p sampling 改用 argmax (貪婪解碼)，就拿到最大加速：Qwen 0.5B 4-bit 上 +10.8%，Llama 3.2 3B 4-bit 上 +2.6%。sampling 的運算開銷不是免費的 ∙ KV cache 量化理論上應該加速，但在 Apple Silicon 上反而讓品質崩壞或速度下降。照搬理論不如實測 ∙ 大部分調參 (prefill step size、關閉 GC、調 Metal cache 限制) 都只是測量雜訊，一旦明顯浪費被消除，剩下的改動在天花板附近微小移動 ∙ 我的觀察：這個實驗最有價值的不是那 10% 的加速數字，而是測試 harness (固定的評估框架) 的設計本身。當你的測試框架能攔截「減少輸出長度就看起來更快」這種假贏，你才算真的在優化，而不是在自欺 📚 參考資料 What Happened When I Applied Karpathy's Autoresearch Idea to LLM Inference → https://x.com/manthanguptaa/status/2036785420349174073