Garry Tan 回應 LLM 批判：模型是引擎，harness 是車

Garry Tan 回應 Jepsen 作者 Kingsbury 的 LLM 批判：不可靠是工程問題不是哲學問題。用 harness、skill file、resolver、deterministic code，把幻覺變可 debug 的 bug。 ⭐ 文章深度讀：拆好 harness 四件組與 Kingsbury 四案例的工程修法清單 → https://heymaibao.com/garry-tan-llm-harness-is-the-car/ ⚡ 章節重點 引擎還是整台車？AI 新思考框架 00:00 Kingsbury 32 頁宣判 LLM 是胡扯機器 00:36 Garry Tan 一句話反駁：觀察對，結論錯 01:59 harness 四件組：skill file、resolver、deterministic code 02:50 從幻覺哲學題變成工程 bug 04:43 模型是引擎，去造那輛車 06:43 📝 懶人包 ∙ Kingsbury 文章裡的四個 LLM 失敗案例 (Gemini 把浴室 3D 圖的馬桶弄不見、ChatGPT 把白補丁畫錯位置、Claude 做 image-to-image 產出一堆亂七八糟的多邊形、某個 LLM 宣稱下載了股價資料但其實是亂數圖) 都是真的失敗。但每個案例都是「一個人坐在生模型前打字」，沒有 skill file 指導流程、沒有 deterministic tool 處理精準部分、沒有 resolver 路由、沒有 harness 管 context。 ∙ Garry 的正面主張是 thin harness + fat skills：判斷推上 skill file (結構化的 markdown 程序文件)，執行推下 deterministic code (固定輸出的程式)，中間由 resolver 路由，外層由 harness 薄薄地 orchestrate。連 Anthropic 自己都包了 512,000 行程式碼在 Claude 外面，這是做最強模型的人也不信任生模型的工程證據。 ∙ 這套架構不會讓 LLM 變聰明，但會把失敗模式從「模型幻覺」改成「skill 寫錯 / tool 有 bug」。前者是哲學絕望，後者是可 debug 可修復的工程問題。 ∙ 我的觀察：這場辯論對 AI 使用者的意義，不在判決誰對誰錯，在於換一個診斷框架。下次手邊的 LLM 又幻覺了，該問的問題不是「AI 不行」，而是「我的這個工作流裡，少了哪一層 harness、哪一個 deterministic tool、哪一條 skill」。把失敗當工程 bug 去修，而不是當成判決書。 📚 參考資料 Garry Tan: The Future of Everything is Lies (Response) → https://x.com/garrytan/status/2045798603059548364