@RLanceMartin：使用 Fable 5 設計迴圈 像 Claude Fable 5 這類 Mythos 等級的模型，已經改變了我們許多人在 Anthropic 的工作方式。…

使用 Fable 5 設計迴圈 像 Claude Fable 5 這類 Mythos 等級的模型，已經改變了我們許多人在 Anthropic 的工作方式。我想分享兩個能讓你從這類模型中獲得最大效益的技巧。 自我修正迴圈 最近大家對「迴圈」非常感興趣。@bcherny 曾提到「（他的）工作就是編寫迴圈」。讓模型在評估基準上進行爬山演算法（hillclimbing）是提升任務效能的常見配方：Claude Code 中的 /goal 和 Claude Managed Agent 中的 Outcomes，就是讓你針對特定任務應用此通用配方的基礎元件。 正如我們在提示詞工程指南中所提到的，Fable 5 非常擅長在迴圈中進行自我修正。設計良好的目標（goal）或評分標準（rubric）能為 Claude 運行的環境提供回饋。這讓 Claude 能夠執行任務、透過目標或評分標準收集回饋、進行自我修正，並持續運作直到達成目標或符合評分標準為止。 展開數據表Claude Code /goalClaude Managed Agent OutcomesGoalMeasurable end stateRubric with gradable criteriaThe judgeIndependent grader model (Haiku)Independent grader sub-agentThe loopNot-met verdict starts the next turnIterate -> grade -> reviseBoundTurn / time clause in the conditionmax_iterationsFeedbackGrader model feedbackGrader sub-agent feedbackExitAuto-clear on met or /goal clearRubric passes / interrupt 我想分享一個我用來測試 Fable 的玩具範例：Parameter Golf 是一項開源的機器學習工程挑戰，目標是在 8xH100 GPU 上，於 10 分鐘內訓練出一個能放入 16MB 檔案中的最佳模型。 這有點像 @Karpathy 的 autoresearch 專案：它測試了 Agent 編輯基礎訓練程式碼（單一 train_gpt.py 檔案）、啟動訓練、輪詢日誌、讀取分數，並決定下一步要執行什麼實驗的能力。 我使用 Claude Managed Agents (CMA) 在這項挑戰中比較了 Fable 5 與 Opus 4.7。CMA 提供了 Agent 的 harness 以及託管的沙盒，因此非常適合 Fable 5 進行長時間運行的任務。針對 Parameter Golf，我提供給 CMA 一個 8xH100 GPU 的自託管沙盒。 一個細微的重點是：由誰來進行評判非常重要。我們發現模型在對自己的輸出進行自我批判時會遇到問題。Prithvi Rajasekaran 在我們的工程部落格中寫過關於這點的內容。 展開數據表項目數值起始1.228最佳1.1604結束1.1604起始1.228最佳1.2178結束1.2178 我們發現，使用 Fable 5 時，驗證者子 Agent（verifier sub-agent）的表現往往優於自我批判，因為評分是在一個獨立的 context window 中完成的。CMA 中的 Outcomes 透過為你生成一個評分者子 Agent 來處理這個問題。 針對每次測試，我提供了一份包含九項可檢查標準的評分標準文件（例如：執行基準測試、進行 20 次實驗等）。接著，我讓 Parameter Golf 運行了長達 8 小時。Outcomes 評分者在允許 Claude 停止工作前，確認了所有實驗標準皆已達成。 Fable 5 在訓練管線上的改進幅度約為 Opus 4.7 的 6 倍。如果我們將實驗視為結構性（例如：架構變更）或純量性（例如：調整常數），Fable 5 傾向於押注在較大的結構性變更上，並展現出穩健性（例如：在量化回歸中堅持下去，最終獲得了最大的勝利）。 Opus 4.7 的第一次實驗產生了小幅獲利，但之後幾乎所有實驗都遵循相同的模板：調整純量、測量、如果結果為正則保留。 記憶 記憶是 Fable 表現優異的另一個領域。我們可以將其視為跨越不同對話階段（session）的外部迴圈：Claude 在對話期間寫入記憶，而這些記憶可以在未來的對話中被檢索。 @pgasawa 和團隊最近發布了 Continual Learning Bench 1.0，所以我想要在 Fable 5 與早期模型之間進行測試。 我在該基準測試的其中一項任務中比較了 Fable 5、Opus 4.7 和 Sonnet 4.6：該任務要求 Agent 在存取 SQL 資料庫的情況下回答連續性問題。每個問題都是一個獨立的 Agent 對話階段，並提供記憶功能。 為此，我使用了具備記憶功能的 CMA，它讓每個 Agent 都能存取一個可跨對話階段共享的掛載檔案系統。展開數據表Stateless baselineWith memory storeFable 50.5550.839Opus 4.70.3830.700Sonnet 4.60.3300.364 對於這項任務，有效利用記憶得益於一個漸進過程：失敗（出錯並記錄）、調查（在繼續之前找出原因）、驗證（將診斷結果轉化為已核實的事實）、提煉（將驗證結果轉化為通用規則），以及諮詢（閱讀規則，而不是重新推導）。 Sonnet 4.6 大約在第 1 步就停滯了：它的儲存內容是一堆失敗筆記和未經證實的猜測（例如：「也許是 prc 而不是 prc_usd？」）。它很少諮詢先前的筆記。若要提升效能，需要針對任務的記憶指令。 Opus 4.7 大約在第 3 步停滯：它會建立一個標記了不確定性的結構參照（例如：「可能是以美分計算的 prc？需要驗證。」），但驗證覆蓋率很低：僅在 7-33% 的問題中進行（中位數運行約 17%）。 Fable 5 傾向於完成整個過程：在表現最好的運行中，驗證覆蓋率高達 73%（30 題中答對 22 題），並且會將學習到的內容提煉為有助於未來任務的通用規則。 --- 與其直接對 Fable 5 下達提示詞並進行引導，不如設計迴圈，讓模型能夠根據環境回饋（例如 /goal 或 Outcomes）進行自我修正，並管理自己的 context（例如透過記憶）。 我只分享了幾個我進行過的小規模實驗，但非常值得你自己親自測試 Fable 5 在挑戰性任務上的表現，並利用迴圈來進行自我修正或記憶管理。 若要開始，請參閱我們的文件，或詢問最新版本的 Claude Code，它可以使用我們內建的 /claude-api skill 來告訴你關於 Fable 5（例如提示詞最佳實踐）、/goal、Claude Managed Agents 或其他 API 功能的資訊。原文：https://easyvibecoding.app/curated/1849