@samueljmcd：我對 Loop Engineering 的看法 Loop engineering（迴圈工程）是現在的新名詞。但困難的部分一直沒變，那就是：驗證（Verif…

我對 Loop Engineering 的看法 Loop engineering（迴圈工程）是現在的新名詞。但困難的部分一直沒變，那就是：驗證（Verification）。 小撇步：如果你不想讀完這篇文章，可以直接複製貼上到 Claude，請它幫你整理出最精華的觀點！！ 現在業界流傳著一句話。Claude Code 的創作者兼負責人 Boris Cherny 在六月的 Fortune Brainstorm Tech 會議上提到，他現在已經不再親自撰寫 Prompt 了。他的說法是，現在是另一個 Claude 在負責下 Prompt。在某個早晨，他同時管理著數百甚至數千個 Agent。 圍繞著這個現象發展出來的框架就是「Loop engineering」。這個概念的推銷方式分為三個階段：2024 年是寫出好的 Prompt；2025 年是並行執行 Agent；2026 年則是打造出能為你執行 Agent 的迴圈。你不再需要親自輸入 Prompt，而是開始設計一套能自動輸入 Prompt 的系統。 這個框架在一定程度上是沒問題的，但它也掩蓋了決定你的迴圈能否真正產出成果的關鍵。一個迴圈本質上就是一個連接到驗證器的生成器。生成器從來都不是瓶頸，驗證器才是。 展開畫面重點圖片標題為「FIG. 1 A loop is a generator wired to a verifier」（圖 1：一個由生成器連接至驗證器的循環）。 圖中包含兩個主要組件： 左側為「GENERATOR」（生成器），下方註記「writes the work」（負責撰寫工作）。 右側為「VERIFIER」（驗證器），下方註記「the gate」（作為閘門），並標有勾選符號。 流程說明如下： 生成器輸出內容至驗證器。 若通過驗證（pass），則進入「PASS -> SHIP」（通過並發布）階段。 若未通過驗證（fail），則產生「feedback」（回饋）並進行「next iteration」（下一次迭代），虛線箭頭將回饋導回生成器以進行修正。 迴圈的本質是什麼 把術語簡化來看。迴圈取代了人類「提示、閱讀、再次提示」的循環，轉而採用一種自動運行的週期：探索、規劃、執行、驗證，並不斷重複直到達成條件。Agent 會驅動自己的迭代過程，而你負責設計它運行的軌道。 最簡單的版本是單一 Agent 對自己的輸出進行迴圈處理：研究、草擬、對照目標、修復弱點，重複直到達到標準。這就像是一個人在修改草稿，差別在於這個人不會感到厭倦。 規模較大的版本則是一個「艦隊」。目標會交給協調者（Orchestrator），協調者將任務拆解並分發給專家，專家再將細節工作交給子 Agent。這個樹狀結構在每個層級都會執行探索、規劃、執行、驗證，直到目標達成。前者是一位單打獨鬥的作者，後者則是一個端到端執行專案的團隊。 展開畫面重點圖片標題為「FIG. 2 Same loop, two scales」，分為左右兩個部分： 左側為「SINGLE AGENT」（單一代理）： 流程包含三個步驟：draft（草稿）、check（檢查，標註有勾號）、fix（修正）。 箭頭指示從 draft 到 check，再到 fix，並有一條虛線箭頭從 fix 指回 draft，標註為「repeat」（重複）。 下方文字說明：「rewrites its own draft」（重寫其自身的草稿）。 右側為「FLEET」（代理群體）： 頂層為「ORCHESTRATOR」（協調者）。 中間層為「specialist A」與「specialist B」。 底層為四個「sub」（子任務，均標註有勾號），分別對應 specialist A 與 specialist B。 虛線箭頭從底層的「verified results」（驗證結果）指向 ORCHESTRATOR。 下方文字說明：「a team running the project end to end」（一個從頭到尾執行專案的團隊）。 這些本質上都不是新東西。它就是你已經在運行的 Agent 迴圈，只是把人類從內部的循環中抽離出來，提升到設計者的層次。 開放式與封閉式 迴圈有兩種形態，而這兩者的差異就是成敗的關鍵。 開放式迴圈（Open loop）給予 Agent 廣闊的探索空間。雖然有條件和目標，但在中間過程擁有自由。它可以找到你未曾指定的路徑，並產出你未曾規劃的成果。這正是真正創新輸出的來源。但同時，它也會以大多數預算無法負荷的速度消耗 token，如果標準過於寬鬆，它就會變成一台製造垃圾的機器。迴圈越自由，就越依賴檢查工作的機制。 封閉式迴圈（Closed loop）則會預先鎖定執行路徑。有明確的目標、定義好的步驟、每一步的評估，以及停止條件或將執行資料附帶給人類的交接機制。Agent 依然在迴圈中，但它是在你建立的框架內運作。因為路徑受到限制，它能在正常的預算內運行。 展開畫面重點圖片標題為「FIG. 3 Open vs closed」。 左側為「OPEN · EXPLORE」流程： 起點為「goal」。 透過發散的虛線指向四個不同的圓形節點，其中最上方標註為「novel」，下方兩個標註為「slop」。 下方文字說明：「no gate · expensive · drifts」。 右側為「CLOSED · EXECUTE」流程： 起點為「goal」。 依序向下連結至「step 1」與「step 2」，每個步驟旁皆有對應的「eval ✓」評估框。 最後連結至「stop · ship」節點。 下方文字說明：「bounded · gated · ships」。 此圖表對比了兩種模式：開放式探索流程缺乏門檻、成本較高且容易偏離目標；封閉式執行流程則有明確邊界、設有評估關卡，且能確保產出。 封閉式迴圈才是目前能產出成果的方式。人們常將功勞歸於 Agent 的自主性，但自主性並非原因，評估閘門（Evaluation gate）才是。這個閘門能阻止自信滿滿的錯誤答案傳播到下一次迭代，甚至是之後的迭代。 這也是大多數關於迴圈的討論會避而不談的地方。每個人都會畫出「探索、規劃、執行、驗證」的圖表，但幾乎沒人精確說明「驗證」方塊裡到底是什麼。那個方塊才是產品的核心，其餘的都只是管線工程。 迴圈的起源 Loop engineering 並非憑空出現，其背後有兩種研究模式作為支撐。 源自普林斯頓大學與 Google 的 ReAct，交替進行推理與行動。思考、行動、觀察結果、再次思考，重複直到完成。用程式開發的術語來說：理解目標、撰寫程式碼、執行、讀取錯誤、推斷原因、修復、重新執行，直到測試通過。迴圈本身就是重點。 Reflexion 則是具備記憶的 ReAct。當嘗試失敗時，Agent 會用簡單的語言寫下失敗原因，儲存該筆記，並在下次嘗試時讀取它。在現代的 harness 中，這份筆記會存放在檔案中，而不是 context window 裡。這就是現在人們所稱的「持久化記憶」的種子。 展開畫面重點圖表標題為「FIG. 5 ReAct → Reflexion」。 左側為「ReAct · reason + act」流程： thought action · call tool observation (✓ read the result) 設有虛線箭頭標示「loop」，從 observation 回到 thought。 右側為「Reflexion · ReAct + memory」流程： attempt fail reflect (write why it failed) memory (以文件圖示表示) 設有虛線箭頭標示「reuse next attempt」，從 memory 回到 attempt。 這兩種模式的核心思想是一樣的：會自我檢查的 Agent 勝過不會檢查的 Agent。 內迴圈與外迴圈 一個有用的迴圈包含兩個層次，而這兩者經常被混淆。 內迴圈（Inner loop） 在單一任務內運行。Agent 在回答前會先驗證自己的工作。較弱的 Agent 修改檔案後就說完成了；較強的 Agent 會修改檔案、撰寫測試、執行測試、捕捉失敗的邊緣案例、修復它、重新執行、確認通過，然後才說完成。工具是一樣的，唯一的差別在於模型是否選擇呼叫驗證器。這個選擇，就是展示品與實際成果之間的差距。 外迴圈（Outer loop） 則跨越不同的對話階段（sessions）運行。當 Agent 在某處失敗時，它會將經驗記錄在持久化檔案中，之後的對話階段會讀取該檔案，從一開始就避免犯錯。SKILL.md 和 AGENTS.md 是存放這些資訊的理想位置。當 context window 重置時，Agent 會遺忘，但程式庫不會。…