@quarqlabs：遞迴語言模型（RLMs）透過環境探索方式突破上下文視窗瓶頸，在長上下文任務中顯著優於傳統模型。 過去數月，Recursive Language Model…

遞迴語言模型（RLMs）透過環境探索方式突破上下文視窗瓶頸，在長上下文任務中顯著優於傳統模型。 過去數月，Recursive Language Models (RLMs) 已浮現討論，但近兩週伴隨 GEPA 等概念，熱議急速升溫。它們針對 Agent 建構時的上下文視窗瓶頸，提供全新視角：不再將輸入視為固定文字塊，而是如環境般可探索，讓根模型配備 REPL，不需預先讀取全部內容，而是決定值得檢查的部分，並視需要進行遞迴子呼叫，從而實現結構化計算而非單一大前向傳遞。 效能突破關鍵數據 論文顯示，RLMs 可處理超出上下文視窗兩個數量級的內容。但在簡單檢索任務如「needle in a haystack」上，與標準模型無明顯差異；差異僅在上下文達 16K token 以上顯現，這屬預期。 在 OOLONG 任務（需跨多筆資料聚合，線性複雜度）中，隨著輸入增長，傳統模型穩定衰退，而 RLMs 維持優異表現：在 132K token 規模，基礎 GPT-5 得分 44%，RLM 達 56.5%，改善約 28%。 高複雜度任務優勢 OOLONG-Pairs 任務要求成對比較（二次方複雜度），標準模型表現近乎零分，而 RLMs 達約 58% F1 分數。此非意外，因為注意力機制本非為單前向傳遞設計此類任務。 在深度研究任務如瀏覽大型文件集，RLMs 亦展現準確率與 token 效率雙重提升。 小模型反轉現象 RLMs 帶來有趣副效應「小模型反轉」：透過適當遞迴設定，小型模型在長上下文推理上超越大型模型。例如，基於 GPT-5-mini 的 RLM 在較難分割上勝過 GPT-5；經微調的小型模型在百萬 token 任務中勝出更大模型。這顯示瓶頸非僅模型規模。 適用限制與啟示 RLMs 並非萬能，在短小簡單任務上無額外價值。但隨著上下文長度與推理複雜度增加，其優勢難以忽視。OOLONG-Pairs 的 ~58% 對 <0.1% 結果，為最清晰訊號：一旦任務需結構化計算而非單純模式匹配，讓模型能「作用於」上下文，即徹底改變其能力。 原文：https://easyvibecoding.app/curated/948