@mem0ai：ICLR 2026 重點摘要：AI Agent 記憶 本週 ICLR 2026 在巴西里約熱內盧舉行。共有 5 篇論文探討了 Agent 應如何處理記憶：…

ICLR 2026 重點摘要：AI Agent 記憶 本週 ICLR 2026 在巴西里約熱內盧舉行。共有 5 篇論文探討了 Agent 應如何處理記憶： Google 的 TurboQuant 將 KV cache 壓縮了 5 倍。 MEM1 訓練了一個 7B 的 Agent，其準確度達到 14B 基線模型的 3.5 倍，且記憶體消耗減少了 3.7 倍。 BEAM 研究顯示，即使擁有 100 萬 token 的視窗，在長程記憶任務中效能仍會下降。 LightMem 將記憶 token 減少了高達 38 倍，執行時間縮短了高達 12.4 倍。 MemoryAgentBench 顯示，所有受測的頂尖模型都會隨著增量互動的累積而效能下降。 ICLR 2026 甚至為記憶議題舉辦了專門的研討會：MemAgents。 在 Mem0，記憶是我們的核心，我們持續追蹤研究人員在 ICLR 2026 關注的內容。 以下是五篇值得一讀的論文。 TL;DR：這 5 篇關於 Context 與記憶的論文 TurboQuant (Google Research + Google DeepMind + NYU)：透過一次隨機旋轉加上純量量化，逼近資訊理論的下界。在零可察覺品質損失的情況下，實現 5 倍 KV cache 壓縮；在 1536 維的 OpenAI embedding 上，速度比 Product Quantization 快約五個數量級，比 RabitQ 快六個數量級。 BEAM (Alberta + UMass Amherst)：針對長期記憶的新基準測試。無論是否使用檢索增強，擁有 100 萬 token 視窗的 LLM 都會隨著對話拉長而效能下降。 LightMem (Zhejiang + NUS)：記憶操作是 Agent 迴圈中的延遲瓶頸。實現了 token 層級的檢索壓縮，品質保持不變，且成本隨對話長度縮減。 MEM1 (SMART + NUS + MIT + Yonsei)：透過 RL (強化學習) 訓練 Agent 在每個回合重寫自己的記憶。在 16 個目標的多跳 QA 任務中，MEM1-7B 的準確度達到 Qwen2.5-14B-Instruct 的 3.5 倍，且記憶體消耗減少 3.7 倍。具備超越訓練長度的泛化能力。 MemoryAgentBench (UCSD)：借鑒認知心理學的增量多輪對話基準測試。所有受測模型都會隨著增量互動的累積而效能下降。 📄 論文：arxiv.org/abs/2504.19874 這篇論文在零品質損失下將 KV cache 壓縮了 5 倍，速度比先前的向量量化器快了六個數量級。 Zandieh 等人證明，透過一次隨機旋轉，接著進行逐座標的純量量化，即可在 MSE 和內積失真方面都逼近資訊理論的下界。無需調整，無需針對資料集進行校準，且支援線上運作。 數據表現： 在每個通道 3.5 bits 的情況下，TurboQuant 在 KV cache 壓縮上達到了絕對的品質中立。在 2.5 bits 時，效能下降也微乎其微。這意味著在沒有可察覺損失的情況下，快取記憶體實現了 5 倍壓縮。 在 Llama-3.1-8B 的「大海撈針」(needle-in-haystack) 測試中，4 倍壓縮下的召回率維持在 0.997，與全精度基線完全相同。 在 1536 維的 OpenAI embedding 上，量化速度為： TurboQuant：0.0013 秒 Product Quantization：239.75 秒 RabitQ：2267.59 秒 這比最強大的現有方法快了六個數量級。 為什麼這很重要：Agent 的記憶受限於 KV cache 成本，而非模型大小。在零品質損失下實現 5 倍快取縮減，意味著你可以免費將已部署 Agent 的 context window 擴大 5 倍。無需重新訓練，無需收集資料，只需要一次旋轉。 論文引用：「對於任何位元寬度 b ≥ 0，D_mse ≤ (√3π/2) · (1/4^b)。」翻譯：你每增加一個 bit，失真度就會減少 4 倍，且與理論底線的常數差距僅為 2.7。接近最佳化。 超越百萬 Token，University of Alberta 與 UMass Amherst 📄 論文：arxiv.org/abs/2510.27246 這篇論文證明了 100 萬 token 的 context window 並不等於 100 萬 token 的記憶，即使完整文件都塞進了 context 裡也是如此。 Tavakoli、Salemi、Ye、Abdalla、Zamani 和 Mitchell 推出了 BEAM 基準測試。該基準包含 100 場長篇對話，長度從 10 萬到 1000 萬 token 不等，並包含 2,000 個經由人工標註驗證的探測問題。 測試了三種方法： 長 context LLM：將完整對話歷史輸入模型。包含 GPT-4.1-nano、Gemini-2.0-flash (皆為 1M)、Qwen2.5-32B-AWQ (128K)、Llama-4-Maverick-fp8。 RAG 基線：每個使用者與助理的回合對都透過 BGE 進行 embedding 並儲存在 FAISS 中。取 Top-5 檢索結果放入 32K 的 context window。 LIGHT：作者提出的框架。同時運作三個記憶系統：用於檢索過去對話的長期情節記憶、用於當前回合視窗的短期工作記憶，以及一個跨回合累積重要事實的暫存區 (scratchpad)。 測試的記憶能力共有十項，其中七項改編自先前的基準測試，三項為本文新引入： 棄權 (Abstention)：當缺乏證據時拒絕回答 矛盾解決 (Contradiction Resolution)：調和相隔甚遠的回合中不一致的陳述 事件排序 (Event Ordering)：重構資訊演變的順序 資訊提取 (Information Extraction)：從長歷史中回憶特定實體與事實細節 資訊更新 (Information Update)：隨著新資訊出現修正已儲存的事實 指令遵循 (Instruction Following)：在長 context 中持續遵守使用者指定的限制 多跳推理 (Multi-hop Reasoning)：整合非相鄰對話片段中的證據 偏好遵循 (Preference Following)：根據不斷變化的使用者偏好調整回應 摘要 (Summarization)：抽象並壓縮長對話內容 時間推理 (Temporal Reasoning)：推論顯性與隱性的時間關係 BEAM 獨有的三項能力是指令遵循、事件排序和矛盾解決。 研究發現： 即使是擁有 100 萬 token context window 的 LLM，無論是否有檢索增強，隨著對話拉長，效能都會掙扎。LIGHT 在平均表現上比最強的基線提升了 3.5% 到 12.69%，其中在摘要 (+160.6%)、偏好遵循 (+76.5%)、資訊提取 (+56.7%) 和時間推理 (+56.3%) 方面的提升最為顯著。 這篇論文證明了模型之外需要一個獨立的記憶層。 儲存庫：github.com/mohammadtavakoli78/BEAM MEM1，SMART + NUS + MIT + Yonsei 📄 論文：arxiv.org/abs/2506.15841 這篇論文透過 RL 訓練 Agent 在每個回合重寫自己的記憶，實現了 3.5 倍的準確度提升與 3.7 倍的記憶體節省。 Zhou、Qu、Wu、Kim、Prakash、Rus、Zhao、Low 和 Liang 主張記憶與推理不應分開。現今大多數 Agent 將過去的每個回合附加到 context 中，並讓模型自行決定關注什麼。MEM1 透過強化學習進行 End to End (端到端) 訓練，讓 Agent 維持一個緊湊的共享內部狀態，同時支援記憶整合與推理。 Agent 在每個回合重寫自己的記憶，捨棄不相關的內容，並強化對任務重要的資訊。 在 16 個目標的多跳 QA 任務上的數據： 在三個領域進行了測試：內部檢索 QA、開放領域網頁 QA 以及多輪網頁購物。該 Agent 展現了超越訓練長度的泛化能力。 為什麼這很重要：這篇論文將記憶定義為一種與推理共同訓練的學習行為，而非一個獨立的檢索子系統。 LightMem，Zhejiang University 📄 論文：arxiv.org/abs/2510.18866 這篇論文將記憶 token 減少了高達 38 倍，並將執行時間縮短了高達 12.4 倍，同時保持或提升了品質。 Fang、Deng、Xu、Jiang、Tang、Xu、Deng、Yao、Wang、Qiao、Chen 和 Zhang 提出了記憶議題的效率面向。 LightMem 是一個記憶增強生成系統，其觀察到 Agent 迴圈中大多數的記憶檢索都是浪費的 token。該系統在 token 層級壓縮記憶操作，使得從記憶中檢索的成本僅為傳統向量儲存往返成本的一小…