@yifan_zhang_：RPG 框架統一推導 KL 正規化策略梯度演算法，提升 LLM 推理效能。 Yifan Zhang 等人的 ICLR 2026 論文「On the Des…

RPG 框架統一推導 KL 正規化策略梯度演算法，提升 LLM 推理效能。 Yifan Zhang 等人的 ICLR 2026 論文「On the Design of KL-Regularized Policy Gradient Algorithms for LLM Reasoning」提出 RPG (Regularized Policy Gradient) 框架，系統推導並修正大語言模型 (LLM) 在線上強化學習 (RL) 設定下的 KL 正規化策略梯度方法，解決文獻中散亂的 KL 方向、規範化形式與估計器設計問題。論文於 2025 年 5 月 23 日初版，2026 年 2 月 19 日修訂至 v4，並獲 ICLR 2026 接受，今日於里約熱內盧 Riocentro 會議中心 Pavilion 4 發表。作者樂見 V4 與 V3.2 版本採用論文修正的 KL 公式，並建議未來改用 REINFORCE 估計器取代 GRPO，以「IN REINFORCE WE TRUST」強調其可靠性。 RPG 核心貢獻 RPG 提供緊湊統一推導，聚焦離策略 (off-policy) 設定下，各 KL 變體所需的權重，使代理優化目標產生精確的 KL 正規化目標梯度： 統一規範化 (normalized KL) 與非規範化 (unnormalized KL) 形式，證明廣泛使用的 $k_3$ 懲罰即為非規範化 KL。 為前向 (forward) 與反向 (reverse) KL 散度推導策略梯度及代理損失函數。 指定 REINFORCE 風格損失 (使用 stop-gradient 運算子) 等價於全微分代理的條件，適用於線上 RL 透過舊策略 $\pi_{\mathrm{old}}$ 的重要性取樣 (importance sampling)。 辨識並修正 GRPO 的 KL 項離策略重要性權重不匹配問題。 RPG 還引入「RPG-Style Clip」，即 RPG-REINFORCE 中的裁剪重要性取樣步驟，實現大規模穩定離策略策略梯度訓練。 數學推理基準實驗結果 在 AIME2024 與 AIME2025 基準上，RPG-REINFORCE 搭配 RPG-Style Clip 相較 DAPO 基準提升高達 +6 個百分點絕對準確率： 擴展至 8K 上下文長度，於 AIME2025 達 52% 準確率，超越官方 Qwen3-4B-Instruct 模型的 47%。 使用過濾後的「filtered DAPO-Math-17k」資料集微調，評估資料集包括 AIME2024、AIME2025 與 AMC23，所有資料預處理為 .parquet 格式置於 "data/" 資料夾。 RPG 被定位為穩定可擴展的 LLM 推理 RL 演算法，依賴 (a) KL 正確目標、(b) 裁剪重要性取樣、(c) 迭代參考策略更新方案。作者強調，這解決了文獻中 KL 正規化設計的混亂與錯誤，特別批判 GRPO 的權重失配。 程式庫特點與相容性 RPG 程式庫支援全面推導與多樣演算法需求： 全面性：涵蓋前向/反向 KL 的規範化 (KL) 與非規範化 (UKL) 形式。 彈性 RL 設定：提供全微分損失函數 (連結變分推斷) 與 REINFORCE 風格梯度估計器，適用離策略線上設定。 程式庫基於 volcengine/verl 程式碼庫，需 Python 3.10+、PyTorch 2.6.0，相容 MIT 授權。專案頁面：https://github.com/complex-reasoning/RPG；論文：https://arxiv.org/abs/2505.17508；網站：https://complex-reasoning.github.io/RPG。 硬體與安裝需求 推薦 A100 或 H100 GPU，至少 8 張 80G VRAM： 安裝步驟： - 複製程式庫：git clone https://github.com/complex-reasoning/RPG.git 並進入目錄。 - 遵循 verl 文件：https://verl.readthedocs.io/en/latest/index.html。 - 安裝依賴：pip install -r requirement.txt。 虛擬環境管理依賴為佳。 資料準備細節 使用 pandas DataFrame 模板預處理資料至 .parquet 格式，置於 "data/" 資料夾： | Key | datasource | prompt | ability | rewardmodel | extra_info | |-------------|------------------------------|------------------------------------------------------------------------|---------|---------------------------------------------------|----------------------------------------------------------------------------| | Description| 決定 rollout 結果評估方式的資料來源類型 | Dict: {"content": 嵌入提示模板的問題，"role": "user"} | MATH | Dict: {"groundtruth": 結果字串，"style": "rule-lighteval/MATHv2"} | Dict: {"index": acc@k 重複索引，"raw_problem": 原始問題，"split": None} | 提示生成函數： `python def generate_prompt(question: str): pre_q = "Solve the following math problem step by step. The last line of your response should be of the form Answer: $Answer (without quotes) where $Answer is the answer to the problem.\n\n" post_q = "\n\nRemember to put your answer on its own line after \"Answer:\"." return preq + question + postq ` data_source 設定： - "math-dapo" 用於 AIME2024 與 DAPO-Math-17k。 - "aime2025" 用於 AIME2025。 - "amc_23" 用於 AMC-23。 acc@k 支援：重複資料 k 次，設定 "index" 為 0~(k-1)。 程式庫提供 AMC-23、AIME2024、AIME2025 資料；filtered DAPO-Math-17k 來自 https://huggingface.co/datasets/math-dataset/DAPO-17k-Eng/blob/main/dapo-math-17k-eng.parquet。 重現實驗步驟 啟動 ray 伺服器： - ray start --head --dashboard-host=0.0.0.0 開啟儀表板。 - ray start --address='YOURIPADDRESS:6379'，替換本地 IP。 執行 "recipe/rpg/7b/" 資料夾腳本，重現論文實驗： - 基準實驗：runA7b_BCD.sh，其中 A 為 dapo/grpo/rfpp/rfppb，B 空值。 - RPG 實驗：A 為 r…