NVIDIA AI 展示以 NeMo RL 與 NeMo Gym 支援 Agent 自主執行訓練研究

NVIDIA AI 展示以 NeMo RL 與 NeMo Gym 支援 Agent 自主執行訓練研究。 核心應用與成果 NVIDIA AI 展示了如何賦予 coding Agent（實驗使用 OpenAI Codex 搭配 GPT 5.5）明確目標與時間預算，使其能獨立執行機器學習研究工作流程。在實驗中，Agent 成功設定訓練環境，並針對視覺模型進行強化學習訓練，將「Qwen3-VL-2B」模型的任務準確率從 25% 提升至 96.9%。此外，Agent 不僅能執行既定任務，還能主動提出後續的實驗建議。流程也包含根據論文實作 off-policy RL 演算法，並啟動 10 小時的驗證訓練。 影片展示了如何透過 AI 代理與自動化研究工作流程，進行視覺語言強化學習實驗。 技術架構與運作機制 此工作流程以 Andrej Karpathy 的開源專案「Autoresearch」為核心概念，將重複性的設定與迭代工作交由 Agent 處理，研究人員則負責設定目標、審核里程碑與策略決策。系統整合了以下關鍵技術： NVIDIA NeMo RL 與 NeMo Gym：提供模型互動、獎勵機制與訓練環境的基礎設施，支援 GRPO、DPO 等多種訓練配置。 Agent skill 模組：為了克服 Agent 在長執行週期中可能出現的記憶喪失或環境不熟悉問題，引入了三項關鍵 skill： - Brev-etiquette：管理硬體實例（如 NVIDIA L40S 48GB GPU）的運作規範，確保快取與檢查點（checkpoint）儲存正確。 - Session-memory：記錄長期任務的目標、子任務、已載入的 skill 與進度，確保工作脈絡延續。 - Autoresearch：負責實驗迴圈管理，包括建立分支、記錄實驗日誌、監控停止規則並總結結果。 這是一段設定自動化研究任務的指令，要求使用特定的 skill 模組對模型進行訓練與效能評估。 實務建議與注意事項 儘管 Agent 具備高度自主性，但仍需注意潛在的失敗模式，如上下文漂移（Context drift）導致目標遺忘，或因指令過於頻繁而偏離研究方向。開發團隊建議： 將 skill 視為不斷演進的「工作流程指令」，隨經驗累積持續更新。 在長週期執行前，應進行明確的腦力激盪與規劃，並設定 GPU 時數或時間限制等預算約束。 應將 Agent 視為具備能力的實習生或初階同事，人類研究人員仍需負責驗證實驗邏輯與判斷結果的價值。 欲了解詳細操作步驟或觀看演示影片，可參考官方說明文件：Autoresearch Workflow Guide影片展示了如何透過 AI 代理與自動化研究工作流程，進行視覺語言強化學習實驗。 影片中的 Prompt 與操作：Prompt（00:04）： 閱讀論文，實作該論文並在 Qwen 1.3B 模型上執行測試。將新演算法與現有的演算法進行比較。原文：08: Read the paper, implement the paper and run the test on the Qwen 1.3B model. Compare the new algorithm with the existing one.操作步驟： 1. @3:07 點擊 Brev 平台上的部署連結。 2. @4:07 點擊「Deploy」按鈕啟動實例。 3. @4:09 開啟 Visual Studio Code 並連接至 Brev 實例。 4. @4:17 在 Codex 聊天視窗中查看實驗執行日誌。 5. @6:31 在聊天視窗中輸入指令調整批次大小（Batch Size）為 256x16。原文：https://easyvibecoding.app/curated/2521-nvidia-nemo-rl-and-nemo-gym-for-agent-training