@OpenAI：OpenAI 透過強化學習訓練模型展現對齊表現。 研究核心目標 OpenAI 近期發表一項研究，旨在解決 AI 模型在處理高風險、長任務時，如何確保其行…

OpenAI 透過強化學習訓練模型展現對齊表現。 研究核心目標 OpenAI 近期發表一項研究，旨在解決 AI 模型在處理高風險、長任務時，如何確保其行為能持續保持安全與有益。研究團隊透過強化學習（Reinforcement Learning, RL）訓練模型，使其在健康、科學、教育等 12 個領域的真實對話情境中，展現出誠實、面對不確定性時的謙遜、樂於接受修正、公平性以及對人類福祉的關懷等核心特質。 這張圖表展示了針對不同領域（健康、藝術、工程、法律）評估 AI 模型回應品質的範例架構，包含使用者提問、候選回應內容以及評分標準。 跨領域泛化能力 研究發現，僅需少量的訓練資料，模型就能產生超越訓練情境的廣泛效益。與運算資源相當的基準模型相比，經過此訓練的模型在 53 項獨立的對齊與效益評估中，有 44 項表現顯著提升，涵蓋了防範欺騙、獎勵駭客行為（reward hacking）、安全性及心理健康等指標。 相較於計算量匹配的基準模型（baseline），經過有益特徵強化學習訓練的模型（beneficial trait RL）在涵蓋欺騙、安全、健康等 28 項對齊與有益性評估指標中，隨著訓練進度（RL train progress）的推進，普遍展現出顯著且持續提升的對齊分數（Alignment score）。 最關鍵的發現是「跨領域遷移」效果：即便僅在健康領域進行訓練，模型在非健康領域的評估（如防範欺騙與錯誤行為）中依然表現優異，顯示這種對齊特質具有跨領域的泛化潛力。 僅在健康對話領域進行有益特質強化學習訓練的模型（health-only beneficial trait RL），在非健康領域的對齊、欺騙和獎勵黑客等各項評估中，其表現皆顯著優於基準模型（baseline），展現出強大的跨領域遷移能力。 壓力下的穩健性 除了泛化能力，研究亦測試了模型在壓力下的對齊持久性： 對抗性提示（Adversarial prompts）：模型在面對試圖引導其產生有害內容的對抗性提示時，展現出更強的抵抗力，同時仍能維持對正常指令的響應能力。 抗有害微調（Harmful fine-tuning）：初步證據顯示，經過此訓練的模型對於惡意微調的抵抗力更強，在遭受試圖植入錯誤醫療建議的微調後，其整體對齊表現的衰退程度遠低於基準模型。 使用有益特質強化學習（beneficial RL）訓練的模型在面對對抗性提示與微調干預時，其對齊分數的下降幅度顯著小於基準模型，證實其具備更強的持久性。 研究意義與展望 OpenAI 指出，這項研究並非要定義 AI 應具備哪些最終價值觀，而是提供了一種具體且可實證的起點，用以探討透過強化學習植入「有益行為特質」，是否能改善模型整體的對齊效果。這項進展為未來開發更可靠、透明且能主動造福人類的 AI 系統奠定了基礎，確保模型在面對未見過的情境與複雜壓力時，仍能維持穩定的對齊行為。 原文：https://easyvibecoding.app/curated/2121