對齊也會傳染：OpenAI 發現 AI 的好特質會跨領域擴散

OpenAI 發現好特質會傳染：少量有益特質訓練讓模型在 53 個對齊評估中 44 個變更好，只訓練健康一個領域就泛化到其他領域，還更難被惡意提示與微調掰彎，但仍是早期證據。 ⭐ 文章深度讀：只訓練健康一個領域，模型卻在完全無關的領域全面變乖，這是我覺得最反常識的一點 → https://heymaibao.com/openai-beneficial-rl-alignment/ ⚡ 章節重點 開場 00:00 什麼是對齊與失準 00:54 把好特質變成可訓練資料 02:04 好特質跨領域擴散 03:18 極難被掰彎 04:36 結論 種下對的種子 06:26 📝 懶人包 ∙ OpenAI 在標準訓練資料裡混入少量「有益特質」資料 (誠實、願意被糾正、會解釋自己的思路等)，結果模型在 53 個對齊評估中有 44 個，表現優於用同樣算力訓練的對照組。 ∙ 最驚奇的是跨領域: 只用「健康」這一個領域訓練好特質，模型在跟健康無關的指標 (鑽漏洞、欺騙、一般失準) 上也變好; 反過來把健康和科學從訓練資料拿掉，它在健康評估上照樣進步。 ∙ 這些改善還很「韌」:模型更難被惡意提示或惡意微調推向有害行為，但對正當的有益指令仍然乖乖配合，不是變得整個更難用。 ∙ 我的判斷: 這是 emergent misalignment 的正向鏡像，機制上是個好消息。但 OpenAI 自己也說這是「概念驗證」級的早期證據，別急著解讀成「對齊問題解決了」。 📚 參考資料 Reinforcement Learning Towards Broadly and Persistently Beneficial Models (Jagadeesh et al., 2026) → https://alignment.openai.com/beneficial-rl/