OpenAI 首席科學家 Jakub Pachocki 呼籲：AI 自我改進的速度，必須受安全能力約束

OpenAI 首席科學家 Jakub Pachocki 呼籲：AI 自我改進的速度，必須受安全能力約束。 Pachocki 在〈An Alien Mind〉中寫道，根據內部研究結果，他強烈預期 AI 的進展速度可能延續到「遞迴自我改進」（RSI）：模型越來越多地參與自身研發，進一步推動能力提升。他擔心，人類還沒準備好面對未來幾年的變化，因此主張一邊加強對齊與監控，一邊協調必要的研發減速。 完成任務，與在陌生情境下守住價值，是兩個問題。 他把對齊研究分成兩類： 目標對齊：AI 是否努力完成交付的任務，包括遵守指令層級、與人協作，以及理解使用者真正想達成的目標。 價值對齊：當目標模糊、互相衝突，或環境陌生甚至帶有對抗性時，AI 能否依然遵循高層次原則，誠實、正直地行動，並關懷人類。 他認為，根本難題在於「泛化」：模型在訓練中學到的價值，能不能延伸到沒有遇過的情境？這也包含與其他 AI 互動，以及在自認沒有人類監督時，仍然維持這些價值。 思考鏈監控正在變難。 OpenAI 的重要做法之一，是觀察模型用文字表達的推理過程，也就是思考鏈（CoT）。若訓練只優化推理結果、不直接監督推理過程，模型在訓練中就沒有直接誘因把推理裡偏離人類價值的想法藏起來。但這種方法看不到不經思考鏈表達的失準傾向。 Pachocki 指出，內部評估顯示，這種監控越來越難依賴，原因有三個：推理與工具使用、人機及 AI 間的溝通混在一起，部分互動又必須接受監督；模型更擅長推敲與操控自己的推理過程；預訓練的進步，也讓模型不靠文字推理就能展現更強能力。他看好結合思考鏈與神經網路內部活化訊號的監控方法，但仍預期「對監控的信心」會逐漸成為 AI 進展的限制。 他也表示，GPT‑6 Astra 的對齊表現比 GPT‑5.6 Sol 顯著改善。不過，能力越強，對齊研究就得繼續往前；對齊能力的進步未必能超過一般智慧的成長速度。 安全門檻要能約束研發。 Pachocki 認為，人類需要強大且對齊的 AI 保護基礎設施、即時防禦失控代理，但防禦需求不能成為不計代價競速的理由。OpenAI 將繼續研究技術解法，必要時單方面暫停進一步擴大模型規模；他也主張，把 Preparedness Framework、Responsible Scaling Policy 等承諾，發展成持續研發必須符合的共同安全門檻，由第三方稽核機構、政府或國際組織執行。 他認為，目前還沒有任何實驗室把對齊與監控解決到足以負責任地繼續長期全速擴張的程度。在共同門檻建立前，他期待業界主動放慢研發成為常態，並呼籲各國政府優先協調未來的 AI 發展。這些是作者的風險判斷與治理主張，不代表 OpenAI 已全面停止研發。 Sam Altman 推薦這篇「Jakub 的重要文章」；Greg Brockman 則以「我們已處於 AGI 時代」表達他的判斷，呼籲認真思考、審慎討論並共同面對挑戰。兩則貼文提供的是支持與回應；文中的 RSI 預期及模型對齊比較，仍來自 Pachocki 的陳述。原文：https://easyvibecoding.app/curated/3281-openai-jakub-pachocki-warns-recursive-self-improvement