Anthropic 與 AE Studio 發表 GRAM 訓練方法隔離雙重用途知識

Anthropic 與 AE Studio 發表 GRAM 訓練方法隔離雙重用途知識。 核心研究目標 Anthropic 與 AE Studio 合作推出的研究，目標是解決 AI 模型中「雙重用途（dual-use）」知識的存取控制問題。現有的防護機制（如拒絕請求或分類器篩選）僅能限制輸出，容易遭受 jailbreak 攻擊，且無法從模型內部徹底移除危險知識。研究團隊提出「GRAM（Gradient-Routed Auxiliary Modules）」技術，透過在 Transformer 每一層的 MLP 中加入輔助模組，將特定領域（如病毒學、網路安全、核物理）的知識與通用權重分離。 此圖展示了神經網路架構中，針對不同領域數據（Bio 與 Core）訓練時，透過動態啟用特定模組與路徑執行前向與反向傳播的運作機制。 技術運作機制 GRAM 的核心在於訓練過程中的梯度路由（gradient routing），而非傳統的資料篩選： 模組化訓練：訓練時，針對雙重用途資料，僅更新對應的輔助模組，通用權重則保持凍結或低度更新。 靈活配置：推論時，使用者可透過移除（ablating）特定模組，讓模型表現得如同從未學習過該領域知識，且不會影響通用能力。 組合性與擴充：單次訓練即可產生多種配置，例如四個模組可組合出 16 種不同的模型版本，大幅降低了針對不同授權需求訓練多個模型的成本（相比資料篩選降低了 5 倍運算資源）。 AE Studio 提出的 GRAM 訓練方法僅需單一模型，即可透過模組的啟用與刪除，達到與訓練多個獨立過濾數據模型（Data Filtering）高度相近的保留（Retain）與遺忘（Forget）效果，在保留通用能力的同時，能有效隔離並移除特定雙重用途知識。 實驗結果與穩健性 研究團隊在 5000 萬至 50 億參數規模的模型上做了測試，結果顯示： 移除效果：GRAM 在移除能力後，對抗惡意微調（adversarial elicitation）的表現優於後驗遺忘技術（post-hoc unlearning）及 MaxEnt，模型不會因少量 finetuning 而輕易恢復危險知識。 實驗結果顯示，GRAM 方法在維持較高核心能力（Core）的同時，相較於 MaxEnt 能顯著降低被惡意提取（Elicit）的比例。 規模化優勢：隨著模型規模擴大，GRAM 對危險知識的隔離與遺忘效果更為徹底。 實驗結果顯示，GRAM 方法在移除特定雙重用途知識時（Forget 與 Elicited Forget 指標顯著下降），能有效保留模型的核心通用能力（Core 接近 1.0），且隨著模型參數規模從 50M 擴展至 5000M，其知識分離與遺忘的效果更加顯著。 標籤稀疏性：在僅有 50% 資料標記的現實場景中，GRAM 展現了比資料篩選更強的能力隔離效果。 組合能力：與疊加多個 LoRA adapters 會導致效能下降不同，GRAM 的模組在啟用多個時仍能維持乾淨的效能表現。 GRAM 方法在維持高核心能力（Core = 0.96）的同時，相較於 Filtering 與 Filter + LoRA，能顯著降低遺忘與誘導比率（Forget = 0.60, Elicit = 0.76），展現出更優異且穩健的能力移除效果。 執行與資源 該研究為 ICML 2026 的 Spotlight 論文，目前已公開相關程式碼與實驗設定，供開發者參考與驗證： 專案網站：modularpretraining.com 程式碼庫：agencyenterprise/modular-pretraining 環境設定：建議使用 uv 管理環境，安裝指令如下： `bash uv venv && source .venv/bin/activate uv pip install torch transformers datasets huggingface_hub numpy scipy matplotlib tqdm python-dotenv ` 訓練指令範例： `bash torchrun --nprocpernode=8 -m src.run.main ` 研究限制與反思 儘管 GRAM 在實驗中表現優異，研究團隊強調這仍屬於概念驗證階段，尚未在 Claude 等生產環境的 frontier scale 模型中驗證。此外，通用知識與雙重用途能力之間可能存在「知識糾纏（entanglement）」，導致部分能力無法完全分離。未來將持續探討該方法在實際下游任務中的表現，以及如何進一步提升其在複雜生產環境下的穩健性。原文：https://easyvibecoding.app/curated/2396-anthropic-ae-studio-gram-isolates-dual-use-knowledge