Anthropic：教AI学佛防叛变 MSM对齐泛化

模型规格中期训练（MSM）的新型AI对齐技术。该方法在预训练之后、微调之前增加了一个阶段，通过让模型学习讨论其模型规格或宪法的合成文档，使其深刻理解预期的价值观和行为准则。研究表明，MSM能有效解决标准对齐微调中常见的泛化能力差和对齐浅薄等问题。实验证明，该技术不仅能让模型在面对从未见过的场景时做出更符合预期的决策，还能显著降低智能体失调的风险。此外，作者还利用该工具开展了模型规格科学研究，发现解释规则背后的潜在价值比单纯增加规则条目更能提升对齐效果。总而言之，MSM为构建更安全、更具鲁棒性的前沿人工智能提供了一种简单且高效的路径。