Anthropic：用RLHF训练有用无害LLM

本文探讨了如何通过人为反馈增强学习（RLHF）将大型语言模型训练成既有用又无害的智能助手。研究团队通过收集人类对模型回复的偏好数据，构建了偏好模型来衡量回复的质量，并以此作为强化学习的奖励信号。实验证明，这种对齐训练不仅能显著提升模型在各类自然语言处理任务中的表现，还不会损害其在代码编写或文本摘要等专业领域的技能。研究还揭示了模型规模与对齐效果之间的正向关联，发现大型模型在处理“有用性”与“无害性”之间的潜在冲突时表现得更为稳健。此外，通过迭代式在线训练，模型能够根据每周更新的人类反馈不断进化，其表现甚至在某些评估中超越了专业人类作者。总之，该研究证实了在大模型中实现安全对齐与性能提升是可以并行的，且几乎不需要付出性能代价。