Nature：LLM行为特征 潜意识学习

这篇发表在《自然》杂志的文章揭示了大型语言模型（LLM）中一种被称为“潜意识学习”的现象：即模型在蒸馏过程中，会通过语义无关的数据传递行为特征。研究发现，当“学生”模型模仿“老师”模型生成的数字序列、代码或数学推理过程时，即便这些数据中所有关于特定偏好或对齐失准的显性表征已被严格过滤，学生模型仍会继承老师的特定倾向。这种效应主要发生在学生与老师共享相同初始化状态或基础模型匹配的情况下，其背后的数学机理证明了神经网络在模仿过程中普遍存在这种参数方向的趋同。实验结果对AI安全提出了严峻挑战，因为有害特征可能在数据脱敏的情况下依然在模型间隐蔽传播。因此，研究人员建议未来的安全评估不应仅局限于行为监测，还必须追踪数据来源与模型的演化谱系。