AI为什么说话越来越像LLM Post-training输出多样性研究

这项研究探讨了大语言模型在训练后阶段（Post-training）出现输出多样性崩溃的根源。通过对 Olmo 3 模型家族不同训练路径的对比，研究发现多样性的丧失主要由训练数据构成决定，而非特定的训练算法。例如，使用窄分布的“思维链”数据进行微调会导致多样性过早骤降，而这种崩溃植根于模型权重，无法在推理时通过禁用思维链格式来修复。此外，输出的简化在不同任务中表现不同：在数学和代码任务中主要体现为错误答案的消除，但在创意写作中则表现为语义表达的单一化。研究强调，多样性的流失限制了自我一致性采样等推理技术的有效性。最终结论指出，开发者必须在训练阶段通过引入多源、广义的教师数据来缓解这种多样性损失。Where does output diversity collapse in post-training?