SDFT：自蒸馏治好AI偏科 自我蒸馏消除语言模型微调分布偏差

这篇文章介绍了一种名为自我蒸馏微调 (SDFT) 的新方法，旨在解决大型语言模型在特定任务微调过程中出现的灾难性遗忘问题。研究人员发现，传统微调会导致模型在获取新技能的同时，丧失原有的通用指令遵循能力和安全对齐性。SDFT 通过引导模型重写任务数据集，生成与其原始分布更匹配的蒸馏数据，从而缩小分布差距。实验证明，该技术在数学推理和代码生成等任务中表现优异，能有效保留模型的原始知识与安全性。这种方法具有较强的普适性，适用于不同的模型架构和微调技术。总之，SDFT 为在提升模型专业性能的同时维持其通用综合能力提供了一个简单而有效的方案。