简单自我蒸馏：无监督LLM代码生成增强

苹果公司研究院这篇论文介绍了一种名为简易自我蒸馏（SSD）的创新方法，旨在提升大型语言模型在代码生成任务中的表现。该技术的核心在于模型仅利用自身生成的原始、未经校验的输出进行微调，完全脱离了对外部教师模型、人类标注或代码运行环境的依赖。研究人员发现，代码编写过程中存在“精确性与探索性的冲突”，即模型需要在固定语法结构中保持严谨，同时在算法选择时保持多样。SSD 通过在训练阶段调整采样温度和截断参数，有效地压制了不必要的干扰项，并优化了模型在关键决策点的分布。实验证明，该方法在 Qwen 和 Llama 等多种规模的模型上均显著提升了解决难题的能力。最终，这种“化繁为简”的后处理方案为代码大模型的性能演进提供了全新的补充路径。前往小宇宙评论区与主播互动