DiPO：解耦困惑度策略优化与细粒度探索平衡

本文介绍了一种名为 DiPO 的新型强化学习优化算法，旨在解决大语言模型在训练过程中探索与利用难以平衡的困境。该研究通过困惑度空间解耦（PSD）策略，将样本精细划分为四个维度，从而精准识别出需要加强探索的错误样本和需要深度利用的正确样本。为了确保训练的稳定性，作者设计了双向奖励重分配（BRR）机制，通过最小化对原始奖励信号的干扰，引导模型在难易样本上实现更高效的学习。实验结果表明，该方法在数学推理和函数调用等复杂任务中显著提升了模型性能，超越了现有的主流基准算法。这种精细化的平衡机制不仅增强了模型的逻辑思考能力，也为其在多元应用场景下的泛化提供了技术保障。