多模块GRPO：新型强化学习算法

这份研究介绍了一种名为 MMGRPO 的新型强化学习算法，旨在优化由多个大语言模型（LM）模块构成的复杂 AI 程序。传统的 GRPO 算法通常仅适用于单次调用的任务，而 MMGRPO 通过按模块对生成轨迹进行对齐和分组，成功将策略梯度优化扩展到了多步骤、多模板的系统架构中。实验表明，该方法在分类、多跳推理及隐私保护等任务中表现卓越，尤其是在与提示词优化技术（如 MIPROv2）结合使用时，能显著提升系统的整体准确率。研究团队已将该算法集成至 DSPy 框架中，为开发者提供了一套自动化的权重微调工具。这种权重优化与提示词优化协同工作的模式，为构建更高效、更鲁棒的模块化人工智能系统开辟了新路径。