Robust-U1：多模态大模型视觉自我修复与鲁棒理解 AI学会先修复再理解模糊图像

Robust-U1，是一个旨在提升多模态大语言模型在面对图像质量受损时理解能力的创新框架。传统方法通常依赖黑盒特征对齐或纯文本推理，而该框架赋予了模型视觉自修复的核心能力。研究团队设计了一个三阶段训练流程：首先通过监督微调建立基础重建能力，接着利用结合了像素级与语义级的双重奖励机制进行强化学习以优化图像质量，最后通过多模态推理结合原始受损图与修复图得出结论。实验结果证明，该方法在处理现实世界的图像退化时表现优异，达到了当前最先进的鲁棒性水平。这种自修复机制有效弥补了视觉信息的缺失，使模型在复杂环境下依然能保持高度准确的视觉理解。