Meta：多模预训练世界模型

这项研究探讨了原生多模态预训练模型的设计空间，旨在超越单纯的语言建模，将视觉信号提升为与文本对等的“一等公民”。研究人员采用 Transfusion 框架，结合次标记预测（文本）与扩散技术（图像），从零开始训练出了能够兼顾理解与生成的统一模型。实验证明，RAE 表示自编码器在处理视觉任务时表现最优，而视觉与语言数据在训练过程中展现出显著的协同效应，并非相互竞争。研究还发现，统一的预训练能自然催生出世界模型能力，使模型具备预测物理环境动态及规划路径的潜力。此外，采用混合专家模型（MoE）架构不仅能有效平衡视觉与语言在数据需求上的非对称性，还能通过专家分工提升多模态扩展的效率。总体而言，该研究为构建具备物理常识和因果推理能力的通用地基模型提供了关键的架构指南与实证依据。