UniVidX：千段视频掌握物理法则 基于扩散先验的多模态全能视频生成框架

UniVidX 是一个统一的多模态框架，旨在利用视频扩散模型的先验知识实现多样化的视频生成任务。该研究通过随机条件掩码（SCM）、解耦门控 LoRA（DGL）以及跨模态自注意力（CMSA）三大核心设计，打破了传统模型固有的输入输出限制，实现了模态间的全向生成。研究团队分别在内在分解（UniVid-Intrinsic）和透明度分层处理（UniVid-Alpha）两个领域对框架进行了实例化，涵盖了从文本转视频到视频重照明等 15 种不同任务。实验结果表明，该框架在数据效率方面表现卓越，即便仅使用不足一千个视频进行训练，也能在真实场景中展现出强大的泛化能力。总体而言，该方法不仅确保了合成视频的跨模态一致性，还为处理复杂的图形学多模态任务提供了一种高效且灵活的通用方案。