Meta：v-Sonar与v-LCM多模态1500种语言全球通用语义空间刷榜视频检索和字幕生成任务

v-Sonar 和 v-LCM 两个旨在统一视觉与语言模态的创新模型。v-Sonar 通过将视觉编码器对齐到现有的 Sonar 文本嵌入空间，实现了支持 1500 种语言及多模态输入的通用表示，在视频检索和字幕生成任务中表现卓越。基于此基础，Large Concept Model (LCM) 展现了在无需视频数据训练的情况下，仅凭文本预训练即可实现零样本视觉理解的能力。研究进一步开发的 v-LCM 利用潜扩散模型预测嵌入向量，在多语言图像和视频问答任务中达到了领先水平。实验证明，该架构在处理低资源语言方面具有显著优势，相较于传统模型在 61 种语言测试中表现更优。总体而言，这些技术为构建不依赖特定语言或模态的全球通用语义空间提供了新方案。