ViQ：任意分辨率下的文本对齐视觉量化表示 将图像压成离散词元

ViQ 是一种新型的视觉量化表示框架，旨在将图像转化为与文本类似的离散标记，从而统一多模态建模。该研究通过两阶段训练策略——文本对齐预训练和特征离散化，成功解决了传统离散表示在高层语义与低层细节之间难以平衡的问题。ViQ 的核心优势在于支持原生分辨率输入，并引入了近端表示学习与位置感知量化机制，显著降低了量化过程中的信息损失。实验证明，该模型在多模态理解任务上达到了与连续视觉编码器相当的水平，同时在图像重建质量上表现出色。此外，采用这种离散表示法可为多模态大模型的训练带来 20% 至 70% 的效率提升，实现了性能与速度的双重优化。