AllenAI：MolmoPoint指向性标记刷新GUI交互视频追踪世界记录

这份研究介绍了由 Allen AI 研究所开发的 MolmoPoint，这是一种旨在提升视觉语言模型（VLM）定位精度的新型架构。与传统通过文本生成坐标的方法不同，该模型利用指向性标记直接从图像或视频中选取视觉特征，并通过粗到细的三个阶段实现像素级精准定位。这种设计不仅让模型无需死记硬背复杂的坐标系，还显著降低了推理延迟并提高了在不同分辨率下的泛化能力。实验表明，MolmoPoint 在图像指向、图形用户界面（GUI）交互以及视频追踪等多个领域均刷新了开源模型的世界纪录。此外，团队还贡献了 MolmoPoint-GUISyn 和 MolmoPoint-Track 等大规模数据集，进一步增强了模型在复杂数字环境和动态场景中的实用性。