arXiv · Computer Vision· Zhe Qian, Ziyang Gong, Zhongxing Xu, Hehan Li, Zhonghua Wang, Fei Luo, Mingxuan Wang, Xue Yang, Shiwei liu, Yanbiao Ma, Junchi Yan, Jungong Han·· 3 小时前AI 评分28
LoopVL:循环视觉智能
LoopVL: Recurrent Visual Intelligence
AI 导读
LoopVL 研究循环 Transformer 能否有效扩展至视觉语言模型,通过 Module-Loop 与 Model-Loop 计算迭代更新统一的视觉语言状态。作者从语言预训练、多模态训练到后训练完整训练了 LoopVL,在多模态理解与视觉推理基准上优于同等规模及更大的非循环模型,并观察到循环中视觉注意力显著偏移的 Visual Aha Moments 现象。
来源:arXiv · Computer Vision · arxiv.org