arXiv · Computer Vision· Pengcheng Zheng, Chaoning Zhang, Jiaxin Yan, Sihan Cao, Jianwei Zhang, Xudong Wang, Jiaquan Zhang, Jewon Lee, Tae-Ho Kim, Yang Yang, Heng Tao Shen·· 4 hr agoAI score22
MoR-MLLM：面向高效多模态大语言模型的递归混合架构
MoR-MLLM: Mixture of Recursions for Efficient Multimodal Large Language Models
AI brief
研究者提出 MoR-MLLM，一种基于 Mixture-of-Recursions（MoR）框架的计算稀疏型多模态大语言模型。该模型引入逐 token 自适应递归，动态调整递归深度，把更多计算分配给视觉或语言上更难的 token，并设计三阶段 MoR-Tuning 策略与熵正则化损失以稳定训练。
Source: arXiv · Computer Vision · arxiv.org