MoR-MLLM:基于混合递归的高效多模态大语言模型
Get the story
2026年10月8日,研究者在 arXiv(Computer Vision 栏目)发布 MoR-MLLM,一种面向高效多模态大语言模型的计算稀疏型架构。该模型基于 Mixture-of-Recursions(MoR)框架,引入逐 token 自适应递归机制,可根据 token 在视觉或语言上的难度动态调整递归深度,把更多计算分配给更难的 token。为稳定训练,研究者设计了三阶段 MoR-Tuning 策略与熵正则化损失。目前公开信息仅涉及模型框架与训练方法,未披露具体实验数据、参数规模或开源情况。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Computer VisionMoR-MLLM:面向高效多模态大语言模型的递归混合架构
研究者提出 MoR-MLLM,一种基于 Mixture-of-Recursions(MoR)框架的计算稀疏型多模态大语言模型。该模型引入逐 token 自适应递归,动态调整递归深度,把更多计算分配给视觉或语言上更难的 token,并设计三阶段 MoR-Tuning 策略与熵正则化损失以稳定训练。
Heat trend
Current heat 9·Comparable peak 10(Oct 8)·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.