MoRE：低秩路由扩展混合专家模型

2026-09-30，arXiv 发表一手研究 MoRE，提出通过硬件感知的低秩路由扩展混合专家模型。该方法将路由器权重矩阵分解为秩 r，把路由成本从 Θ(Mh) 降到 O((h+M)r)；在活跃专家数固定时，对数秩即可保证路由表达能力，并在高斯记忆模型中保持负载均衡。在匹配活跃 FLOPs 下可支持 Θ(h/r) 倍的专家数量，同时配合融合 Triton 内核避免 HBM 昂贵内存操作。实验覆盖电话本记忆任务与知识密集型 Q&A，性能提升且推理能力持平，代码已开源。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。