MoRE：通过硬件感知的低秩路由扩展混合专家模型

MoRE 将路由器权重矩阵分解为秩 r，把路由成本从 Θ(Mh) 降到 O((h+M)r)，在活跃专家数固定时，对数秩即可保证路由表达能力，且在高斯记忆模型中保持负载均衡。在匹配活跃 FLOPs 下可支持 Θ(h/r) 倍的专家数量，并配合融合 Triton 内核避免 HBM 昂贵内存操作，在电话本记忆任务和知识密集型 Q&A 上提升表现，推理能力持平。代码已开源。