arXiv · Machine Learning Theory· Yushuai Sun, Zikun Zhou, Lin Gao, Jun Yu, Wenjie Pei·2026-10-02 12:00· 5 小时前AI 评分38

MoRA: 通过路由器偏置学习与专家近似实现 MoE 剪枝

MoRA: MoE Pruning via Router Bias Learning and Expert Approximation

AI 导读

MoRA 提出一种结构化 MoE 专家剪枝框架，为每个专家引入可学习路由器偏置，通过最小化语言建模损失与路由多样性正则化来识别关键专家并鼓励多样化路由。剪枝后利用剩余专家通过仿射变换近似被剪除专家的输出，进一步提升性能。