arXiv · Machine Learning· Ali Abbasi, Justin Shi, Soheil Kolouri·· 7 小时前AI 评分42
BASE：基于预测移除误差的批量感知 MoE 专家选择方法
BASE: Batch-Aware Selection of Experts Using Predicted Removal Error for Efficient MoE Decoding
AI 导读
BASE 根据移除专家对 MoE 层输出的影响排序专家，训练轻量线性预测器估计每个 token 的移除代价，并配合自定义 GPU 内核实现批量感知的专家选择。在 Qwen3-30B-A3B 上，BASE 在严格专家预算下比最强基线平均精度提升 29.5 点；在更高专家预算下比稠密推理快 60%，精度差距保持在 0.4 点以内。
来源：arXiv · Machine Learning · arxiv.org