arXiv · Computation and Language· Yunkai Chai, Tong Zhu, Xiaoye Qu, Xuyang Hu, Guanjie Chen, Qipeng Guo, Yu Cheng·· 4 hr agoAI score32
Elastic Expert Routing：平滑 Sparse Mixture-of-Experts 的 Top-k 暴露边界
Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts
AI brief
论文提出 Elastic Expert Routing，以 k 为中心从局部分布中随机采样激活专家数，把静态 top-k 的硬阈值软化为概率分布，同时保持与确定性训练相同的期望计算成本并保留推理预算。
Source: arXiv · Computation and Language · arxiv.org