arXiv · Artificial Intelligence· Yuxuan Lou, Kai Yang, Geng Zhang, Yong Liu, Yang You·2026-10-09 12:00· 3 小时前AI 评分42

DivMoE：通过跨域专家组合实现细粒度 MoE 升级回收

DivMoE: Fine-Grained MoE Upcycling via Cross-Domain Expert Composition

AI 导读

DivMoE 是首个实现结构均衡路由的细粒度 MoE 升级回收框架，通过领域专业化细粒度专家初始化与多样性约束路由解决朴素路由崩溃问题。在 Qwen3-1.7B 上，DivMoE 平均准确率达 55.6%，超过最强基线 51.6%，而 Drop-Upcycling 细粒度版仅 23.2%。