高效 MoE 训练：生物基础大模型的新路径

summary_zh: 随着语言模型规模增长，密集 Transformer 架构的训练与推理成本不断上升。MoE（Mixture-of-Experts）通过多个子网络（专家）并行，仅激活每个 token 对应的少量专家，从而降低计算开销。