MoE预训练专家耦合减少All-to-All通信

1. 12:00
   arXiv · Computation and Language

   MoE 预训练中的专家耦合：用相关放置与 token 洗牌降低 all-to-all 开销

   一项 MoE 预训练研究提出相关专家放置与 token 洗牌两种方法，在不改变路由决策和专家参数的前提下降低 all-to-all 通信开销。研究发现预训练早期路由器已学会以相关模式分配 token，top-2 下 0.8% 的专家对被 42% 的 token 共同选中。

Current heat 9·Comparable peak 10（Oct 8）·Comparable change over 24 hours –

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.