arXiv · Computer Vision· Xudong Tan, Peng Ye, Ming Xie, Chenyu Huang, Yaoxin Yang, Jiayuan Fan, Tao Chen·· 3 小时前AI 评分34
DecoMoE 解耦视觉传播与专家计算的高效多模态 MoE 推理
DecoMoE: Decoupling Visual Propagation and Expert Computation for Efficient Multimodal MoE Inference
AI 导读
DecoMoE 提出二维结构化压缩框架,将视觉传播与专家计算解耦。SAVB 预测输入相关的视觉退出层,RCEP 基于文本 token 路由质量离线重排专家并保留最短前缀。
来源:arXiv · Computer Vision · arxiv.org