arXiv · Computation and Language· Thomas Vaitses Fontanari, Maximo Eduardo Rulli, Federico Alvetreti, Donatella Genovese, Simone Scardapane·· 3 小时前AI 评分30
LRCC：用条件计算泛化低秩压缩
LRCC: Generalizing Low-Rank Compression with Conditional Computation
AI 导读
研究者提出低秩条件计算（LRCC），为预训练语言模型中每个 Transformer 块训练轻量路由器，在嵌套低秩路径间按 token 选择计算路径，训练时低秩因子保持冻结、仅优化路由器。
来源：arXiv · Computation and Language · arxiv.org