arXiv · Computation and Language· Faisal Ladhak, Shantanu Acharya, Santiago Akle Serano, Simeng Sun, Boris Ginsburg, Krishna C Puvvada·· 3 hr agoAI score49
Elastic Latent Recurrence：让循环语言模型摆脱单循环性能税
One Model to Loop Them All: Elastic Latent Recurrence for Language Models
AI brief
研究者提出 Elastic Latent Recurrence（ELR），通过门控状态更新、混合循环次数与按循环索引条件化训练，让循环语言模型在单循环时达到同规模非循环模型精度，且每增加一次循环即可换取更高准确率。
Source: arXiv · Computation and Language · arxiv.org