跳到正文
原文
arXiv · Computation and Language· Yifan Zhang, Jichen Feng, Shihan Qin·· 3 小时前AI 评分43

Recurrent Looped Transformer:让计算路径随序列长度增长

Recurrent Looped Transformer

AI 导读

论文提出 Recurrent Looped Transformer(RLT),将层拆分为并行因果编码器与循环解码器,使每个 token 的计算路径随序列长度增长而单 token 成本固定。

来源:arXiv · Computation and Language · arxiv.org