跳到正文
原文
arXiv · Artificial Intelligence· Gerard Grau Garc\'ia, Arnau Padr\'es Masdemont, Niccol\`o Grillo, Jordi Ros-Giralt, Arash Behboodi, Victor Conchello Vendrell·· 3 小时前AI 评分32

从 CoT 到循环:基于 Looped Transformers 的非自回归潜在推理

From Chain-of-Thought to Loops: Non-Autoregressive Latent Reasoning via Looped Transformers

AI 导读

研究者提出 LLoCoT,一种循环潜在推理框架,用共享 Transformer 对紧凑潜在工作区进行少量迭代细化,取代从左到右的潜在向量生成,并以概率头并行采样潜在 token 条件化自回归解码器生成答案。

来源:arXiv · Artificial Intelligence · arxiv.org