arXiv · Artificial Intelligence· Gerard Grau Garc\'ia, Arnau Padr\'es Masdemont, Niccol\`o Grillo, Jordi Ros-Giralt, Arash Behboodi, Victor Conchello Vendrell·· 4 hr agoAI score32
从 CoT 到循环:基于 Looped Transformers 的非自回归潜在推理
From Chain-of-Thought to Loops: Non-Autoregressive Latent Reasoning via Looped Transformers
AI brief
研究者提出 LLoCoT,一种循环潜在推理框架,用共享 Transformer 对紧凑潜在工作区进行少量迭代细化,取代从左到右的潜在向量生成,并以概率头并行采样潜在 token 条件化自回归解码器生成答案。
Source: arXiv · Artificial Intelligence · arxiv.org