arXiv · Information Retrieval· Zhengyang Su, Isay Katsman, Yueqi Wang, Ruining He, Lukasz Heldt, Raghunandan Keshavan, Shao-Chuan Wang, Xinyang Yi, Mingyan Gao, Onkar Dalal, Lichan Hong, Ed Chi, Ningren Han·· 4 小时前AI 评分35
STATIC：面向加速器上 LLM 生成式检索的高效约束解码
Vectorizing the Trie: Efficient Constrained Decoding for LLM-based Generative Retrieval on Accelerators
AI 导读
研究者提出 STATIC（Sparse Transition Matrix-Accelerated Trie Index for Constrained Decoding），把前缀树压平为静态 CSR 矩阵，将不规则树遍历转为全向量化稀疏矩阵运算，在 TPU/GPU 上实现高效约束解码。
来源：arXiv · Information Retrieval · arxiv.org