跳到正文
原文
arXiv · Machine Learning Theory· Guanhua Ding, Zi Wang, Ruichao Li, Jack Liu·· 3 小时前AI 评分32

CurveTQ:基于曲率加权搜索的无旋转 LLM 权重 Trellis 量化

CurveTQ: Rotation-Free Trellis Quantization of LLM Weights via Curvature-Weighted Search

AI 导读

CurveTQ 提出无旋转的 trellis 量化方案,把 Hessian 的 LDL 对角权重写入 Viterbi 分支度量,让搜索在编码块内跟随曲率,并用因子化尺度场、闭式分位数表和每块起始状态处理权重幅度与边际形状。

来源:arXiv · Machine Learning Theory · arxiv.org