arXiv · Statistics Machine Learning· Jonathan Mei, Sang Hyub Kim, Oliver Knitter, Chi Chen, Martin Roetteler·2026-10-01 12:00· 3 小时前AI 评分34

ShamAN-Q：基于 Shampoo 优化器增强 NanoQuant 的亚 1 位 LLM 权重量化方法

ShamAN-Q: Shampoo Augmented NanoQuant for Sub-1-bit LLM Weights

AI 导读

ShamAN-Q 是一种亚 1 位后训练量化方法，用 Shampoo 优化器推广的稠密曲率度量替换 NanoQuant 的对角重构几何，通过 KL 最小化拟合 Kronecker 积。