arXiv · Machine Learning· Mehdi Makni, Ryan Lucas, Rahul Mazumder·2026-09-30 12:00· 6 小时前AI 评分40

ThinQuant：通过可扩展旋转学习实现大语言模型权重与激活量化

ThinQuant: Scalable Rotation Learning for Weight and Activation Quantization of LLMs

AI 导读

ThinQuant 提出数据选择与精确降维优化，将旋转校准所需校准数据降至数个数量级，并在 Llama-3-70B W4A4KV4 下 12 分钟完成校准、WikiText-2 困惑度 5.63（DartQuant 需 111 分钟、7.55）。