arXiv · Machine Learning Theory· Alexandra Volkova, Matin Ansaripour, Erik Schultheis, Christoph H. Lampert, Dan Alistarh·· 3 小时前AI 评分31
Q-PACE：量化感知训练中的动态精度分配
Q-PACE: Dynamic Precision Allocation for Quantization-Aware Training
AI 导读
Q-PACE 提出一种二阶敏感度模型，将损失增量预测为量化噪声 MSE 按层曲率系数加权的和，训练中周期性重算系数并重新分配精度。在最多 4B 参数的 LLM 预训练与监督微调实验中，Q-PACE 稳定优于现有混合精度训练方案，在更低总内存预算下取得相当损失。量化敏感度可由深度和层类型高度预测，且训练中稳定，支持低频低成本重校准。
来源：arXiv · Machine Learning Theory · arxiv.org