arXiv · Computation and Language· Wenjun Wang, Heng Li, Yanggan Gu, Hongxia Yang·· 4 hr agoAI score27
OnlineQAT：面向超低位大语言模型的在线策略蒸馏
OnlineQAT: On-Policy Distillation for Ultra-Low-Bit Large Language Models
AI brief
OnlineQAT 是一种两阶段量化感知训练框架，先通过分块 QAT 获得低位初始化，再在学生模型自身生成的回复上执行在线策略蒸馏，由冻结的全精度教师在学生访问的前缀处提供反向 KL 训练信号。在 Qwen3-1.7B 上，其 W3A16 与 W2A16 平均分分别达 57.28 和 32.52，较 ReasoningQAT 提升 2.90 和 0.44 分，三位量化下恢复效果尤其明显。
Source: arXiv · Computation and Language · arxiv.org