OnlineQAT：超低位大模型在线策略蒸馏框架

2026年10月8日，arXiv Computation and Language 发布一手报道，介绍面向超低位大语言模型的量化感知训练框架 OnlineQAT。该框架分两阶段：先通过分块 QAT 获得低位初始化，再在学生模型自身生成的回复上执行在线策略蒸馏，由冻结的全精度教师在学生访问的前缀处提供反向 KL 训练信号。在 Qwen3-1.7B 上，其 W3A16 与 W2A16 平均分分别达 57.28 和 32.52，较 ReasoningQAT 提升 2.90 和 0.44 分，三位量化下恢复效果尤其明显。目前报道仅涉及该框架方法与上述实验结果，未见后续验证或争议。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。