Skip to content
Hot eventLive

OnlineQAT：超低位大模型在线策略蒸馏框架

1 reports1 sources4 hr ago updated

Get the story

AI overview

2026年10月8日，arXiv Computation and Language 发布一手报道，介绍面向超低位大语言模型的量化感知训练框架 OnlineQAT。该框架分两阶段：先通过分块 QAT 获得低位初始化，再在学生模型自身生成的回复上执行在线策略蒸馏，由冻结的全精度教师在学生访问的前缀处提供反向 KL 训练信号。在 Qwen3-1.7B 上，其 W3A16 与 W2A16 平均分分别达 57.28 和 32.52，较 ReasoningQAT 提升 2.90 和 0.44 分，三位量化下恢复效果尤其明显。目前报道仅涉及该框架方法与上述实验结果，未见后续验证或争议。

Generated from reports · updated 3 hr ago

LatestOct 8
arXiv 报道 OnlineQAT 两阶段框架，Qwen3-1.7B 上 W3A16/W2A16 平均分 57.28/32.52。

Timeline

Follow the coverage from different angles.

Oct 8, 2026
  1. arXiv · Computation and Language
    OnlineQAT：面向超低位大语言模型的在线策略蒸馏

    OnlineQAT 是一种两阶段量化感知训练框架，先通过分块 QAT 获得低位初始化，再在学生模型自身生成的回复上执行在线策略蒸馏，由冻结的全精度教师在学生访问的前缀处提供反向 KL 训练信号。在 Qwen3-1.7B 上，其 W3A16 与 W2A16 平均分分别达 57.28 和 32.52，较 ReasoningQAT 提升 2.90 和 0.44 分，三位量化下恢复效果尤其明显。

Heat trend

Current heat 9·Comparable peak 10（Oct 8）·Comparable change over 24 hours –

02.557.510Oct8Oct8Oct8Oct8

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.