Skip to content
Hot eventLive

Q-PACE：量化感知训练的动态精度分配

1 reports1 sources3 hr ago updated

Get the story

AI overview

2026年10月8日，arXiv Machine Learning Theory 发布一手研究，介绍 Q-PACE 方法。该方法提出一种二阶敏感度模型，将损失增量预测为量化噪声 MSE 按层曲率系数加权的和，训练中周期性重算系数并重新分配精度。在最多 4B 参数的 LLM 预训练与监督微调实验中，Q-PACE 稳定优于现有混合精度训练方案，在更低总内存预算下取得相当损失。研究还称量化敏感度可由深度和层类型高度预测，且训练中稳定，支持低频低成本重校准。目前尚无后续报道或独立验证。

Generated from reports · updated 3 hr ago

LatestOct 8
arXiv 发布 Q-PACE 一手研究，称其在最多 4B 参数 LLM 实验中以更低内存取得相当损失。

Timeline

Follow the coverage from different angles.

Oct 8, 2026
  1. arXiv · Machine Learning Theory
    Q-PACE：量化感知训练中的动态精度分配

    Q-PACE 提出一种二阶敏感度模型，将损失增量预测为量化噪声 MSE 按层曲率系数加权的和，训练中周期性重算系数并重新分配精度。在最多 4B 参数的 LLM 预训练与监督微调实验中，Q-PACE 稳定优于现有混合精度训练方案，在更低总内存预算下取得相当损失。量化敏感度可由深度和层类型高度预测，且训练中稳定，支持低频低成本重校准。

Heat trend

Current heat 9·Comparable peak 10（Oct 8）·Comparable change over 24 hours –

02.557.510Oct8Oct8Oct8Oct8

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.