跳到正文
热点事件持续更新

Q-PACE:量化感知训练的动态精度分配

1 篇报道1 个报道来源2 小时前 更新

先了解这件事

AI 综述

2026年10月8日,arXiv Machine Learning Theory 发布一手研究,介绍 Q-PACE 方法。该方法提出一种二阶敏感度模型,将损失增量预测为量化噪声 MSE 按层曲率系数加权的和,训练中周期性重算系数并重新分配精度。在最多 4B 参数的 LLM 预训练与监督微调实验中,Q-PACE 稳定优于现有混合精度训练方案,在更低总内存预算下取得相当损失。研究还称量化敏感度可由深度和层类型高度预测,且训练中稳定,支持低频低成本重校准。目前尚无后续报道或独立验证。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月8日
  1. arXiv · Machine Learning Theory
    Q-PACE:量化感知训练中的动态精度分配

    Q-PACE 提出一种二阶敏感度模型,将损失增量预测为量化噪声 MSE 按层曲率系数加权的和,训练中周期性重算系数并重新分配精度。在最多 4B 参数的 LLM 预训练与监督微调实验中,Q-PACE 稳定优于现有混合精度训练方案,在更低总内存预算下取得相当损失。量化敏感度可由深度和层类型高度预测,且训练中稳定,支持低频低成本重校准。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。