Skip to content
Hot eventLive

SAZO：样本自适应零阶优化加速LLM微调

1 reports1 sources2 hr ago updated

Get the story

AI overview

2026年10月12日，arXiv Machine Learning Theory（一手来源）发表论文，提出样本自适应零阶后训练优化方法SAZO，用于大语言模型微调。该方法通过在线学习样本重要性并自适应分配查询来加速收敛：从方向差分中提取梯度范数信息估计样本重要性，维护逐样本指数移动平均以追踪重要性变化；相比MeZO仅需O(N)额外标量状态，且无需额外模型评估。实验覆盖四个模型族，下游平均性能提升，达到相同训练损失所需的查询数最多减少至6倍收敛速度。目前尚无后续报道或独立验证信息。

Generated from reports · updated 2 hr ago

LatestOct 12
2026-10-12论文提出SAZO方法，实验称相比MeZO收敛查询数最多减少至6倍。

Timeline

Follow the coverage from different angles.

Oct 12, 2026
  1. arXiv · Machine Learning Theory
    样本自适应零阶后训练优化方法 SAZO

    论文提出样本自适应零阶优化方法 SAZO，用于大语言模型微调，通过在线学习样本重要性并自适应分配查询来加速收敛。SAZO 从方向差分中提取梯度范数信息估计样本重要性，维护逐样本指数移动平均追踪重要性变化，相比 MeZO 仅需 $O(N)$ 额外标量状态且无需额外模型评估。实验覆盖四个模型族，下游平均性能提升，达到相同训练损失所需的查询数最多减少至 $6\times$ 收敛速度。

Heat trend

There is not enough continuous observation data to draw a trend yet.