热点事件持续更新
SAZO：样本自适应零阶优化加速LLM微调
1 篇报道1 个报道来源2 小时前 更新
先了解这件事
AI 综述
2026年10月12日，arXiv Machine Learning Theory（一手来源）发表论文，提出样本自适应零阶后训练优化方法SAZO，用于大语言模型微调。该方法通过在线学习样本重要性并自适应分配查询来加速收敛：从方向差分中提取梯度范数信息估计样本重要性，维护逐样本指数移动平均以追踪重要性变化；相比MeZO仅需O(N)额外标量状态，且无需额外模型评估。实验覆盖四个模型族，下游平均性能提升，达到相同训练损失所需的查询数最多减少至6倍收敛速度。目前尚无后续报道或独立验证信息。
AI 根据报道生成 · 1 小时前更新
最新进展10月12日 12:00
2026-10-12论文提出SAZO方法，实验称相比MeZO收敛查询数最多减少至6倍。报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv · Machine Learning Theory样本自适应零阶后训练优化方法 SAZO
论文提出样本自适应零阶优化方法 SAZO，用于大语言模型微调，通过在线学习样本重要性并自适应分配查询来加速收敛。SAZO 从方向差分中提取梯度范数信息估计样本重要性，维护逐样本指数移动平均追踪重要性变化，相比 MeZO 仅需 $O(N)$ 额外标量状态且无需额外模型评估。实验覆盖四个模型族，下游平均性能提升，达到相同训练损失所需的查询数最多减少至 $6\times$ 收敛速度。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。