arXiv · Machine Learning Theory· Haiyuan Wan, Yanyi Li, Weicheng Lin, Cong Fang·· 3 hr agoAI score29
样本自适应零阶后训练优化方法 SAZO
Sample-Adaptive Zeroth-Order Post-Training
AI brief
论文提出样本自适应零阶优化方法 SAZO，用于大语言模型微调，通过在线学习样本重要性并自适应分配查询来加速收敛。SAZO 从方向差分中提取梯度范数信息估计样本重要性，维护逐样本指数移动平均追踪重要性变化，相比 MeZO 仅需 $O(N)$ 额外标量状态且无需额外模型评估。实验覆盖四个模型族，下游平均性能提升，达到相同训练损失所需的查询数最多减少至 $6\times$ 收敛速度。
Source: arXiv · Machine Learning Theory · arxiv.org