arXiv · Multiagent Systems· Aleksandar Armacki, Haoyuan Cai, Ali H. Sayed·· 4 hr agoAI score27
重尾噪声下的去中心化 SGD：最优收敛率与梯度裁剪的作用
Decentralized SGD under Heavy-Tailed Noise: Optimal Convergence Rates and the Role of Gradient Clipping
AI brief
论文证明带梯度裁剪的去中心化 SGD（DSGD）在光滑非凸目标与有界 p 阶矩噪声（p ∈ (1,2]）下，以高概率与期望均达到阶最优收敛率。分析给出关于智能体数量的线性加速，并指出归一化 DSGD 可能不收敛，而裁剪保留梯度幅值信息，使 DSGD 收敛且阶最优。数值实验验证了理论结果。
Source: arXiv · Multiagent Systems · arxiv.org