arXiv · Machine Learning Theory· Ningkang Peng, Xiaoqian Peng, Yifan He, Anjie Hu, Chao Tan, Peirong Ma, Yanhui Gu·· 3 小时前AI 评分31
Same Loss, Different Gradients
Same Loss, Different Gradients
AI 导读
summary_zh: 研究指出在可微分学习中,前向损失与后向梯度可能不对应,尤其在高维 von Mises-Fisher 场景下,有限 Bessel 递推会产生相同损失却不同梯度的问题。
来源:arXiv · Machine Learning Theory · arxiv.org