arXiv · Statistics Machine Learning· Guni Sharon, Alan Kuhnle·· 4 hr agoAI score27
自然梯度下降有多低效？从精确最优到 Θ(√log d) 的偏离
How Inefficient Is Natural Gradient Descent? From Exact Optimality to \Theta ( \sqrt{ \log d } ) Divergence
AI brief
该研究用低效率比 R（混合测地线的 Fisher 长度除以 Fisher–Rao 距离）量化自然梯度下降（NGD）相对最短 Fisher–Rao 路径的开销，并按参数维度 d 给出上界。
Source: arXiv · Statistics Machine Learning · arxiv.org