arXiv · Statistics Machine Learning· Haodong Wen, Kaiyue Wen, Jiaye Teng·· 7 小时前AI 评分15
可分逻辑回归在边缘稳定区间的紧过渡时间界
Tight Transition Time Bounds for Separable Logistic Regression at the Edge of Stability
AI 导读
本文研究线性可分数据上梯度下降配合大常数步长 $\eta$ 的逻辑回归动力学,分析其边缘稳定现象下的过渡时间界。现有工作在 $d=2$ 时给出 $\Theta(1)$ 界并猜想任意维度 $d\geq2$ 存在与 $\eta$ 无关的界,本文通过构造匹配困难实例,证明该猜想不成立,最坏情况过渡时间为 $\Theta((\log\eta)^{\min\{n-2,d-2\}})$。
来源:arXiv · Statistics Machine Learning · arxiv.org