arXiv · Neural and Evolutionary Computing· Lucas Fernandez Sarmiento·· 5 小时前AI 评分22
Dropout Universality: Scaling Laws and Optimal Scheduling at the Edge-of-Chaos
Dropout Universality: Scaling Laws and Optimal Scheduling at the Edge-of-Chaos
AI 导读
论文提出均值场理论分析 dropout 在混沌边缘的行为，识别平滑与折角激活的普适类及对应标度指数，并推导出最大化正则化效果时 dropout 应集中于输入层。实验在视觉、语音和金融时间序列上验证，MLP 增益最一致，Transformer 增益较小。论文已被 ICML 2026 接收。
来源：arXiv · Neural and Evolutionary Computing · arxiv.org