arXiv · Statistics Machine Learning· Deborah Oliveira, Elliot Paquette·· 3 小时前AI 评分35
随机特征网络中的二次弱到强泛化:基于随机矩阵理论的分析
Quadratic Weak-to-Strong Generalization in Random Feature Networks via Random Matrix Theory
AI 导读
论文在两层随机特征网络(模型强度由宽度决定)中研究弱到强泛化,用随机矩阵理论推导出最优训练教师与经梯度流训练的学生在总体误差上的确定性等价。对 ReLU 激活与纯球谐目标,在高斯普适性假设下得到尖锐渐近:学生误差按教师误差的平方缩放,达到 Medvedev 等(2025)的一般下界,并刻画二次、非二次与无改进之间的转换区间。
来源:arXiv · Statistics Machine Learning · arxiv.org