深度学习中 Hessian 特征值：对称性的起源及其破缺

论文提出，深度学习训练模型中的 Hessian 谱呈现稳定模式：特征值聚成簇，包含接近零的大块 bulk 与少数孤立 outlier。该框架把原始设置理解为偏离一个隐藏的高度对称参考，架构、数据分布或参数度量的改变暴露出具有丰富不变性的近邻配置，对称性迫使高维核与特征值具有大重数；回到原始配置则破缺 Hessian 对称性，产生观测到的簇与 outlier 层级。