深度神经网络是否严重过拟合？

深度神经网络参数量大且训练误差可趋近于零，却仍能泛化到样本外数据，引发对其是否严重过拟合的讨论。文章从奥卡姆剃刀、最小描述长度（MDL）原则和 Kolmogorov 复杂度等经典理论出发，探讨模型复杂度与泛化之间的关系。理解深度神经网络的泛化机制，有助于为为什么 DNN 能泛化提供思路。