arXiv · Neural and Evolutionary Computing· Syon Mansur, Joel Zylberberg·2026-10-02 12:00· 3 小时前AI 评分22

增加网络宽度让贪心逐层训练在自监督学习中媲美端到端反向传播

Increasing Width Allows Greedy Layer-wise Training to Rival End-to-End Backpropagation in Self-Supervised Learning

AI 导读

研究表明在自监督学习中，更宽的网络让贪心逐层训练的表现接近甚至超过端到端反向传播。在较浅且非常宽的卷积网络中，贪心逐层训练取得了更高性能，且其表征几何特性更优。宽度可以补偿受限的信用分配，表征几何差异是性能提升的潜在机制。