用信息论剖析深度学习：Naftali Tishby 的信息瓶颈理论

summary_zh: Naftali Tishby 提出用信息瓶颈（IB）方法研究深度神经网络训练过程中的信息变化，并将 DNN 视为马尔可夫链。训练包含两个阶段：先充分表示输入以最小化泛化误差，再通过压缩表示遗忘无关细节。