你是否好奇为什么现在的网络能深达百层、千层，而早期的网络连十几层都难以训练？ 这一切的巨大转变，都离不开一篇2015年的神作——《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》。 它被誉为深度学习的“润滑油”和“加速器 ...

ICML2025年时间检验奖（Test of Time）颁给了Batch Normalization。在这篇发表于2015年的论文中，作者提出深度神经网络训练中的“内部协变量偏移”问题。直观理解，就是隐藏层的数据分布会随着训练的进行而变化，而前一层的变化又会影响下一层的学习。这种层与层 ...