weixin_45328695的博客

原创 BatchNorm和LayerNorm的区别

BN和LN的区别 BN是在维度方向进行切割，然后实现均值为0，方差为1。想象为对一个长方体竖着切割。比如对于图片来说，使用BN，可以理解为取出每个维度（特征）的图片，然后进行归一化操作。 LN是在Batch方向进行切割，而不是在维度方向进行切割，多用于语言处理等变长序列，想象为对一个长方体横着切割（横为seq长度n，纵为Batch），得到的是没一个样本完整的特征。因为seq不像图片，它是变长的，如果样本长度变化比较大，使用BN，每次计算的均值和方差抖动是比较大的，而且，做预测时，会记录下全局的均值和