Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
如果学习从零开始学习Pytorch,有优秀的开源项目可以推荐吗？为什么softmax很少会出现[0.5，0.5]？
深度学习如何入门？
目标检测算法中Two-stage算法速度慢,到底在哪里?
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
如何看待周志华等人的新书《机器学习理论导引》？
深度学习的多个loss如何平衡？
结合深度学习的图像修复怎么实现？
人工智能 CV 岗位是不是现在供严重大于需？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
深度学习做股票预测靠谱吗？GAN 真的创造了新的信息吗？
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？
基于深度卷积神经网络进行人脸识别的原理是什么？
深度学习底层开发对数学有哪些要求？
深度学习领域有哪些瓶颈？
是不是并不是所有问题都适合用神经网络预测？
如何看待最近一段时间旷视科技Face++、阿里、小米、京东、科大讯飞和地平线等相继在南京建立研发中心？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
百度在深度学习上使用Xilinx FPGA?
机器学习如何才能避免「只是调参数」？
如何理解空洞卷积（dilated convolution）？
为什么在SGD中使用L1正则化很难获得稀疏性？
三维重建怎么入门？
硕士方向，选择迁移学习还是自然语言处理？
ICLR 2018 有什么值得关注的亮点？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？
反馈控制理论在优化、机器学习等领域有哪些应用？
如何评价哈工大的左旺孟老师？
为什么 Bert 的三个 Embedding 可以进行相加？
自学深度学习是怎样一种体验？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
神经网络为什么可以（理论上）拟合任何函数？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
2021 年，深度学习方面取得了哪些关键性进展？
PyTorch中在反向传播前为什么要手动将梯度清零？
为什么现在有这么多人工智能无用论？
如何评价旷视开源的YOLOX，效果超过YOLOv5?