Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
如何评价Sony新出的深度学习库NNabla？如何看待何恺明最新一作论文Masked Autoencoders？
如何理解 natural gradient descent?
如何看待 AlphaFold 在蛋白质结构预测领域的成功？
全连接层的作用是什么？
Batch Normalization 训练的时候为什么不使用 moving statistics？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
DL/ML 模型如何部署到生产环境中？
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
DeepMind 研发的围棋 AI AlphaGo 是如何下棋的？卷积神经网络中卷积核是如何学习到特征的？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
为什么yolov5从零开始训练（不在ImageNet上预训练）能够达到如此高的性能？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
如何评价 DeepMind 公司？
深度学习底层开发对数学有哪些要求？
如何理解矩阵对矩阵求导？
如何看待NVIDIA 即将开源的DLA？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
如何评价Sony新出的深度学习库NNabla？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
二分类问题，应该选择sigmoid还是softmax？
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
反馈控制理论在优化、机器学习等领域有哪些应用？
DeepMind 团队中有哪些厉害的人物和技术积累？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
神经网络的万能逼近定理已经发展到什么地步了？
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
有哪些比较好的元学习（meta learning）领域的学习资源？
关于tensorflow中的滑动平均？
计算机视觉中，目前有哪些经典的目标跟踪算法？
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
怎么选取训练神经网络时的Batch size?
人工智能就业前景越来越严峻了，你还在坚持吗？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?