Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？现在人工智能的某些学派，是不是跟中医有些像？
算法岗位真的需要顶会才能入场吗？
机器学习如何才能避免「只是调参数」？
深度学习在无人驾驶汽车上面的运用有哪些？
如何评价 DeepMind 发表在 Nature 上的使用深度强化学习对托卡马克等离子体进行磁控制？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
面试官如何判断面试者的机器学习水平？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
2021年，ncnn发展的如何了？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
深度学习领域有哪些瓶颈？如何证明数据增强（Data Augmentation）有效性？
2020年，多标签学习（multi-label）有了哪些新的进展？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
人工智能、模式识别领域最终是否会被一种本质、通用的算法主导？
吴恩达为什么离开谷歌？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
有哪些相见恨晚的 TensorFlow 小技巧？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
如何评价谷歌刚推出的Cloud AutoML？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
如何评价谷歌大脑的EfficientNet？
结合深度学习的图像修复怎么实现？
PyTorch中在反向传播前为什么要手动将梯度清零？
如何评价 NVIDIA 发布的 DGX-1？
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
卷积神经网络如果将池化层去除，与神经网络的区别还大么？
新手如何入门pytorch？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
如何看待在某度搜不到megengine官网？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
2021年深度学习在哪些应用上有实质进展？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
怎么选取训练神经网络时的Batch size?
如何评价深度学习相关顶级期刊论文难复现的问题？