Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
如何看待Hinton的论文《Dynamic Routing Between Capsules》？Resnet到底在解决一个什么问题呢？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
2021年深度学习在哪些应用上有实质进展？
机器学习里面的流形都是怎么用的？
你见过最差的算法工程师能差到什么程度？
如何评价 Self-Normalizing Neural Networks 这篇论文?
graph convolutional network有什么比较好的应用task？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
请解释下variational inference？为什么交叉熵（cross-entropy）可以用于计算代价？
为什么softmax很少会出现[0.5，0.5]？
如果你是面试官，你怎么去判断一个面试者的深度学习水平？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
如何评价FAIR团队最新推出的RegNet？
机器学习，深度神经网络等方法是否是正确的方向？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？
物理专业的学生如何看待机器学习和大数据这些方向呢？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
为什么说大模型训练很难？
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
究竟什么是损失函数 loss function?
能否使用神经网络来判断奇偶数？
如何评价Google发布的第二代深度学习系统TensorFlow?
当前人工智能特别是深度学习最前沿的研究方向是什么？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
如何评价「神经网络本质不过是初中生都会的复合函数」？
如何看待 AlphaFold 在蛋白质结构预测领域的成功？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
如何看待周志华等人的新书《机器学习理论导引》？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
如何开发一个自己的 TensorFlow？