Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
消融实验是什么？国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
深度学习图像处理什么时候用到GPU？
如何评价 Exploring Simple Siamese Learning?
卷积神经网络（CNN）的结构设计都有哪些思想？
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
2021年深度学习在哪些应用上有实质进展？
如何理解深度学习源码里经常出现的logits？
人工智能可以为人类找寻他们心目中的另一半吗?
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
自己学习深度学习时，有哪些途径寻找数据集？为什么神经网络具有泛化能力？
现在人工智能的某些学派，是不是跟中医有些像？
人工智能在生活中的应用都有哪些？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
如何判断两个Deep Learning 数据集的数据分布是否一致？
机器学习，深度神经网络等方法是否是正确的方向？
假如我穿越到2017年第一个提出了Transformer、BERT等模型，我可以保送到清华北大吗？
如何看待《Nature》发布的新研究：摄像头是天生的神经网络，速度超越传统方法千倍?
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
NLP领域，你推荐哪些综述性的文章？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
2021年，ncnn发展的如何了？
主动学习（Active Learning）近几年的研究有哪些进展，现在有哪些代表性成果？
深度学习图像处理什么时候用到GPU？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
深度学习与机器学习的关系是什么？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
什么是meta-learning?
如何评价 MSRA 最新的 Deformable Convolutional Networks？
主动学习（Active Learning）近几年的研究有哪些进展，现在有哪些代表性成果？