Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
batchsize=1时可以用BN吗?因果推断会是下一个AI热潮吗？
从应用的角度来看，深度学习怎样快速入门？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
神经网络的万能逼近定理已经发展到什么地步了？
TensorFlow 中 padding 的 SAME 和 VALID 两种方式有何异同？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
TensorFlow 有哪些令人难以接受的地方？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
目标检测中的mAP是什么含义？石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
如何解决图神经网络（GNN）训练中过度平滑的问题？
为什么dropout正则化经常在视觉方面使用而不是其他？
为啥gan里面几乎不用pooling？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
为什么有的论文放出训练好的模型和测试脚本，但不开源训练代码？
GAN 真的创造了新的信息吗？
BERT模型可以使用无监督的方法做文本相似度任务吗？
如何评价生成模型框架 ZhuSuan?
ICLR 2021 有什么值得关注的投稿？
如何评价谷歌大脑的EfficientNet？
如何评价Google发布的第二代深度学习系统TensorFlow?
为什么读论文最好打印出来读？
为什么现在很多人不看好商汤科技？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
如何评价 DeepMind 发表在 Nature 上的使用深度强化学习对托卡马克等离子体进行磁控制？
Transformer在工业界的应用瓶颈如何突破？
现在互联网公司还有做特征工程的工作吗？
神经网络分类训练后得到的是连续的数怎么离散？
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
寒武纪神经网络处理器效能如何 ？
是不是并不是所有问题都适合用神经网络预测？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
因果推断会是下一个AI热潮吗？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
为什么都说神经网络是个黑箱？
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
AlphaGo「理解」围棋吗？