Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？
如何看待Jeff Dean&Hinton投到ICLR17的MoE的工作？
深度学习的多个loss如何平衡？
为什么现在很多人不看好商汤科技？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
DeepMind 研发的围棋 AI AlphaGo 是如何下棋的？
如何评价哈工大的左旺孟老师？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
目前有哪些比较成功的人工智能应用？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
面试官如何判断面试者的机器学习水平？如何评价 DeepMind 新提出的关系网络（Relation Network）？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
为什么现在不看好 CV 方向了呢?
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
自然语言处理怎么最快入门？
卷积神经网络中卷积核是如何学习到特征的？
如何理解 inductive learning 与 transductive learning?
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
验证集loss上升，准确率却上升该如何理解？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
2021年深度学习在哪些应用上有实质进展？
神经网络激活函数的作用和原理？有没有形象解释？
CVPR 2019 有哪些值得关注的亮点？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
联邦学习在机器学习领域有什么独立存在的价值?
能否对卷积神经网络工作原理做一个直观的解释？
生成对抗网络的毕设怎么上手？
自然语言处理怎么最快入门？
如何评价 Exploring Simple Siamese Learning?
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
深度学习中有哪些数据增强方法？
DL/ML 模型如何部署到生产环境中？
Resnet是否只是一个深度学习的trick？
如何解决图神经网络（GNN）训练中过度平滑的问题？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
能否使用神经网络来判断奇偶数？
深度学习attention机制中的Q,K,V分别是从哪来的？
如何理解 natural gradient descent?