Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
迁移学习入门，新手该如何下手？为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
神经网络中的能量函数是如何定义的？
能分享你收藏的国外AI talk, seminar平台或网站吗？
BERT模型可以使用无监督的方法做文本相似度任务吗？
如何用FPGA加速卷积神经网络(CNN)？
视觉Transformer如何优雅地避开位置编码？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
2018年了，MXNet 发展的如何了？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
注意力机制是如何学习到模型所应注意的区域的？GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
深度学习中Attention与全连接层的区别何在？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
如何看待MXNet在CVPR2017上公布的gluon接口？
为什么很少人用FFT加速CNN卷积层的运算？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
医学生学习机器学习该如何入门？
如果不按套路下棋是不是就能赢 Alpha Go 了？
如何评价陈天奇的模块化深度学习系统NNVM？
神经网络为什么可以（理论上）拟合任何函数？
resnet（残差网络）的F（x）究竟长什么样子？
人工智能在生活中的应用都有哪些？
能否对卷积神经网络工作原理做一个直观的解释？
基于深度卷积神经网络进行人脸识别的原理是什么？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
2021 年，深度学习方面取得了哪些关键性进展？
adversarial training为什么会起作用？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
人工智能、模式识别领域最终是否会被一种本质、通用的算法主导？
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
如何评价 DeepMind 发表在 Nature 上的使用深度强化学习对托卡马克等离子体进行磁控制？
有哪些深度学习效果不如传统方法的经典案例？
如何评价Momenta ImageNet 2017夺冠架构SENet?