Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
如何评价DALL-E模型的实现？
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
如何评价余凯创立的horizon robotics？
ICLR 2022有哪些值得关注的投稿？
卷积神经网络（CNN）的结构设计都有哪些思想？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
怎么选取训练神经网络时的Batch size?北京深鉴科技基于FPGA平台的DPU架构如何？
深度学习attention机制中的Q,K,V分别是从哪来的？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
有哪些可以自学机器学习、深度学习、人工智能的网站？
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
wasserstein 距离的问题?
究竟什么是损失函数 loss function?
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
为什么 BERT 的 intermediate_size 这么大？
深度学习领域有哪些瓶颈？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
大家用resnet50在imagenet上面top1最高能到多少？
机器学习包含哪些学习思想？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
2019 秋招的 AI 岗位竞争激烈吗？
deepmind发表的neural processes(神经过程)，这个是怎么实现的呢？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
为何总感觉人工智能和神经科学（神经网络）被绑在一起？