Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
wasserstein 距离的问题?GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
如何系统学习机器学习？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
现在互联网公司还有做特征工程的工作吗？
为什么现在有这么多人工智能无用论？
迁移学习入门，新手该如何下手？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？如何理解Inductive bias？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
自监督学习（Self-supervised Learning）有什么比较新的思路？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
在五到十年内，人工智能能复原成人影片中的被马赛克部分吗？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
2019年NeurIPS有哪些糟糕的论文？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
Batch Normalization 训练的时候为什么不使用 moving statistics？
神经网络激活函数的作用和原理？有没有形象解释？
当前人工智能特别是深度学习最前沿的研究方向是什么？
了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构？
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
PyTorch中在反向传播前为什么要手动将梯度清零？
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
adversarial training为什么会起作用？
迁移学习入门，新手该如何下手？
深度学习工作站中使用AMD的CPU会有问题吗？
深度学习工作站中使用AMD的CPU会有问题吗？
卷积神经网络（CNN）的结构设计都有哪些思想？
视觉算法的工业部署及落地方面的技术知识，怎么学？
image caption这个方向更偏向NLP还是CV？
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？