Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
如何评价 MSRA 最新的 Deformable Convolutional Networks？Graph Attention Network的本质是什么？
除了深度学习，机器学习领域近年来还有什么热点吗？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
如何用FPGA加速卷积神经网络(CNN)？
attention跟一维卷积的区别是啥？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
究竟什么是损失函数 loss function?分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
ICLR 2019 有什么值得关注的亮点？
当前人工智能特别是深度学习最前沿的研究方向是什么？
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
当前（2020年）机器学习中有哪些研究方向特别的坑？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
如何看待《Nature》发布的新研究：摄像头是天生的神经网络，速度超越传统方法千倍?
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
如何评价Hinton组的新工作SimCLR?
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
如何评价Momenta ImageNet 2017夺冠架构SENet?
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
如何评价生成模型框架 ZhuSuan?
ICLR 2022有哪些值得关注的投稿？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
2019年CVPR有哪些糟糕的论文?
迁移学习与fine-tuning有什么区别？
究竟什么是损失函数 loss function?
科研时，想到一个idea，其实现的结果一定要比前人的评估指标高才能发表吗？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
北京深鉴科技基于FPGA平台的DPU架构如何？
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?