关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？结合深度学习的图像修复怎么实现？
医学生学习机器学习该如何入门？
什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)？
为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
能否把一个人的所有物理数据输入在一个模型里，然后计算他接下来的状态变化？
训练过程中loss震荡特别严重，可能是什么问题？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？基于深度卷积神经网络进行人脸识别的原理是什么？
2018年了，MXNet 发展的如何了？
如何解决测试中充斥着大量训练集中没见过的样本类型模型将其识别成非我族类仍然保持测试集的高精度？
GAN的生成器是怎么产生图片的？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
为什么强大的 MXNet 一直火不起来？
wav2vec中的30ms是怎么得来的?
如何评价AlphaGo Zero？
有什么深度学习数学基础书推荐？
如何评价哈工大的左旺孟老师？
普通FPGA工程师怎样向人工智能靠拢？
深度学习如何入门？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
多任务学习中loss多次backward和loss加和后backward有区别吗？
中国和美国谁能成人工智能领域的领军者？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
算法工程师是否应该持续读论文？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
深度学习有哪些好玩的案例？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
用 TensorFlow 可以做什么有意思的事情？
如何评价陈天奇团队新开源的TVM？
注意力机制是如何学习到模型所应注意的区域的？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
CVPR 2018 有什么值得关注的亮点？