关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
为什么学习深度学习感觉无法入门？GAN生成的数据没有标签怎么用来训练分类模型？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
卷积神经网络中卷积核是如何学习到特征的？
如何用一句话证明自然语言处理很难？
如何看待Keras正式从TensorFlow中分离？
深度学习方面还有什么Open Problem?
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
人工智能的意义和价值是什么？
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？2021年，ncnn发展的如何了？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
生成对抗网络的毕设怎么上手？
为什么softmax很少会出现[0.5，0.5]？
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
如何看待Jeff Dean&Hinton投到ICLR17的MoE的工作？
为什么学习深度学习感觉无法入门？
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？
数字图像处理的工作是用传统算法更多还是用深度学习更多?
卷积神经网络如果将池化层去除，与神经网络的区别还大么？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
2021 年了，TensorFlow 和 PyTorch 两个深度学习框架地位又有什么变化吗？
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
深度学习工作站中使用AMD的CPU会有问题吗？
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？
TensorFlow 有哪些令人难以接受的地方？
transformer中的Q,K,V到底是什么？
什么是meta-learning?
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
为什么交叉熵（cross-entropy）可以用于计算代价？
2020年，多标签学习（multi-label）有了哪些新的进展？
如何评价陈天奇的模块化深度学习系统NNVM？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？