关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
机器学习，深度神经网络等方法是否是正确的方向？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
如何评价AWS的图神经网络框架DGL？
让人工智能去下路边街头的象棋残局会赢吗？
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
是不是并不是所有问题都适合用神经网络预测？为什么强大的 MXNet 一直火不起来？
有谁照着论文把 AlphaGo 重现出来了？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
如何理解链接预测（link prediction）？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
目标检测算法中Two-stage算法速度慢,到底在哪里?
如何评价 DeepMind 的新工作 AlphaCode?
如何进行图像模糊与清晰的分类？
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
基于深度学习的人工智能程序和传统程序的差别在哪里？
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
因果推断会是下一个AI热潮吗？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
wav2vec中的30ms是怎么得来的?
联邦学习在机器学习领域有什么独立存在的价值?
如何看待Tensor Comprehensions？与TVM有何异同？
你见过最差的算法工程师能差到什么程度？
CVPR 2018 有什么值得关注的亮点？
如何评价小米开源的移动端深度学习框架MACE？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
有哪些相见恨晚的 TensorFlow 小技巧？
强化学习和自适应控制的关系是什么？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
多任务学习中loss多次backward和loss加和后backward有区别吗？
有没有必要把机器学习算法自己实现一遍？
深度学习方面还有什么Open Problem?
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？