关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
如何看待百度无人车， 三千多个场景，一万多个if？2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
如何看待何恺明最新一作论文Masked Autoencoders？
有什么深度学习数学基础书推荐？
BERT中，multi-head 768*64*12与直接使用768*768矩阵统一计算，有什么区别？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
是不是并不是所有问题都适合用神经网络预测？
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？为什么读论文最好打印出来读？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
为什么做GPU计算，深度学习用amd显卡的很少，基本都nvidia？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
如何评价 PyTorch 团队推出的推荐系统库 TorchRec？
如何评价 PyTorch 团队推出的推荐系统库 TorchRec？
机器学习能否用于综合评价？具体怎么操作？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
如果你是面试官，你怎么去判断一个面试者的深度学习水平？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
深度学习工作站中使用AMD的CPU会有问题吗？
如何评价移动端吊打一切万众期待的商汤深度学习推理框架PPL开源了却没有支持移动端？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
如何评价生成模型框架 ZhuSuan?
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
PyTorch中在反向传播前为什么要手动将梯度清零？
面试官如何判断面试者的机器学习水平？
如何理解Inductive bias？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
GAN的生成器是怎么产生图片的？
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
TensorFlow 中 padding 的 SAME 和 VALID 两种方式有何异同？
神经网络的损失函数为什么是非凸的?
如何评价「Patches are all you need」?
如何评价Google发布的第二代深度学习系统TensorFlow?
类似AlphaGo一样的人工智能什么时候才可以击败RTS（如星际）顶级选手？