关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
Transformer在工业界的应用瓶颈如何突破？pytorch 分布式计算 你们都遇到过哪些 坑/bug？
为什么都说神经网络是个黑箱？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
如何理解今年发表在JMLR上随机森林算法SPORF？
CPU和GPU跑深度学习差别有多大？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
Google 的神经网络生成图像 (Inceptionism) 是怎么做到的？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
深度学习两张3080ti和一张3090ti哪个好?
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
新手如何入门pytorch？如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
CVPR 2018 有什么值得关注的亮点？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
KL散度衡量的是两个概率分布的距离吗？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
为什么现在不看好 CV 方向了呢?
如何评价AWS的图神经网络框架DGL？
下一代 AI 框架长什么样？
深度学习调参有哪些技巧？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
CNN网络的pooling层有什么用？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
2021 年了，机器/深度学习还有哪些坑比较好挖？
卷积神经网络如果将池化层去除，与神经网络的区别还大么？
2021 年了，TensorFlow 和 PyTorch 两个深度学习框架地位又有什么变化吗？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
如何评价谷歌大脑的EfficientNet？
有哪些可以自学机器学习、深度学习、人工智能的网站？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
如何看待Keras正式从TensorFlow中分离？
2019 秋招的 AI 岗位竞争激烈吗？
如何看待谷歌公开 tensorflow 专用处理器 TPU?
什么是meta-learning?
神经网络中的能量函数是如何定义的？
迁移学习与fine-tuning有什么区别？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？