关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
nlp有哪些值得完整实现一遍的算法?transformer 为什么使用 layer normalization，而不是其他的归一化方法？
关于tensorflow中的滑动平均？
为什么要压缩模型，而不是直接训练一个小的CNN？
如何看待SIREN激活函数的提出？
目前，人工智能语音在说中文时的语气感觉上还比较机械，怎样使人工智能语音的语气更自然一些？
如何看待Capsule Network在NLP领域的潜力？
上学和读书有什么区别?
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
如何评价微软亚洲研究院提出的LightRNN？
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
为什么 BERT 的 intermediate_size 这么大？请问应该怎样去学习图像识别和深度学习？
人工智能退潮期来了吗？
现在的人工智能是否走上了数学的极端？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
如何评价 DeepMind 公司？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
如何评价 DeepMind 公布的可生成算法竞赛解题代码的 AlphaCode？
AI 有可能代替人类从事数学研究吗？
现在互联网公司还有做特征工程的工作吗？
人工智能相关的岗位薪酬状况如何？
如何评价陈天奇团队新开源的TVM？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
人是如何做黑盒优化的？
如何评价Google 在TensorFlow 中引入的bfloat16 数据类型？
深度学习中Attention与全连接层的区别何在？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
如何看待阿里巴巴提出的 FashionAI 比赛？
除了深度学习，机器学习领域近年来还有什么热点吗？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
机器学习如何才能避免「只是调参数」？
attention跟一维卷积的区别是啥？