百科问答小站 logo
百科问答小站 font logo



关于tensorflow中的滑动平均? 第1页

  

user avatar   bingo-hong-36 网友的相关建议: 
      

说下自己的理解吧。

我认为两者是独立的。理由如下:

  • tf.train.ExponentialMovingAverage做为一个滑动平均类,其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程,不会改变变量本身的值。
  • 由于滑动平均过程并不会改变变量本身的值,因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
  • 从代码训练的角度来说,施加滑动平均类的tf代码中,要保证训练神经网络过程中,既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序,是更新后的变量,再做滑动平均。如下代码:
       with tf.control_dependencies([train_step,variable_average_op]):      train_op = tf.no_op(name="train")     

以上是个人理解,仅仅从ema原理和代码训练角度猜测了下,具体没有看过源码,不敢随意下结论。仅供参考吧~




  

相关话题

  如何评价周志华在微博对 AlphaGo 和机器学习技术的评论? 
  Resnet是否只是一个深度学习的trick? 
  如何评价MSRA视觉组最新对spatial attention mechanism分析论文? 
  老师给了一个神经网络的程序,他之前是跑通了的,但是我迭代几十次或者一百多次就报错。这个怎么解决? 
  人工智能领域有哪些精妙的数学原理? 
  Graph Attention Network的本质是什么? 
  如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution? 
  人工智能 CV 岗位是不是现在供严重大于需? 
  视觉算法的工业部署及落地方面的技术知识,怎么学? 
  给男友配置一个适合做深度学习的电脑要多少钱? 

前一个讨论
希腊神话中,男女一体后来被宙斯劈成两半的神叫什么名字?
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理?





© 2025-01-18 - tinynew.org. All Rights Reserved.
© 2025-01-18 - tinynew.org. 保留所有权利