关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
batchsize=1时可以用BN吗?2021年深度学习在哪些应用上有实质进展？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
上学和读书有什么区别?
如何理解深度学习源码里经常出现的logits？
如何看待SIREN激活函数的提出？
如何理解MCMC中的细致平稳条件？
人工智能的意义和价值是什么？
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？Transformer是如何处理可变长度数据的？
机器之心提问：如何评价Facebook Training ImageNet in 1 Hour这篇论文?
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
如何评价PyTorch 0.4.0？
科研时，想到一个idea，其实现的结果一定要比前人的评估指标高才能发表吗？
2018年了，MXNet 发展的如何了？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
为什么计算注意力机制的时候不加偏置项？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
graph convolutional network有什么比较好的应用task？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
机器学习如何才能避免「只是调参数」？
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
深度学习方面的科研工作中的实验代码有什么规范和写作技巧？如何妥善管理实验数据？
如何评价论文「Stochastic Training is Not Necessary ...」?
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
如何理解深度学习中的deconvolution networks？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
人工智能可以解决人类难题吗？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
ICLR 2019 有什么值得关注的亮点？
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
机器学习，深度神经网络等方法是否是正确的方向？