百科问答小站 logo
百科问答小站 font logo



如何计算CNN中batch normalization的计算复杂度(FLOPs)? 第1页

  

user avatar   quarrying 网友的相关建议: 
      

下面分析在推理 (或者说测试) 时 BN 层的计算量:

设 是BN层的输入, 其尺寸为 ; 是BN层的moving mean, 是BN层的moving variance, 是BN层的scale, 是BN层的shift, 它们的尺寸均为 . 为了简化推导, 设 , 并令 , , , , , . 则BN层的输出的第k个通道为:

, 式中 是全1矩阵(而不是单位矩阵), 是一个很小的正数, 防止除零的发生.

令 , 则 . 由于 都是已知的, 和 可以预先计算 (NCNN中就是这样做的[1]), 在推理时不会占用额外的计算时间, 于是 的计算量只有 次乘法运算和 次加法运算, 对于C个通道计算量则有 次乘法运算和 次加法运算. 这个计算量相对于一般卷积层的计算量是很小的. 对于一般卷积则需要 次乘法运算, 次加法运算(有偏置项) 或 次加法运算(无偏置项), 这些符号可以顾名思义, 这里就不赘述了, 详细的推导可以参考[2].

另外如果网络采用Conv-BN-ReLU的设置, 则BN的参数还可以折叠 (fold) 到前面的卷积层的参数中, 这时BN的计算被包含到卷积的计算中了.

参考

  1. ^ https://github.com/Tencent/ncnn/blob/c61a60bfc67fcc5d8cdce20ad2ab65ba19f2b6c8/src/layer/batchnorm.cpp#L36
  2. ^ https://zhuanlan.zhihu.com/p/137719986



  

相关话题

  自学深度学习是怎样一种体验? 
  当前人工智能特别是深度学习最前沿的研究方向是什么? 
  应届硕士毕业生如何拿到知名互联网公司算法岗(机器学习、数据挖掘、深度学习) offer? 
  有没有什么可以节省大量时间的 Deep Learning 效率神器? 
  如何评价MSRA最新的 Relation Networks for Object Detection? 
  如何评价沐神他们写的《动手学深度学习》这本书? 
  为什么学习深度学习感觉无法入门? 
  机器学习中的机器是如何分辨哪些是有用的知识,哪些是没用的信息呢? 
  transformer 为什么使用 layer normalization,而不是其他的归一化方法? 
  你所在的研究领域里,有哪些工作的结果虽然不是造假,但是是精挑细选出来的? 

前一个讨论
CPU和GPU跑深度学习差别有多大?
下一个讨论
2020年CVPR有哪些优秀的论文?





© 2025-04-03 - tinynew.org. All Rights Reserved.
© 2025-04-03 - tinynew.org. 保留所有权利