百科问答小站 logo
百科问答小站 font logo



NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么? 第1页

  

user avatar   eric314 网友的相关建议: 
      

bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick,实现起来一堆坑不说,加上bn以后你的输入都不iid了,要是在深度学习爆火以前有人提出bn,肯定会被统计学家打死……无奈它在图像识别上效果很好,大家只能忍了。

bn的主要作用是控制数值区间,让比较深的网络训练起来稳定性比较好,更不容易爆炸。但是初始化和调参其实可以部分解决这个问题,能不用bn的时候还是尽量不要用,尤其是做一个新的问题的时候,不要想当然就把bn塞进去。

顺便推荐一下selu,是一个有希望代替bn的研究方向zhihu.com/question/6091




  

相关话题

  如何看待周志华等人的新书《机器学习理论导引》? 
  2021年深度学习哪些方向比较新颖,处于上升期或者朝阳阶段,没那么饱和,比较有研究潜力? 
  如何评价周志华教授新提出的 Deep Forest 模型,它会取代当前火热的深度学习 DNN 吗? 
  注意力机制是如何学习到模型所应注意的区域的? 
  测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗? 
  如何评价小米开源的移动端深度学习框架MACE? 
  计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些? 
  如果你是面试官,你怎么去判断一个面试者的深度学习水平? 
  有哪些关于机器学习的真相还鲜为人知? 
  你所在的研究领域里,有哪些工作的结果虽然不是造假,但是是精挑细选出来的? 

前一个讨论
如果印度不退兵,中国会不会出手教训印度?
下一个讨论
如何看待美团这次的外卖分箱行为?





© 2025-06-05 - tinynew.org. All Rights Reserved.
© 2025-06-05 - tinynew.org. 保留所有权利