NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？北京深鉴科技基于FPGA平台的DPU架构如何？
如何评价 NVIDIA 发布的 DGX-1？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
关于tensorflow中的滑动平均？
Transformer在工业界的应用瓶颈如何突破？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
如何评价移动端吊打一切万众期待的商汤深度学习推理框架PPL开源了却没有支持移动端？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
如何评价论文「Stochastic Training is Not Necessary ...」?
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
能否使用区块链的算力来解决深度学习训练？深度学习在无人驾驶汽车上面的运用有哪些？
如何评价小米开源的移动端深度学习框架MACE？
让人工智能去下路边街头的象棋残局会赢吗？
如何理解Inductive bias？
NLP领域，你推荐哪些综述性的文章？
迁移学习入门，新手该如何下手？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
应该选择TensorFlow还是Theano？
如何评价沐神他们写的《动手学深度学习》这本书？
2019年CVPR有哪些糟糕的论文?
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
能否对卷积神经网络工作原理做一个直观的解释？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
如何理解链接预测（link prediction）？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
除了深度学习，机器学习领域近年来还有什么热点吗？
人工智能的意义和价值是什么？
CTC和Encoder-Decoder有什么关系?
为什么最近几年 FPGA 变得越发受大家重视了？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
计算机视觉中，目前有哪些经典的目标跟踪算法？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
如何看待 Google TPU？寒武纪芯片较之有哪些优势与不足？
ICLR 2018 有什么值得关注的亮点？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
ICLR 2018 有什么值得关注的亮点？
如何评价哈工大的左旺孟老师？