NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
BERT模型可以使用无监督的方法做文本相似度任务吗？如何看待 Nervana 被 Intel 收购？
如何评价旷视开源的YOLOX，效果超过YOLOv5?
transformer中的Q,K,V到底是什么？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
在五到十年内，人工智能能复原成人影片中的被马赛克部分吗？
有哪些相见恨晚的 TensorFlow 小技巧？
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
使用强化学习解决实际问题时常常避不开环境模拟或者使用离线强化学习算法，两者分别有什么优缺点？
如何开发一个自己的 TensorFlow？
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
硕士方向，选择迁移学习还是自然语言处理？
深度学习如何入门？
Google 的神经网络生成图像 (Inceptionism) 是怎么做到的？
ICLR 2021 有什么值得关注的投稿？
AMD 开源高性能机器智能库MIopen是否可以和cuDNN抗衡？
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？
CVPR 2018 有什么值得关注的亮点？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
如何用一句话证明自然语言处理很难？
为什么强大的 MXNet 一直火不起来？
如何理解链接预测（link prediction）？
计算商品embedding然后平均得到用户embedding，会不会存在这种问题？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
深度学习在生物信息领域有什么应用？
如何评价移动端吊打一切万众期待的商汤深度学习推理框架PPL开源了却没有支持移动端？
算法工程师是否应该持续读论文？
卷积神经网络（CNN）的结构设计都有哪些思想？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
卷积神经网络如果将池化层去除，与神经网络的区别还大么？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
目前有哪些比较成功的人工智能应用？
如何理解深度学习源码里经常出现的logits？
如何用一句话证明自然语言处理很难？
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?