NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
如何理解空洞卷积（dilated convolution）？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
机器学习如何才能避免「只是调参数」？
2021 年了，机器/深度学习还有哪些坑比较好挖？
强化学习和自适应控制的关系是什么？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
验证集loss上升，准确率却上升该如何理解？2019年CVPR有哪些糟糕的论文?
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
TVM 最新发布版本 0.3 有哪些亮点？
为什么交叉熵（cross-entropy）可以用于计算代价？
深度学习在无人驾驶汽车上面的运用有哪些？
如何评价AWS的图神经网络框架DGL？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
人工智能相关的岗位薪酬状况如何？
什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
为什么很少人用FFT加速CNN卷积层的运算？
如何看待swin transformer成为ICCV2021的 best paper？
科研时，想到一个idea，其实现的结果一定要比前人的评估指标高才能发表吗？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
为什么要压缩模型，而不是直接训练一个小的CNN？
GAN的生成器是怎么产生图片的？
ICLR 2018 有什么值得关注的亮点？
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
ICLR 2022有哪些值得关注的投稿？
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
目标检测算法中Two-stage算法速度慢,到底在哪里?
CVPR 2019 有哪些值得关注的亮点？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
Batch normalization和Instance normalization的对比？