NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
因果推断会是下一个AI热潮吗？ICLR 2018 有什么值得关注的亮点？
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？
有什么算法能对一个长短不一的时间序列进行分类预测?
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
目标检测算法中Two-stage算法速度慢,到底在哪里?
当前（2020年）机器学习中有哪些研究方向特别的坑？
为什么deep lab v3起，输出不再接 DenseCRF了？
机器之心提问：如何评价Facebook Training ImageNet in 1 Hour这篇论文?
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
关于tensorflow中的滑动平均？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
如何评价DALL-E模型的实现？
为什么在SGD中使用L1正则化很难获得稀疏性？
人工智能可以解决人类难题吗？
当前人工智能特别是深度学习最前沿的研究方向是什么？
医学生学习机器学习该如何入门？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
如何证明数据增强（Data Augmentation）有效性？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
如何将某个分布作为机器学习的特征？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
为什么Transformer适合做多模态任务？
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
如何看待周志华等人的新书《机器学习理论导引》？
如何评价Google发布的第二代深度学习系统TensorFlow?
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
现在互联网公司还有做特征工程的工作吗？
如何评价陈天奇团队新开源的TVM？
人工智能可以解决人类难题吗？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
如何理解空洞卷积（dilated convolution）？