NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
如何比较Keras, TensorLayer, TFLearn ？什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
2021年深度学习在哪些应用上有实质进展？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
2021 年，深度学习方面取得了哪些关键性进展？
如何理解深度学习中的deconvolution networks？
科研时，想到一个idea，其实现的结果一定要比前人的评估指标高才能发表吗？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
人工智能可以解决人类难题吗？
实验室一块GPU都没有怎么做深度学习？
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
如何评价 On Unifying Deep Generative Models 这篇 paper?ICLR 2021 有什么值得关注的投稿？
机器学习里面的流形都是怎么用的？
深度学习领域有哪些瓶颈？
为什么 Bert 的三个 Embedding 可以进行相加？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
中国和美国谁能成人工智能领域的领军者？
深度学习调参有哪些技巧？
什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)？
二分类问题，应该选择sigmoid还是softmax？
如何评价哈工大的左旺孟老师？
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
如何开发一个自己的 TensorFlow？
如何看待谷歌公开 tensorflow 专用处理器 TPU?
人工智能的意义和价值是什么？
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
有哪些比较好的元学习（meta learning）领域的学习资源？
pytorch 分布式计算 你们都遇到过哪些 坑/bug？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
为什么现在很多人不看好商汤科技？
wasserstein 距离的问题?
为什么Transformer适合做多模态任务？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
如何解读 Jeff Dean 等联合在 arXiv 上发布的用深度学习分析电子病历的论文？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？