NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
CNN网络的pooling层有什么用？写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
如何看待MXNet获得amazon官方支持首位？
如何看待Tensor Comprehensions？与TVM有何异同？
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
Graph Attention Network的本质是什么？
能否对卷积神经网络工作原理做一个直观的解释？
ICLR 2019 有什么值得关注的亮点？
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
如何计算CNN中batch normalization的计算复杂度（FLOPs）？如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
大家用resnet50在imagenet上面top1最高能到多少？
如何解决图神经网络（GNN）训练中过度平滑的问题？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
深度学习调参有哪些技巧？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
为何感觉“知识蒸馏”这几年没有什么成果？
如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？
2019 秋招的 AI 岗位竞争激烈吗？
因果推断会是下一个AI热潮吗？
机器学习，深度神经网络等方法是否是正确的方向？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
现在互联网公司还有做特征工程的工作吗？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
有哪些比较好的元学习（meta learning）领域的学习资源？
如何解决测试中充斥着大量训练集中没见过的样本类型模型将其识别成非我族类仍然保持测试集的高精度？
深度学习在信息安全的应用有哪些可以关注的人或论文？
如何看待周志华等人的新书《机器学习理论导引》？
AMD的CPU是否适合搭建深度学习主机？
贝叶斯深度学习是什么，和传统神经网络有何不同？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
算法岗位真的需要顶会才能入场吗？
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？