NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
如何评价陈天奇的模块化深度学习系统NNVM？如何比较Keras, TensorLayer, TFLearn ？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
医学生学习机器学习该如何入门？
中国和美国谁能成人工智能领域的领军者？
如何看待swin transformer成为ICCV2021的 best paper？
如何解决测试中充斥着大量训练集中没见过的样本类型模型将其识别成非我族类仍然保持测试集的高精度？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
2021 年了，机器/深度学习还有哪些坑比较好挖？现在的BERT等语言模型，最快训练要多久？
深度学习中Attention与全连接层的区别何在？
如何看待最近一段时间旷视科技Face++、阿里、小米、京东、科大讯飞和地平线等相继在南京建立研发中心？
如何评价Momenta ImageNet 2017夺冠架构SENet?
graph convolutional network有什么比较好的应用task？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
怎么选取训练神经网络时的Batch size?
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
为什么读论文最好打印出来读？
如何评价微软亚洲研究院提出的LightRNN？
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
假如我穿越到2017年第一个提出了Transformer、BERT等模型，我可以保送到清华北大吗？
有哪些关于机器学习的真相还鲜为人知？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
image caption这个方向更偏向NLP还是CV？
人工智能就业前景越来越严峻了，你还在坚持吗？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
如何评价MSRA最新的 Relation Networks for Object Detection？
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？
当前（2020年）机器学习中有哪些研究方向特别的坑？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?
Batch Normalization 训练的时候为什么不使用 moving statistics？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
如何解读 Jeff Dean 等联合在 arXiv 上发布的用深度学习分析电子病历的论文？