NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
如何评价生成模型框架 ZhuSuan?如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
为什么Transformer要用LayerNorm？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
有哪些相见恨晚的 TensorFlow 小技巧？自学深度学习是怎样一种体验？
Transformer是如何处理可变长度数据的？
深度学习的多个loss如何平衡？
如何评价深度学习之父Hinton发布的Capsule论文？
如何理解 natural gradient descent?
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
三维重建怎么入门？
如何理解 natural gradient descent?
KL散度衡量的是两个概率分布的距离吗？
如何理解MCMC中的细致平稳条件？
目前有哪些比较成功的人工智能应用？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
迁移学习与fine-tuning有什么区别？
Resnet是否只是一个深度学习的trick？
为什么现在有这么多人工智能无用论？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
如何比较Keras, TensorLayer, TFLearn ？
石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
如何评价 Exploring Simple Siamese Learning?
目前，人工智能语音在说中文时的语气感觉上还比较机械，怎样使人工智能语音的语气更自然一些？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
如何理解 natural gradient descent?
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
是不是并不是所有问题都适合用神经网络预测？