NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
如何看待周志华等人的新书《机器学习理论导引》？2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
注意力机制是如何学习到模型所应注意的区域的？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
如何评价小米开源的移动端深度学习框架MACE？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
如果你是面试官，你怎么去判断一个面试者的深度学习水平？
有哪些关于机器学习的真相还鲜为人知？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
你有哪些deep learning（rnn、cnn）调参的经验？如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
深度学习在无人驾驶汽车上面的运用有哪些？
KL散度衡量的是两个概率分布的距离吗？
如何看待百度无人车， 三千多个场景，一万多个if？
有哪些比较好的元学习（meta learning）领域的学习资源？
2018年了，MXNet 发展的如何了？
2021年深度学习在哪些应用上有实质进展？
如何进行图像模糊与清晰的分类？
有哪些关于机器学习的真相还鲜为人知？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
什么是meta-learning?
如何评价 MSRA 最新的 Deformable Convolutional Networks？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
为什么交叉熵（cross-entropy）可以用于计算代价？
多任务学习中loss多次backward和loss加和后backward有区别吗？
如何看待Tensor Comprehensions？与TVM有何异同？
如何系统学习机器学习？
当前（2020年）机器学习中有哪些研究方向特别的坑？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
新手如何入门pytorch？
如何看待马毅老师深度学习第一性原理的文章在 ICML 四个审稿人一致接收的情况下被 AC 拒了？
人工智能的意义和价值是什么？
2019年CVPR有哪些糟糕的论文?
深度学习和强化学习之间的差别有多大？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
人工智能可以为人类找寻他们心目中的另一半吗?