NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？
现在的BERT等语言模型，最快训练要多久？
为什么Transformer要用LayerNorm？
机器学习中有哪些形式简单却很巧妙的idea？
如何评价AlphaGo Zero？
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
在五到十年内，人工智能能复原成人影片中的被马赛克部分吗？
贝叶斯深度学习是什么，和传统神经网络有何不同？
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
深度学习（机器学习）的下一步如何发展？为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
反馈控制理论在优化、机器学习等领域有哪些应用？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
CVPR 2019 有哪些值得关注的亮点？
为什么ViT里的image patch要设计成不重叠？
wav2vec中的30ms是怎么得来的?
人工智能 CV 岗位是不是现在供严重大于需？
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
如何进行图像模糊与清晰的分类？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
Resnet是否只是一个深度学习的trick？
人工智能会是泡沫吗？
贝叶斯深度学习是什么，和传统神经网络有何不同？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
现在互联网公司还有做特征工程的工作吗？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
深度学习（机器学习）的下一步如何发展？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?
如何评价Kaiming He的Momentum Contrast for Unsupervised?
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
如何评价DALL-E模型的实现？
大家用resnet50在imagenet上面top1最高能到多少？
自然语言处理怎么最快入门？
硕士方向，选择迁移学习还是自然语言处理？