NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?如何看待MXNet获得amazon官方支持首位？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
2019 秋招的 AI 岗位竞争激烈吗？
为什么很少人用FFT加速CNN卷积层的运算？
如何评价陈天奇团队新开源的TVM？
深度学习方面还有什么Open Problem?
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
人工智能在生活中的应用都有哪些？
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？现在的人工智能是否走上了数学的极端？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
有哪些关于机器学习的真相还鲜为人知？
实验室一块GPU都没有怎么做深度学习？
Google 的神经网络生成图像 (Inceptionism) 是怎么做到的？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
有什么算法能对一个长短不一的时间序列进行分类预测?
物理专业的学生如何看待机器学习和大数据这些方向呢？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
上学和读书有什么区别?
自监督学习（Self-supervised Learning）有什么比较新的思路？
如何评价PyTorch 0.4.0？
在五到十年内，人工智能能复原成人影片中的被马赛克部分吗？
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
深度学习（机器学习）的下一步如何发展？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
有什么深度学习数学基础书推荐？
为什么有的论文放出训练好的模型和测试脚本，但不开源训练代码？
GAN的生成器是怎么产生图片的？
深度学习做股票预测靠谱吗？
如何看待MXNet在CVPR2017上公布的gluon接口？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
深度学习在生物信息领域有什么应用？
如何评价ST-GCN动作识别算法？
如何评价清华大学发布的自研深度学习框架-计图(Jittor)？
如何评价 DeepMind 公布的可生成算法竞赛解题代码的 AlphaCode？