NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
如何评价小米开源的移动端深度学习框架MACE？NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？
如何看待何恺明最新一作论文Masked Autoencoders？
百度学术能否替代 Google 学术网站？有没有其他选择？
计算商品embedding然后平均得到用户embedding，会不会存在这种问题？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
人工智能相关的岗位薪酬状况如何？
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
如何评价沐神他们写的《动手学深度学习》这本书？如何评价论文「Stochastic Training is Not Necessary ...」?
深度学习中Attention与全连接层的区别何在？
注意力机制是如何学习到模型所应注意的区域的？
人工智能相关的岗位薪酬状况如何？
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
为什么说大模型训练很难？
现在互联网公司还有做特征工程的工作吗？
如何评价余凯创立的horizon robotics？
深度学习底层开发对数学有哪些要求？
应该选择TensorFlow还是Theano？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
如何理解attention中的Q,K,V？
2021年，ncnn发展的如何了？
2019年CVPR有哪些糟糕的论文?
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
TVM 最新发布版本 0.3 有哪些亮点？
强化学习和自适应控制的关系是什么？
word2vec有什么应用？
CPU和GPU跑深度学习差别有多大？
DeepMind 团队中有哪些厉害的人物和技术积累？
如何看待在某度搜不到megengine官网？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
如何评价最新的Octave Convolution？
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
神经网络的万能逼近定理已经发展到什么地步了？
现在的BERT等语言模型，最快训练要多久？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
为什么最近几年 FPGA 变得越发受大家重视了？
如何将某个分布作为机器学习的特征？