NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？ 第1页
1
eric314 网友的相关建议:
bn其实一点都不好。个人认为bn是深度学习界有史以来最恶心的trick，实现起来一堆坑不说，加上bn以后你的输入都不iid了，要是在深度学习爆火以前有人提出bn，肯定会被统计学家打死……无奈它在图像识别上效果很好，大家只能忍了。
bn的主要作用是控制数值区间，让比较深的网络训练起来稳定性比较好，更不容易爆炸。但是初始化和调参其实可以部分解决这个问题，能不用bn的时候还是尽量不要用，尤其是做一个新的问题的时候，不要想当然就把bn塞进去。
顺便推荐一下selu，是一个有希望代替bn的研究方向https://www.zhihu.com/question/60910412/answer/181988782
1
相关话题
2021 年了，TensorFlow 和 PyTorch 两个深度学习框架地位又有什么变化吗？多任务学习中loss多次backward和loss加和后backward有区别吗？
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
基于深度学习的人工智能程序和传统程序的差别在哪里？
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
计算机视觉中，目前有哪些经典的目标跟踪算法？
如何用一句话证明自然语言处理很难？
如何评价生成模型框架 ZhuSuan?
前一个讨论
如果印度不退兵，中国会不会出手教训印度？
下一个讨论
如何看待美团这次的外卖分箱行为？
相关的话题
计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？为什么神经网络具有泛化能力？
有什么算法能对一个长短不一的时间序列进行分类预测?
如何评价MXNet发布的1.0版本？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
人工智能就业前景越来越严峻了，你还在坚持吗？
batchsize=1时可以用BN吗?
深度学习图像处理什么时候用到GPU？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
GAN的生成器是怎么产生图片的？
如何比较Keras, TensorLayer, TFLearn ？
如何看待何恺明最新一作论文Masked Autoencoders？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
如何评价 On Unifying Deep Generative Models 这篇 paper?
为什么说大模型训练很难？
如何比较Keras, TensorLayer, TFLearn ？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
adversarial training为什么会起作用？
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？
wasserstein 距离的问题?
机器学习能否用于综合评价？具体怎么操作？
神经网络的损失函数为什么是非凸的?
为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
自学深度学习是怎样一种体验？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
batchsize=1时可以用BN吗?
神经网络为什么可以（理论上）拟合任何函数？
如何理解深度学习中的deconvolution networks？
自监督学习（Self-supervised Learning）有什么比较新的思路？