卷积神经网络中卷积核是如何学习到特征的？ 第1页
1
liustein 网友的相关建议:
保证不了，所以要高度过参数化，保证有大量的种子选手可供选择，最后总会有幸运儿学到特征。
所以参数对初始化非常敏感，重新初始化一下，网络内部结构会完全改变。这个就类似于蝴蝶效应，有一个卷积核向某个方向略偏了一下，结果正好撞上了狗屎运（梯度），居然恰好在对的位置，能获得越来越多的运气（梯度），学到的这个特征就会越来越肯定。
这也是为什么，训练好的神经网络，有用的部分不多，有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品，如果一开始没得到梯度，就成了弃子了，之后就永远都得不到了！
梯度，永远滴神。 ——知乎 @霍华德
1
相关话题
深度学习领域有哪些瓶颈？如何评价 DeepMind 的新工作 AlphaCode?
如何理解 Graph Convolutional Network（GCN）？
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
机器学习如何才能避免「只是调参数」？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
如何评价 On Unifying Deep Generative Models 这篇 paper?
如何评价 BERT 模型？
前一个讨论
工作之后，顶会还重要吗？
相关的话题
搞机器学习的生环化材是天坑吗？2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
面试官如何判断面试者的机器学习水平？
如何看待 AlphaFold 在蛋白质结构预测领域的成功？
为何感觉“知识蒸馏”这几年没有什么成果？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
中国和美国谁能成人工智能领域的领军者？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
为什么神经网络具有泛化能力？
卷积神经网络中卷积核是如何学习到特征的？
训练过程中loss震荡特别严重，可能是什么问题？
你实践中学到的最重要的机器学习经验是什么？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
卷积神经网络（CNN）的结构设计都有哪些思想？
为什么softmax很少会出现[0.5，0.5]？
计算商品embedding然后平均得到用户embedding，会不会存在这种问题？
为什么要压缩模型，而不是直接训练一个小的CNN？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
有哪些深度学习效果不如传统方法的经典案例？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
如何评价 NVIDIA 发布的 DGX-1？
Resnet是否只是一个深度学习的trick？
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？