卷积神经网络中卷积核是如何学习到特征的？ 第1页
1
liustein 网友的相关建议:
保证不了，所以要高度过参数化，保证有大量的种子选手可供选择，最后总会有幸运儿学到特征。
所以参数对初始化非常敏感，重新初始化一下，网络内部结构会完全改变。这个就类似于蝴蝶效应，有一个卷积核向某个方向略偏了一下，结果正好撞上了狗屎运（梯度），居然恰好在对的位置，能获得越来越多的运气（梯度），学到的这个特征就会越来越肯定。
这也是为什么，训练好的神经网络，有用的部分不多，有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品，如果一开始没得到梯度，就成了弃子了，之后就永远都得不到了！
梯度，永远滴神。 ——知乎 @霍华德
1
相关话题
如何评价MSRA最新的 Relation Networks for Object Detection？有哪些关于机器学习的真相还鲜为人知？
如何评价陈天奇团队新开源的TVM？
如何评价论文「Stochastic Training is Not Necessary ...」?
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
如何看待在某度搜不到megengine官网？
如何评价MSRA最新的 Relation Networks for Object Detection？
围棋AI为什么没有下出同局？
如何看待MXNet在CVPR2017上公布的gluon接口？
强化学习和自适应控制的关系是什么？
前一个讨论
工作之后，顶会还重要吗？
相关的话题
2020年，多标签学习（multi-label）有了哪些新的进展？阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
如何评价深度学习相关顶级期刊论文难复现的问题？
BERT中，multi-head 768*64*12与直接使用768*768矩阵统一计算，有什么区别？
如何评价生成模型框架 ZhuSuan?
如何看待 Google TPU？寒武纪芯片较之有哪些优势与不足？
如何将某个分布作为机器学习的特征？
人工智能可以解决人类难题吗？
有哪些令你印象深刻的魔改transformer？
深度学习工作站中使用AMD的CPU会有问题吗？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
多模态方面，有哪些牛组值得我们follow他们的工作？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
给男友配置一个适合做深度学习的电脑要多少钱？
如何判断两个Deep Learning 数据集的数据分布是否一致？
为什么强大的 MXNet 一直火不起来？
如何评价DALL-E模型的实现？
基于深度卷积神经网络进行人脸识别的原理是什么？
深度神经网络（DNN）是否模拟了人类大脑皮层结构？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
如何评价 Self-Normalizing Neural Networks 这篇论文?
2021年深度学习在哪些应用上有实质进展？
生成对抗网络的毕设怎么上手？
如何看待最近一段时间旷视科技Face++、阿里、小米、京东、科大讯飞和地平线等相继在南京建立研发中心？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
如何系统学习机器学习？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
如何评价沐神他们写的《动手学深度学习》这本书？
深度学习火热兴起后，隐马尔可夫模型（HMM）还有何独到之处，是不是几乎可被深度学习模型给替代了？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？