卷积神经网络中卷积核是如何学习到特征的？ 第1页
1
liustein 网友的相关建议:
保证不了，所以要高度过参数化，保证有大量的种子选手可供选择，最后总会有幸运儿学到特征。
所以参数对初始化非常敏感，重新初始化一下，网络内部结构会完全改变。这个就类似于蝴蝶效应，有一个卷积核向某个方向略偏了一下，结果正好撞上了狗屎运（梯度），居然恰好在对的位置，能获得越来越多的运气（梯度），学到的这个特征就会越来越肯定。
这也是为什么，训练好的神经网络，有用的部分不多，有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品，如果一开始没得到梯度，就成了弃子了，之后就永远都得不到了！
梯度，永远滴神。 ——知乎 @霍华德
1
相关话题
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
如何理解attention中的Q,K,V？
自然语言处理怎么最快入门？
人工智能就业前景越来越严峻了，你还在坚持吗？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
机器学习中有哪些形式简单却很巧妙的idea？
如何看待最近一段时间旷视科技Face++、阿里、小米、京东、科大讯飞和地平线等相继在南京建立研发中心？
人是如何做黑盒优化的？
2021 年，深度学习方面取得了哪些关键性进展？
前一个讨论
工作之后，顶会还重要吗？
相关的话题
深度学习底层开发对数学有哪些要求？卷积神经网络（CNN）的结构设计都有哪些思想？
BERT中，multi-head 768*64*12与直接使用768*768矩阵统一计算，有什么区别？
为什么ViT里的image patch要设计成不重叠？
有哪些比较好的元学习（meta learning）领域的学习资源？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
如何评价 PyTorch 团队推出的推荐系统库 TorchRec？
深度学习图像处理什么时候用到GPU？
验证集loss上升，准确率却上升该如何理解？
深度学习领域有哪些瓶颈？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
为什么deep lab v3起，输出不再接 DenseCRF了？
如何理解 natural gradient descent?
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
如何评价Deepmind自监督新作BYOL？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津？
给男友配置一个适合做深度学习的电脑要多少钱？
计算机视觉是否已经进入瓶颈期？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
人工智能退潮期来了吗？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
有没有什么可以节省大量时间的 Deep Learning 效率神器？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
如何看待 AlphaFold 在蛋白质结构预测领域的成功？
如何评价深度学习之父Hinton发布的Capsule论文？
如何看待 TI7 上与 Dendi solo 的 OpenAI？