卷积神经网络中卷积核是如何学习到特征的？ 第1页
1
liustein 网友的相关建议:
保证不了，所以要高度过参数化，保证有大量的种子选手可供选择，最后总会有幸运儿学到特征。
所以参数对初始化非常敏感，重新初始化一下，网络内部结构会完全改变。这个就类似于蝴蝶效应，有一个卷积核向某个方向略偏了一下，结果正好撞上了狗屎运（梯度），居然恰好在对的位置，能获得越来越多的运气（梯度），学到的这个特征就会越来越肯定。
这也是为什么，训练好的神经网络，有用的部分不多，有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品，如果一开始没得到梯度，就成了弃子了，之后就永远都得不到了！
梯度，永远滴神。 ——知乎 @霍华德
1
相关话题
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？
深度学习方面的科研工作中的实验代码有什么规范和写作技巧？如何妥善管理实验数据？
如何理解 inductive learning 与 transductive learning?
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
人工智能领域有哪些精妙的数学原理？
如何评价ST-GCN动作识别算法？
ICLR 2018 有什么值得关注的亮点？
目前有哪些比较成功的人工智能应用？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
前一个讨论
工作之后，顶会还重要吗？
相关的话题
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？为什么有的论文放出训练好的模型和测试脚本，但不开源训练代码？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
如何进行图像模糊与清晰的分类？
attention跟一维卷积的区别是啥？
如何评价微软亚洲研究院提出的LightRNN？
低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征？
Resnet到底在解决一个什么问题呢？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
深度学习底层开发对数学有哪些要求？
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
如何评价最新的Octave Convolution？
如何理解 Graph Convolutional Network（GCN）？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
深度学习图像处理什么时候用到GPU？
自监督学习（Self-supervised Learning）有什么比较新的思路？
人工智能会是泡沫吗？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
人工智能退潮期来了吗？
计算机视觉是否已经进入瓶颈期？
Transformer在工业界的应用瓶颈如何突破？
2021 年了，机器/深度学习还有哪些坑比较好挖？
如何评价PyTorch 0.4.0？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
什么是大模型？超大模型？Foundation Model？
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
ICLR 2022有哪些值得关注的投稿？
2021 年，深度学习方面取得了哪些关键性进展？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？