卷积神经网络中卷积核是如何学习到特征的？ 第1页
1
liustein 网友的相关建议:
保证不了，所以要高度过参数化，保证有大量的种子选手可供选择，最后总会有幸运儿学到特征。
所以参数对初始化非常敏感，重新初始化一下，网络内部结构会完全改变。这个就类似于蝴蝶效应，有一个卷积核向某个方向略偏了一下，结果正好撞上了狗屎运（梯度），居然恰好在对的位置，能获得越来越多的运气（梯度），学到的这个特征就会越来越肯定。
这也是为什么，训练好的神经网络，有用的部分不多，有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品，如果一开始没得到梯度，就成了弃子了，之后就永远都得不到了！
梯度，永远滴神。 ——知乎 @霍华德
1
相关话题
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？有没有什么可以节省大量时间的 Deep Learning 效率神器？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
如何看待End-to-End Object Detection with Transformers？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
如何评价 PyTorch 团队推出的推荐系统库 TorchRec？
目标检测算法中Two-stage算法速度慢,到底在哪里?
基于深度学习的人工智能程序和传统程序的差别在哪里？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
多模态训练，怎么解决不同模态之间差异的问题？
前一个讨论
工作之后，顶会还重要吗？
相关的话题
Batch normalization和Instance normalization的对比？如何评价陈天奇团队新开源的TVM？
CPU和GPU跑深度学习差别有多大？
人工智能会是泡沫吗？
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
attention跟一维卷积的区别是啥？
如何看待 AlphaFold 在蛋白质结构预测领域的成功？
如何看待swin transformer成为ICCV2021的 best paper？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
如何评价 BERT 模型？
如何解决图神经网络（GNN）训练中过度平滑的问题？
为什么softmax很少会出现[0.5，0.5]？
为什么现在有这么多人工智能无用论？
如何评价Sony新出的深度学习库NNabla？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
强化学习和自适应控制的关系是什么？
为什么读论文最好打印出来读？
FPGA做深度学习能走多远？
卷积神经网络如果将池化层去除，与神经网络的区别还大么？
2019年NeurIPS有哪些糟糕的论文？
2021年深度学习在哪些应用上有实质进展？
如何理解 natural gradient descent?
如何评价 Self-Normalizing Neural Networks 这篇论文?
如何看待谷歌公开 tensorflow 专用处理器 TPU?
如何评价移动端吊打一切万众期待的商汤深度学习推理框架PPL开源了却没有支持移动端？
如何评价 NVIDIA 发布的 DGX-1？
batchsize=1时可以用BN吗?
为什么计算注意力机制的时候不加偏置项？