卷积神经网络中卷积核是如何学习到特征的？ 第1页
1
liustein 网友的相关建议:
保证不了，所以要高度过参数化，保证有大量的种子选手可供选择，最后总会有幸运儿学到特征。
所以参数对初始化非常敏感，重新初始化一下，网络内部结构会完全改变。这个就类似于蝴蝶效应，有一个卷积核向某个方向略偏了一下，结果正好撞上了狗屎运（梯度），居然恰好在对的位置，能获得越来越多的运气（梯度），学到的这个特征就会越来越肯定。
这也是为什么，训练好的神经网络，有用的部分不多，有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品，如果一开始没得到梯度，就成了弃子了，之后就永远都得不到了！
梯度，永远滴神。 ——知乎 @霍华德
1
相关话题
深度学习中有哪些数据增强方法？什么是meta-learning?
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
结合深度学习的图像修复怎么实现？
如何评价谷歌大脑的EfficientNet？
Batch Normalization 训练的时候为什么不使用 moving statistics？
为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
如何评价最新的Octave Convolution？
前一个讨论
工作之后，顶会还重要吗？
相关的话题
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？有哪些深度学习效果不如传统方法的经典案例？
深度学习领域有哪些瓶颈？
人工智能在生活中的应用都有哪些？
深度学习的多个loss如何平衡？
anchor-free存在什么缺点？
Batch Normalization 训练的时候为什么不使用 moving statistics？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
深度学习attention机制中的Q,K,V分别是从哪来的？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
AlphaGo「理解」围棋吗？
如何看待旷视科技新产品监视学生上课？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
图片上训的模型，怎么迁移视频上呢？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
人工智能在生活中的应用都有哪些？
现在的BERT等语言模型，最快训练要多久？
2021 年，深度学习方面取得了哪些关键性进展？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
深度学习火热兴起后，隐马尔可夫模型（HMM）还有何独到之处，是不是几乎可被深度学习模型给替代了？
如何评价AlphaGo Zero？
如何看待 Google TPU？寒武纪芯片较之有哪些优势与不足？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
算法岗位真的需要顶会才能入场吗？
卷积神经网络中卷积核是如何学习到特征的？
为什么softmax很少会出现[0.5，0.5]？
计算机视觉是否已经进入瓶颈期？
Transformer是如何处理可变长度数据的？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？