卷积神经网络中卷积核是如何学习到特征的？ 第1页
1
liustein 网友的相关建议:
保证不了，所以要高度过参数化，保证有大量的种子选手可供选择，最后总会有幸运儿学到特征。
所以参数对初始化非常敏感，重新初始化一下，网络内部结构会完全改变。这个就类似于蝴蝶效应，有一个卷积核向某个方向略偏了一下，结果正好撞上了狗屎运（梯度），居然恰好在对的位置，能获得越来越多的运气（梯度），学到的这个特征就会越来越肯定。
这也是为什么，训练好的神经网络，有用的部分不多，有用的部分只是因为运气好。而没有被梯度之神选中的牺牲品，如果一开始没得到梯度，就成了弃子了，之后就永远都得不到了！
梯度，永远滴神。 ——知乎 @霍华德
1
相关话题
如何评价「Patches are all you need」?Google 的神经网络生成图像 (Inceptionism) 是怎么做到的？
神经网络中的能量函数是如何定义的？
如何评价1700亿参数的GPT-3？
如何评价 On Unifying Deep Generative Models 这篇 paper?
因果推断会是下一个AI热潮吗？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
前一个讨论
工作之后，顶会还重要吗？
相关的话题
batchsize=1时可以用BN吗?研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
多模态训练，怎么解决不同模态之间差异的问题？
为啥gan里面几乎不用pooling？
Transformer是如何处理可变长度数据的？
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
如何看待 TI7 上与 Dendi solo 的 OpenAI？
深度学习和强化学习之间的差别有多大？
围棋AI为什么没有下出同局？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
当前（2020年）机器学习中有哪些研究方向特别的坑？
能否对卷积神经网络工作原理做一个直观的解释？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
卷积神经网络中卷积核是如何学习到特征的？
消融实验是什么？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
为什么在SGD中使用L1正则化很难获得稀疏性？
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
Batch normalization和Instance normalization的对比？
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
深度学习调参有哪些技巧？
你有哪些deep learning（rnn、cnn）调参的经验？