你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 第1页
1
huo-hua-de-41 网友的相关建议:
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
1
相关话题
Python中 __init__的通俗解释是什么？神经网络为什么可以（理论上）拟合任何函数？
备战ACM，想问下有什么算法网课推荐吗?
ICLR 2019 有什么值得关注的亮点？
你实践中学到的最重要的机器学习经验是什么？
为什么现在不看好 CV 方向了呢?
2021 年了，机器/深度学习还有哪些坑比较好挖？
全连接层的作用是什么？
感觉算法在程序员中快被吹上天了，如果只是搞编程的话，是不是没必要死磕算法？
有哪些比较好的机器学习，深度学习的网络资源可利用？
前一个讨论
CV方向多模态融合有哪些好的paper？
下一个讨论
国内有哪些不错的CV(计算机视觉)团队?
相关的话题
我应该从计算机视觉回到做FPGA 吗？什么是主动学习（Active Learning, AL）？
Deep Learning 的专家如此急缺，它难在何处？
如何评价 DeepMind 公布的可生成算法竞赛解题代码的 AlphaCode？
求十亿内所有质数的和，怎么做最快?
ICLR 2022有哪些值得关注的投稿？
如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津？
N 个乒乓球中有一个和其他的质量不同，用天平最少几次一定能称出来？
到了 2022 年，人工智能有哪些真正可落地的应用？
attention跟一维卷积的区别是啥？
xgboost原理？
如何解读 Jeff Dean 等联合在 arXiv 上发布的用深度学习分析电子病历的论文？
有哪些你看了以后大呼过瘾的数据分析书？
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
自监督学习（Self-supervised Learning）有什么比较新的思路？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？
反馈控制理论在通信、信号处理等领域有哪些应用？
如何评价 Self-Normalizing Neural Networks 这篇论文?
神经网络，人工智能这块怎么入门？
如何评价Momenta ImageNet 2017夺冠架构SENet?
如何系统学习机器学习？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
Metropolis 蒙特卡罗方法、动力学蒙特卡罗方法、分子动力学方法这三种模拟方法有何特点与差异？
如何评价英伟达于 GTC 2021 大会发布的基于 ARM 架构的 Grace CPU？
如果 2台 alphago 不断对战，是否会不断的强大？
如何看待语音合成等 AI 算法、无人机等被列入限制出口技术目录？