你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 第1页
1
huo-hua-de-41 网友的相关建议:
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
1
相关话题
如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津？目标检测算法中Two-stage算法速度慢,到底在哪里?
如何看待微软小冰写的诗？
如何看待北京交通大学学生在 ATM 机内学习?
既然使用神经网络也可以解决分类问题，那SVM、决策树这些算法还有什么意义呢？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
统计模型和概率模型的区别是什么呢？
你见过哪些“人工智障”?
机器通过主动学习能为人类生活带来怎样的改变？
如何理解空洞卷积（dilated convolution）？
前一个讨论
CV方向多模态融合有哪些好的paper？
下一个讨论
国内有哪些不错的CV(计算机视觉)团队?
相关的话题
请问有没有基于实例的迁移学习的数据？分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
有什么算法能对一个长短不一的时间序列进行分类预测?
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？
数据结构与算法在工作的作用及其大学学到什么程度才算可以?
人工智能的意义和价值是什么？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
百度学术能否替代 Google 学术网站？有没有其他选择？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
人工智能相关的岗位薪酬状况如何？
CVPR 2019 有哪些值得关注的亮点？
反馈控制理论在优化、机器学习等领域有哪些应用？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
从应用的角度来看，深度学习怎样快速入门？
Dirichlet Processes 是一个什么样的随机过程？
广告算法工程师的核心竞争力是什么？
从算法的角度来看，Elsagate 事件暴露出了「自动推荐」的哪些问题，该如何规避？
联邦学习在机器学习领域有什么独立存在的价值?
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
如何看待MXNet获得amazon官方支持首位？
世界上有哪些代码量很少，但很牛逼很经典的算法或项目案例？
为什么算法时间复杂度没有三角函数级别？
怎样衡量一个机器学习工程师对算法的掌握程度？
智能座舱的算法包括哪些方面？
你在生活中用过最高级的算法知识是什么？
如何看待「原谅宝」？
pytorch 的高层库ignite怎么样？