你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 第1页
1
huo-hua-de-41 网友的相关建议:
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
1
相关话题
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？2019 秋招的 AI 岗位竞争激烈吗？
如何看待 Alex Smola 加入 Amazon？
如何看待「原谅宝」？
对 n × n 网格图，从左下角走到右上角的边不重复路径（即左下角到右上角的迹）有多少种？
知识图谱+nlp，有什么适合硕士独自研究的方向？
如何评价Google发布的第二代深度学习系统TensorFlow?
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
程序员应该如何学习算法？
为什么VAE-GAN的训练很容易发生梯度爆炸，如何避免？
前一个讨论
CV方向多模态融合有哪些好的paper？
下一个讨论
国内有哪些不错的CV(计算机视觉)团队?
相关的话题
如何理解链接预测（link prediction）？主动学习(Active learning)算法的原理是什么，有哪些比较具体的应用？
这一波人工智能泡沫将会怎么破灭？
Partial Multi-Label Learning是什么？它的发展史又是怎样的？最新的进展如何？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
100人坐飞机，第一个乘客在座位中随便选一个坐下，第100人正确坐到自己坐位的概率是？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
如何评价论文「Stochastic Training is Not Necessary ...」?
神经网络的损失函数为什么是非凸的?
如何面对算法竞赛的焦虑？
2021 年，深度学习方面取得了哪些关键性进展？
word2vec 相比之前的 Word Embedding 方法好在什么地方？
为什么做GPU计算，深度学习用amd显卡的很少，基本都nvidia？
卷积神经网络中卷积核是如何学习到特征的？
Transformer是如何处理可变长度数据的？
Metropolis 蒙特卡罗方法、动力学蒙特卡罗方法、分子动力学方法这三种模拟方法有何特点与差异？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
对于编程思想和能力有重大提升的书有哪些?
有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
为什么 360 面试官说 Trie 树没用？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
机器通过主动学习能为人类生活带来怎样的改变？
除了深度学习，机器学习领域近年来还有什么热点吗？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
当初的生物热，和如今的全民CS全民AI，让你想到了什么？