你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 第1页
1
huo-hua-de-41 网友的相关建议:
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
1
相关话题
mxnet的并行计算为什么这么牛，是什么原理？除了深度学习，机器学习领域近年来还有什么热点吗？
什么是递归？
2021年了，机器学习有什么高质量的专著?
如何评价 Exploring Simple Siamese Learning?
什么是递归？
如何评价MXNet发布的1.0版本？
为什么说大模型训练很难？
什么是反事实分析呀？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
前一个讨论
CV方向多模态融合有哪些好的paper？
下一个讨论
国内有哪些不错的CV(计算机视觉)团队?
相关的话题
如何证明马尔科夫链一定会达到稳态？如何看待Hinton的论文《Dynamic Routing Between Capsules》？
给人指路，说左右和说东西南北在算法上哪个更优？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
数字图像处理的工作是用传统算法更多还是用深度学习更多?
Transformer是如何处理可变长度数据的？
如果“P=NP”得到证明，意味着什么？
假如我知道了抽卡游戏的随机数生成算法源码，是否能成为欧皇？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
类似微博的 feed 热度算法如何计算？
graph convolutional network有什么比较好的应用task？
为什么都说神经网络是个黑箱？
为什么很少人用FFT加速CNN卷积层的运算？
如何激怒一位计算机科学爱好者？
为何感觉“知识蒸馏”这几年没有什么成果？
怎样计算两个服从高斯分布的向量乘积的期望？
如何评价 DeepMind 的新工作 AlphaCode?
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
神经网络的损失函数为什么是非凸的?
机器学习中有哪些形式简单却很巧妙的idea？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
如何评价微软正在开发的人工智能编程软件 DeepCoder？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
KL散度衡量的是两个概率分布的距离吗？
掷一枚不均匀的硬币，正面概率为0.7，反面的概率为0.3，如何最高效地获得一个概率为0.5的事件？
为什么现在很多人不看好商汤科技？
开发人员如何构建自己的学习笔记系统？
在机器学习模型的训练期间，大概几十分钟到几小时不等，大家都会在等实验的时候做什么？
应该选择TensorFlow还是Theano？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？