你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 第1页
1
huo-hua-de-41 网友的相关建议:
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
1
相关话题
多模态训练，怎么解决不同模态之间差异的问题？现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
如何评价Google发布的第二代深度学习系统TensorFlow?
有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？
请问应该怎样去学习图像识别和深度学习？
1/3+1/6=计算机是如何得出0.5的?
如何评价AlphaGo Zero？
如何看待 Larrabee 之父 Tom Forsyth 重加入 Intel？英特尔为何下注独立显卡？
干支纪年法的算法是什么？
前一个讨论
CV方向多模态融合有哪些好的paper？
下一个讨论
国内有哪些不错的CV(计算机视觉)团队?
相关的话题
如何评价英伟达于 GTC 2021 大会发布的基于 ARM 架构的 Grace CPU？智能座舱的算法包括哪些方面？
看完麻省理工博士胡渊鸣用代码实现「冰雪奇缘」后，自己陷入了深深的自卑，如何排解这种情绪？
如何看待字节跳动 AI 实验室总监李磊入职 UCSB？
在一段高速公路上，30分钟之内见到汽车经过的概率是95%，那么，在10分钟内见到汽车经过的概率是多少？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
ICLR 2019 有什么值得关注的亮点？
KL散度衡量的是两个概率分布的距离吗？
机器学习中非均衡数据集的处理方法？
未来20年，新技术将从哪些方面改变人的消费方式？
刷完 LeetCode 是什么水平？能拿到什么水平的 offer？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
人脑有海量的神经元（参数），那么人脑有没有「过拟合」行为？
如何评价李飞飞和李佳加盟谷歌？
如何学习数据结构？
如何评价论文「Stochastic Training is Not Necessary ...」?
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
为什么 Non-Convex Optimization 受到了越来越大的关注？
如何评价Kaiming He团队的MoCo v3？
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
可达矩阵算法的原理是什么？
如何解决图神经网络（GNN）训练中过度平滑的问题？
这一波人工智能泡沫将会怎么破灭？
2019 秋招的 AI 岗位竞争激烈吗？
目标检测中的mAP是什么含义？
如何理解算法时间复杂度的表示法，例如 O(n²)、O(n)、O(1)、O(nlogn) 等？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
如何看待斯坦福博士生2prime陆一平关于新冠起源的一系列言论？
AMD的CPU是否适合搭建深度学习主机？