你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 第1页
1
huo-hua-de-41 网友的相关建议:
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
1
相关话题
所谓大数据分析，究竟要学什么？有没有必要把机器学习算法自己实现一遍？
如何理解算法时间复杂度的表示法，例如 O(n²)、O(n)、O(1)、O(nlogn) 等？
985工科研一觉得快要退学了怎么办？
如何看待与评价 AAAI 2022 的录用结果？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
想学好计算机算法，是否需要重新学数学呢?
蒙特卡罗算法是什么？
AI领域的灌水之风如何破局？
能否介绍一下强化学习（Reinforcement Learning），以及与监督学习的不同？
前一个讨论
CV方向多模态融合有哪些好的paper？
下一个讨论
国内有哪些不错的CV(计算机视觉)团队?
相关的话题
1/3+1/6=计算机是如何得出0.5的?你靠哪些讲解学会了曾经怎么也学不会的算法？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
算法工程师如何应对做算法策略的不确定性；比如没效果，这时绩效怎么保证？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
生成对抗网络的毕设怎么上手？
Python中 __init__的通俗解释是什么？
如何评价百度自动驾驶 ApolloAuto 在 Github 上发布的代码？
刚进算法团队，大牛们讨论高深的 cv 术语和算法，如何才能听懂？
为什么在实际的kaggle比赛中，GBDT和Random Forest效果非常好？
类似AlphaGo一样的人工智能什么时候才可以击败RTS（如星际）顶级选手？
中国目前的人工智能在全球处于什么水平？
机器学习最好的课程是什么？
如何评价深度学习之父Hinton发布的Capsule论文？
如果有人想走遍中国所有的省级行政区（含港澳台），总路程最小可以是多长？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
下一代 AI 框架长什么样？
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
如何评价一线大厂资深 APP 性能优化系列之异步优化与拓扑排序？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
为什么nlp没有像cv四小龙一样的创业公司？
神经网络为什么可以（理论上）拟合任何函数？
怎样实现浮点数除以一个数再乘以这个数结果等于原值?
逃离丧尸包围的游戏，你能否逃生？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
主动学习(Active learning)算法的原理是什么，有哪些比较具体的应用？
美剧《硅谷》第三季第一集神秘代码写的是什么？
如何评价MXNet发布的1.0版本？
什么是meta-learning?