你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 第1页
1
huo-hua-de-41 网友的相关建议:
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
1
相关话题
pytorch 的高层库ignite怎么样？自然语言处理怎么最快入门？
为什么在SGD中使用L1正则化很难获得稀疏性？
如何评价深度学习之父Hinton发布的Capsule论文？
未来会不会有一种方式，可以使一部蓝光电影压缩到几Mb甚至几Kb？
如何评价微软亚洲研究院提出的LightRNN？
如何看待swin transformer成为ICCV2021的 best paper？
如何评价论文「Stochastic Training is Not Necessary ...」?
god bless us 为什么百度翻译是辛巴？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
前一个讨论
CV方向多模态融合有哪些好的paper？
下一个讨论
国内有哪些不错的CV(计算机视觉)团队?
相关的话题
为什么说程序员要贷款买房之前最好先学好数据结构和算法？如何看待2016年3月柯洁表示 AlphaGo「赢不了我」？
请教拓扑排序中的一点疑问？
如何看待AI伦理科学家Timnit Gebru在邮件控诉谷歌缺乏种族多样性后被Jeff Dean炒掉？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
中国和美国谁能成人工智能领域的领军者？
计算统计学（Computational Statistics）有什么好的资源和教材以及学习方法推荐？
有哪些定理在高维情况下与三维情况下培养出来的直觉不符？
如何判断这两份代码的时间复杂度？
Transformer是如何处理可变长度数据的？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
在NLP当中，不同的评价指标，BLEU, METEOR, ROUGE和CIDEr的逻辑意义？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
ICML2020有哪些值得关注的工作?
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
机器学习到底是什么，如何使用这项技术？
如何进行图像模糊与清晰的分类？
Deep Learning 的专家如此急缺，它难在何处？
能否对卷积神经网络工作原理做一个直观的解释？
你实践中学到的最重要的机器学习经验是什么？
机器学习为生物学和医学研究带来了哪些改变？能解决哪些医学难题？
TVM 最新发布版本 0.3 有哪些亮点？
如何看待关于“数据结构与算法基础”的重要性？
c++怎么在1到n这些数中随机产生k（k<n）个？当然，k个数互不相等。有什么比较好的写法吗？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
你实践中学到的最重要的机器学习经验是什么？
百度在深度学习上使用Xilinx FPGA?
主动学习(Active learning)算法的原理是什么，有哪些比较具体的应用？
如何对用户进行聚类分析？