你遇见过什么当时很有潜力但是最终没有流行的深度学习算法? 第1页
1
huo-hua-de-41 网友的相关建议:
提名Memory Networks
准确说Memory Networks并不只是一个模型，而是一套思路，使用外部的一个memory来存储长期记忆信息，因为当时RNN系列模型使用final state 存储的信息，序列过长就会遗忘到早期信息。
甚至，我觉得Memory Networks的思想后面启发了self-attention和transformer。最重要的就是提出了query - key - value思想，当时的该模型聚焦的任务主要是question answering，先用输入的问题query检索key-value memories，找到和问题相似的memory的key，计算相关性分数，然后对value embedding进行加权求和，得到一个输出向量。这后面就衍生出了self-attention里的Q，K，V表示，在self-attention里的Q=K=V，但早期的Memory Networks中可以看出，QKV其实是三个向量。
如今，Memory Networks已少有人提及，但它的思想已经被transformer继承，而transformer已经横扫NLP和CV等多个领域。突然有了一种“功成不必在我，而功成必定有我"的感慨。又联想到谭嗣同变法虽然失败了，但他又一个学生叫杨昌济，杨昌济又有一个学生叫毛泽东...
1
相关话题
请问下大家训练 SimCSE 时, loss 有没有这样的情况?目前工业界常用的推荐系统模型有哪些？
自监督学习（Self-supervised Learning）有什么比较新的思路？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
有哪些比较好的机器学习，深度学习的网络资源可利用？
现在的人工智能是否走上了数学的极端？
有没有可能让计算机去理解代码，从而写代码？
PyTorch中在反向传播前为什么要手动将梯度清零？
迁移学习入门，新手该如何下手？
主动学习（Active Learning）近几年的研究有哪些进展，现在有哪些代表性成果？
前一个讨论
CV方向多模态融合有哪些好的paper？
下一个讨论
国内有哪些不错的CV(计算机视觉)团队?
相关的话题
如何判断两个Deep Learning 数据集的数据分布是否一致？如何看待比 iPad 还大的史上最大芯片问世？ 功耗比电磁炉还高有什么用？
深度学习火热兴起后，隐马尔可夫模型（HMM）还有何独到之处，是不是几乎可被深度学习模型给替代了？
计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？
当前（2020年）机器学习中有哪些研究方向特别的坑？
现在机器学习工业界和学术界的差别越来越大了吗？尽早实习和踏实科研各有什么利弊？
TensorFlow 有哪些令人难以接受的地方？
反馈控制理论在通信、信号处理等领域有哪些应用？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
如何评价b站up主图灵的猫关于tiktok的视频？
机器学习（machine learning）在经济学领域是否有应用前景？
0基础开始,Leetcode200道题要多久左右?
为什么要压缩模型，而不是直接训练一个小的CNN？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
有哪些手算对数的方法？
有哪些「上帝算法」？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
为什么技术主管跟我说程序员学算法不是最重要的，从工作项目中学习实际才是最重要的？
如何理解attention中的Q,K,V？
如何证明数据增强（Data Augmentation）有效性？
resnet（残差网络）的F（x）究竟长什么样子？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
五个囚犯先后从100颗绿豆中抓绿豆。抓得最多和最少的人将被处死，不能交流，可以摸出剩下绿豆的数量，谁的存活几率最大？
我们目前的时代距离人工智能具有自我意识还有多远？
有哪些你看了以后大呼过瘾的数据分析书？
可以对只有一个像素的图片拥有版权或著作权吗？为什么？
当前人工智能特别是深度学习最前沿的研究方向是什么？