transformer中的Q,K,V到底是什么？ 第1页
1
zhaomingming0617 网友的相关建议:
Q:查询向量
K:表示被查询信息与其他信息的相关性的向量
V:表示被查询信息的向量
输入向量为：x， 1xm向量
Q = x * Wq K = x * Wk V = x * Wv x对应信息V的注意力权重 与 Q*K.tranpose 成正比 等于说：x的注意力权重，由x自己来决定，所以叫自注意力。 Wq,Wk,Wv会根据任务目标更新变化，保证了自注意力机制的效果。 以下是点乘自注意力机制的公式 llllllllllll-6 网友的相关建议:
哈哈，突然想到了一个很形象的解释方法：
你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK --->attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q'，这个Q'融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。
1
相关话题
为什么交叉熵（cross-entropy）可以用于计算代价？TensorFlow 有哪些令人难以接受的地方？
目标检测中的mAP是什么含义？
为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
类似AlphaGo一样的人工智能什么时候才可以击败RTS（如星际）顶级选手？
为什么机器学习解决网络安全问题总是失败?
强化学习和自适应控制的关系是什么？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
当前（2020年）机器学习中有哪些研究方向特别的坑？
下一个讨论
想自学编程怎样下手？
相关的话题
为什么神经网络具有泛化能力？如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
Batch Normalization 训练的时候为什么不使用 moving statistics？
如果推出一款有「滤镜」功能的写作软件，修饰平庸的文字，会有市场吗？
2021 年，深度学习方面取得了哪些关键性进展？
如何理解深度学习源码里经常出现的logits？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
2021年，ncnn发展的如何了？
让人工智能去下路边街头的象棋残局会赢吗？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
CPU和GPU跑深度学习差别有多大？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
如何看待pytorch在主页写下帮助乌克兰进行人道主义援助？
自然语言处理怎么最快入门？
Transformer是如何处理可变长度数据的？
如果不按套路下棋是不是就能赢 Alpha Go 了？
没有顶会的CV/NLP方向的博士生毕业出路在哪里？
深度学习和强化学习之间的差别有多大？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
为什么不能有把中文想法直接转换成电脑程序的编程呢？
当前（2020年）机器学习中有哪些研究方向特别的坑？
Graph Attention Network的本质是什么？
自然语言处理怎么最快入门？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
如何看待在某度搜不到megengine官网？
2020年，多标签学习（multi-label）有了哪些新的进展？
主题模型(topic model)到底还有没有用，该怎么用？
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？