BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
2021 年各家大厂的 AI Lab 现状如何？有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
Resnet是否只是一个深度学习的trick？
请解释下variational inference？
在中文 NLP 等论文中，应该如何翻译 token 这个词？
2021 年，深度学习方面取得了哪些关键性进展？
如何评价微软新出的自拍软件 Microsoft Selfie？
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
神经网络中如果一个重要特征C等于特征A+特征B（算数意义上的相加），选特征的时候还有必要选特征C吗?
有哪些贝叶斯推理入门的书籍？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
请问在金融风控方向，如何运用用户行为序列进行特征设计和挖掘？领域自适应需要用到测试集数据，这样的方法有啥意义呢？
Resnet是否只是一个深度学习的trick？
这一波人工智能泡沫将会怎么破灭？
如何全面理解工程师红利？
word2vec有什么应用？
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
如何证明对任意给定的正数e，存在M上的矩阵范数||A||，满足不等式||A||<=谱半径+e?
如何评价清华大学发布的自研深度学习框架-计图(Jittor)？
为什么熵值最大的分布状态是正态分布而不是均匀分布？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
人工智能相关的岗位薪酬状况如何？
如何看待阿里巴巴提出的 FashionAI 比赛？
目标检测算法中Two-stage算法速度慢,到底在哪里?
如何看待指出 神经网络的训练罪魁祸首是退化一文？
消融实验是什么？
深度学习在生物信息领域有什么应用？
机器学习中macro-F1的计算公式？
如何理解空洞卷积（dilated convolution）？
为什么现在很多人不看好商汤科技？
如何评价 NVIDIA 发布的 DGX-1？
如果有一天人类被AI取代，他们将以什么样的方式生活，娱乐，工作？
人工智能退潮期来了吗？
为什么说大模型训练很难？
word2vec有什么应用？
机器学习中的优化理论，需要学习哪些资料才能看懂？
深度学习工作站中使用AMD的CPU会有问题吗？
从算法的角度来看，Elsagate 事件暴露出了「自动推荐」的哪些问题，该如何规避？
如何评价陈丹琦团队新作 Should You Mask 15% in MLM?
word2vec有什么应用？