BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？ICLR 2019 有什么值得关注的亮点？
近几年有哪些关于机器学习中隐私（Privacy）和安全（Security）相关的研究值得关注?
硕士方向，选择迁移学习还是自然语言处理？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
如何评价贾扬清离职 Facebook？
面试官如何判断面试者的机器学习水平？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
BERT中，multi-head 768*64*12与直接使用768*768矩阵统一计算，有什么区别？
985工科研一觉得快要退学了怎么办？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
AI领域的灌水之风如何破局？除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
如何看待 Alex Smola 加入 Amazon？
UCLA 的朱松纯教授是一个什么样的人？
让人工智能去下路边街头的象棋残局会赢吗？
假如我穿越到2017年第一个提出了Transformer、BERT等模型，我可以保送到清华北大吗？
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
机器学习相关岗位面试中，有哪些加（zhuang）分（bi）项？
了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构？
有哪些令你印象深刻的魔改transformer？
深度学习领域有哪些瓶颈？
国内做NLP业务的香侬科技值得去吗？
有没有必要把机器学习算法自己实现一遍？
AI在网络安全领域（尤其是威胁检测领域），有什么好的应用场景？
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
如何看待 TI7 上与 Dendi solo 的 OpenAI？
为什么nlp没有像cv四小龙一样的创业公司？
深度神经网络（DNN）是否模拟了人类大脑皮层结构？
谷歌翻译原理是什么，从语言A到B，中间是否要翻译成中介语言C（如英语）？
如何看待Capsule Network在NLP领域的潜力？
pytorch 的高层库ignite怎么样？
Resnet到底在解决一个什么问题呢？
多因子模型是否真的可以带来阿尔法（alpha）？
如何理解空洞卷积（dilated convolution）？
强化学习和自适应控制的关系是什么？
隐马尔可夫模型在金融领域应用前景如何？
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
数据挖掘与数据分析的主要区别是什么？