BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
在机器学习中，L2正则化为什么能够缓过拟合？2021年深度学习在哪些应用上有实质进展？
如何看待 Alex Smola 加入 Amazon？
对于技术岗位而言，开发岗累还是算法岗累呢？
ICML2020有哪些值得关注的工作?
深度学习有哪些好玩的案例？
给男友配置一个适合做深度学习的电脑要多少钱？
机器学习系统MLSys中有哪些比较有前途的研究方向？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？工程师简历写着「在微软传播性病」，骗过了 90% 公司的机器筛选，机器筛选简历那么不靠谱吗？
人工智能就业前景越来越严峻了，你还在坚持吗？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
如何评价1700亿参数的GPT-3？
人工智能就业前景越来越严峻了，你还在坚持吗？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
新手如何入门pytorch？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
为什么 Bert 的三个 Embedding 可以进行相加？
在优化问题里，强化学习相比启发式搜索算法有什么好处？
机器学习能否用于综合评价？具体怎么操作？
机器学习包含哪些学习思想？
能否训练一个AI模型来预测房价，寻找投资机会挖掘价值洼地？
生成对抗网络的毕设怎么上手？
为何中国人迷恋吴恩达的机器学习课？
如何评价 DeepMind 公司？
transformer中的Q,K,V到底是什么？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
为什么不能有把中文想法直接转换成电脑程序的编程呢？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
在机器学习模型的训练期间，大概几十分钟到几小时不等，大家都会在等实验的时候做什么？
有哪些关于机器学习的真相还鲜为人知？
机器学习（machine learning）在经济学领域是否有应用前景？
请解释下variational inference？
深度学习有哪些好玩的案例？
请问机器学习中的预测与决策的区别是什么，他们的界限在哪里呢？
能否使用神经网络来判断奇偶数？
ICLR 2022有哪些值得关注的投稿？