BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
深度学习在信息安全的应用有哪些可以关注的人或论文？机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
Python 如何画出漂亮的地图？
如何直观地解释 backpropagation 算法？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
Kaggle如何入门？
人工智能退潮期来了吗？
ICLR 2021 有什么值得关注的投稿？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?请解释下variational inference？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
为什么 BERT 的 intermediate_size 这么大？
基于深度卷积神经网络进行人脸识别的原理是什么？
为什么交叉熵（cross-entropy）可以用于计算代价？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
加州大学伯克利分校为何能连续孵化出 Mesos,Spark,Alluxio,Ray 等重量级开源项目?
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
如何评价AlphaGo Zero？
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
如何看待亚马逊的无人超市产品 Amazon Go?
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
一个无监督学习算法，如何判断其好坏呢?
如何判断两个Deep Learning 数据集的数据分布是否一致？
二次型的意义是什么？有什么应用？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
如何看待 AlphaFold 在蛋白质结构预测领域的成功？
现在的BERT等语言模型，最快训练要多久？
2020到2021年小样本学习取得重大进展了吗？
深度学习attention机制中的Q,K,V分别是从哪来的？
深度学习中，模型大了好还是小了好呢？
如何看待多所 985 大学开设人工智能专业？
人工智能的意义和价值是什么？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
如何评价通信工程很多导师都研究机器学习人工智能而不是传统的天线电磁场等方向?
如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？
如何系统学习机器学习？