BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
ICLR 2022有哪些值得关注的投稿？NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
5-10年后，你觉得哪些科技会让我们“遗忘”现在的生活？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
深度学习（机器学习）的下一步如何发展？
如何评价沐神他们写的《动手学深度学习》这本书？
为什么现在有这么多人工智能无用论？
人工「神经网络」技术在信息处理上有何特点，工作原理是什么？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
Python 如何画出漂亮的地图？如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
什么是meta-learning?
2021 年各家大厂的 AI Lab 现状如何？
自然语言处理怎么最快入门？
实验室一块GPU都没有怎么做深度学习？
物理专业的学生如何看待机器学习和大数据这些方向呢？
为什么交叉熵（cross-entropy）可以用于计算代价？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
如何看待 NIPS 2018 submission达到近 5000 篇？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
在中文 NLP 等论文中，应该如何翻译 token 这个词？
多模态方面，有哪些牛组值得我们follow他们的工作？
Jacobian矩阵和Hessian矩阵的作用是什么？
机器学习，数据挖掘在研究生阶段大概要学些什么？
三维重建怎么入门？
NLP领域，你推荐哪些综述性的文章？
如何评价 2018 清华大学特等奖学金计算机大类（贵系、软院、姚班）无人通过一轮筛选？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
从应用的角度来看，深度学习怎样快速入门？
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
机器学习的解释模型存在嘛？
已有大量编程基础，如何速成python用于学习机器学习？
如何评价华为天才少年钟钊团队成功开启了 AutoML 大规模商用的先河？什么是 AutoML？
机器学习（machine learning）在经济学领域是否有应用前景？
如何评价陈天奇团队新开源的TVM？
视觉算法的工业部署及落地方面的技术知识，怎么学？
image caption这个方向更偏向NLP还是CV？
如何评价 DeepMind 公布的可生成算法竞赛解题代码的 AlphaCode？