BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
深度学习方面还有什么Open Problem?
image caption这个方向更偏向NLP还是CV？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
工作之后，顶会还重要吗？
深度学习调参有哪些技巧？
主题模型(topic model)到底还有没有用，该怎么用？
如何评价MXNet发布的1.0版本？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
如何用一句话证明自然语言处理很难？
Batch normalization和Instance normalization的对比？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
在Auto ML的冲击下，ML算法人员是否会在前者成熟后失业的情况？
能否对卷积神经网络工作原理做一个直观的解释？
据说机器学习长于预测，计量经济学长于解释。有什么具体例子是机器学习完成了很好的预测却在解释上表现不好？
神经网络中的能量函数是如何定义的？
目标检测算法中Two-stage算法速度慢,到底在哪里?
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
关于tensorflow中的滑动平均？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
有哪些可以自学机器学习、深度学习、人工智能的网站？
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
如何看待 NIPS 2018 submission达到近 5000 篇？
有没有哪些人工的工作是无法被机器替代的？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
如何看待 AI 方向 PhD 申请竞争过于激烈的现象？
准研一，导师NLP方向，导师接下了一个项目让我跟着手工标数据，请问是不是在PUA我?
人们是如何想到奇异值分解的？
人是如何做黑盒优化的？
人是如何做黑盒优化的？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？