BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
自动化的控制与检测领域中，有没有像机器学习、图像处理领域一样经典巧妙的算法？小样本学习中关于虚拟样本有效性的问题？
时间序列和回归分析有什么本质区别？
请解释下variational inference？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
image caption这个方向更偏向NLP还是CV？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
欧洲有哪些统计机器学习比较强的大学或者研究院的？？
为什么机器学习解决网络安全问题总是失败?
Bert中的词向量各向异性具体什么意思啊？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
多模态训练，怎么解决不同模态之间差异的问题？如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
自己学习深度学习时，有哪些途径寻找数据集？
如果学习从零开始学习Pytorch,有优秀的开源项目可以推荐吗？
研究推荐系统要对NLP很了解吗？
TVM 最新发布版本 0.3 有哪些亮点？
深度学习中，模型大了好还是小了好呢？
LSTM如何来避免梯度弥散和梯度爆炸？
pytorch 的高层库ignite怎么样？
本科数学，目前在读计算机研一，毕业的时候想要应聘数据挖掘工程师，看了对数据挖掘工程师的招聘要求，感觉太宽泛了，希望能具体说一下现在应该准备哪些知识（算法？编程语言？其他？），谢谢！
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
神经网络的损失函数为什么是非凸的?
为什么我学过微积分、线性代数和概率论，还是看不懂机器学习？
如何评价谷歌大脑的EfficientNet？
能识别情绪的机器人可以算做有情感的机器人吗？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
如何评价中国人民大学高瓴人工智能学院教授的薪酬标准？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
深度学习的多个loss如何平衡？
GAN 真的创造了新的信息吗？
机器学习中非均衡数据集的处理方法？
本科数学，目前在读计算机研一，毕业的时候想要应聘数据挖掘工程师，看了对数据挖掘工程师的招聘要求，感觉太宽泛了，希望能具体说一下现在应该准备哪些知识（算法？编程语言？其他？），谢谢！
有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？
新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？
如何评价微软亚洲研究院提出的LightRNN？
为什么读论文最好打印出来读？
我应该从计算机视觉回到做FPGA 吗？
如何评价 2021 年 12 月新改版的知识引擎 magi.com？
国内做NLP业务的香侬科技值得去吗？
ICLR 2019 有什么值得关注的亮点？