BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
为什么编程语言语法的设计不往缩小与自然语言的差别的方向发展，或者说在这个方向发展得这么慢呢？如何直观地解释 backpropagation 算法？
在中文 NLP 等论文中，应该如何翻译 token 这个词？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
如何理解矩阵对矩阵求导？
如何看待 ICLR2021 的拒稿被评为 ACL2021 的 Best Paper?
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
机器学习到底是什么，如何使用这项技术？
研究推荐系统要对NLP很了解吗？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
有哪些可以自学机器学习、深度学习、人工智能的网站？二次型的意义是什么？有什么应用？
能否使用区块链的算力来解决深度学习训练？
当初的生物热，和如今的全民CS全民AI，让你想到了什么？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
请问机器学习中的预测与决策的区别是什么，他们的界限在哪里呢？
为什么要压缩模型，而不是直接训练一个小的CNN？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
GAN 真的创造了新的信息吗？
先进的图像识别怎样改变 AV 产业？
求通俗解释下bandit老虎机到底是个什么东西？
人工智能领域有哪些精妙的数学原理？
计算机视觉是否已经进入瓶颈期？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
为什么不能有把中文想法直接转换成电脑程序的编程呢？
深度学习中，模型大了好还是小了好呢？
AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
图片上训的模型，怎么迁移视频上呢？
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
为什么读论文最好打印出来读？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
如何评价移动端吊打一切万众期待的商汤深度学习推理框架PPL开源了却没有支持移动端？
迁移学习入门，新手该如何下手？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
如果不按套路下棋是不是就能赢 Alpha Go 了？
AI领域的灌水之风如何破局？
机器学习能否用于综合评价？具体怎么操作？
BERT可以用于文本聚类吗?
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
GBDT算法的细节问题？