BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？PRML为何是机器学习的经典书籍中的经典？
国内目前的量化交易是否很少涉及到机器学习？
如何用一句话证明自然语言处理很难？
为什么Transformer要用LayerNorm？
如何将某个分布作为机器学习的特征？
上学和读书有什么区别?
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
机器学习到底是什么，如何使用这项技术？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
2021 年了，机器/深度学习还有哪些坑比较好挖？石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
CTR预估中怎样加入图片特征？图片特征怎么提取？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
语音识别中，声学模型与语言模型扮演什么角色？或者说是怎么通过两个模型进行语音识别的?
2021 年了，机器/深度学习还有哪些坑比较好挖？
在与 AlphaGo（包括 Master） 的对局中是否出现了一些人类历史上从未想到过的着法、技巧？
关于材料计算，模拟，仿真什么区别?
为什么现在很多人不看好商汤科技？
如何评价旷视开源的YOLOX，效果超过YOLOv5?
如何正确理解小概率事件，以及概率和哲学的关系？
BERT模型可以使用无监督的方法做文本相似度任务吗？
医学生学习机器学习该如何入门？
如何判断两个Deep Learning 数据集的数据分布是否一致？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
resnet（残差网络）的F（x）究竟长什么样子？
如何评价陈丹琦团队新作 Should You Mask 15% in MLM?
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
R 中的哪些命令或者包让你相见恨晚？
wasserstein 距离的问题?
如何用一句话证明自然语言处理很难？
在Auto ML的冲击下，ML算法人员是否会在前者成熟后失业的情况？
关于材料计算，模拟，仿真什么区别?
如何评价Google Duplex（打电话AI）在特定领域已经通过了图灵测试？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
2020年，多标签学习（multi-label）有了哪些新的进展？
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
为什么多标签分类（不是多类分类）损失函数可以使用Binary Cross Entropy？
Apple 在设备端对儿童色情图片检测，你怎么看这项功能？