BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何解读「量子计算应对大数据挑战：中国科大首次实现量子机器学习算法」？除了深度学习，机器学习领域近年来还有什么热点吗？
我应该从计算机视觉回到做FPGA 吗？
一个无监督学习算法，如何判断其好坏呢?
数据挖掘与数据分析的主要区别是什么？
如何评价小米开源的移动端深度学习框架MACE？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
深度学习中Attention与全连接层的区别何在？
多模态方面，有哪些牛组值得我们follow他们的工作？
如何看待与评价 AAAI 2022 的录用结果？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
有哪些深度学习效果不如传统方法的经典案例？如何评价谷歌大脑的EfficientNet？
如何用机器学习判断《溪岸图》是否董源真迹？
Resnet是否只是一个深度学习的trick？
目标检测中的mAP是什么含义？
为什么Transformer适合做多模态任务？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
有哪些你看了以后大呼过瘾的数据分析书？
自动化的控制与检测领域中，有没有像机器学习、图像处理领域一样经典巧妙的算法？
迁移学习入门，新手该如何下手？
因果推断（causal inference）是回归（regression）问题的一种特例吗？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
如何评价 Exploring Simple Siamese Learning?
为什么 BERT 的 intermediate_size 这么大？
什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)？
凸分析和凸优化有什么推荐的教材吗？
如何评价第一局比赛 AlphaGo 战胜李世石？
如何看待何恺明最新一作论文Masked Autoencoders？
神经网络中的能量函数是如何定义的？
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
当前人工智能特别是深度学习最前沿的研究方向是什么？
神经网络，人工智能这块怎么入门？
学习人工智能，术语看不懂怎么办？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
AI 都学会看论文了，科研工作者会被淘汰么？
联邦学习/联盟学习 (Federated Learning) 的发展现状及前景如何？
验证集loss上升，准确率却上升该如何理解？
有哪些比较好的机器学习，深度学习的网络资源可利用？