BERT可以用于文本聚类吗? 第1页
1
ceng-guan-rong-72 网友的相关建议:
可以，但是不容易。
得弄清聚类的目标是什么。
众所周知聚类本身是不定项的，于是要把握你的聚类方向，只能靠特征。
聚类所用的特征或者信息是否有与你的聚类目标有关，有没有，有多少，和够不够，另外有多少背离或者影响你的聚类目标。
那么问题来了，bert做向量，聚出来的是啥，心里有数吗，是话题领域？语言风格？还是时间年代？不好说啊。
因此，哪怕是聚类，定义一下你的聚类目标，根据目标设计一些数据集和下游方案，整点finetuning或者套个submodel训一下，再不行加点人工特征，可能更好。
1
相关话题
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？有哪些利用搜索引擎（Search Engine）辅助自然语言处理任务（NLP）的论文？
在中文 NLP 等论文中，应该如何翻译 token 这个词？
为什么编程语言语法的设计不往缩小与自然语言的差别的方向发展，或者说在这个方向发展得这么慢呢？
BERT可以用于文本聚类吗?
多模态方面，有哪些牛组值得我们follow他们的工作？
国内外厂商发布的各类 AI 智能音箱，优缺点分别是什么？
国内做NLP业务的香侬科技值得去吗？
什么是无监督学习？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
前一个讨论
自然语言处理方向研究生好找工作吗？
下一个讨论
大学时在学科排名 A+ 的学院就读是什么体验？
相关的话题
word2vec 相比之前的 Word Embedding 方法好在什么地方？如何看待2021年秋招算法岗灰飞烟灭？
如何评价 2021 年 12 月新改版的知识引擎 magi.com？
为什么Transformer要用LayerNorm？
如何看待 ICLR2021 的拒稿被评为 ACL2021 的 Best Paper?
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
深度学习中，模型大了好还是小了好呢？
如何评价 Exploring Simple Siamese Learning?
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
什么是狄利克雷分布？狄利克雷过程又是什么？
为什么 Siri 听懂了我的话，还是不能做出有效的回答或准确的操作？
为什么中文 NLP 数据集这么少？
nlp有哪些值得完整实现一遍的算法?
BERT可以用于文本聚类吗?
NLP领域，你推荐哪些综述性的文章？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
Facebook 的人工智能实验室 (FAIR) 有哪些厉害的大牛和技术积累？
为什么计算注意力机制的时候不加偏置项？
预训练模型的训练任务在 MLM 之外还有哪些有效方式？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
没有顶会的CV/NLP方向的博士生毕业出路在哪里？
如何看待学霸君的高考机器人 Aidam 高考全国文科数学卷考了 134 分？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
2021年人工智能领域有哪些关键性进展和突破？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
做中文 NLP 的时候，大家为啥不用拼音？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？