BERT可以用于文本聚类吗? 第1页
1
ceng-guan-rong-72 网友的相关建议:
可以，但是不容易。
得弄清聚类的目标是什么。
众所周知聚类本身是不定项的，于是要把握你的聚类方向，只能靠特征。
聚类所用的特征或者信息是否有与你的聚类目标有关，有没有，有多少，和够不够，另外有多少背离或者影响你的聚类目标。
那么问题来了，bert做向量，聚出来的是啥，心里有数吗，是话题领域？语言风格？还是时间年代？不好说啊。
因此，哪怕是聚类，定义一下你的聚类目标，根据目标设计一些数据集和下游方案，整点finetuning或者套个submodel训一下，再不行加点人工特征，可能更好。
1
相关话题
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？word2vec 相比之前的 Word Embedding 方法好在什么地方？
数据挖掘、机器学习、自然语言处理这三者是什么关系？这几个怎么入门啊？
准研一，导师NLP方向，导师接下了一个项目让我跟着手工标数据，请问是不是在PUA我?
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
有尝试用多层自组织特征神经网络（MLSOM）来代替层次分析法（AHP）的吗？会有哪些问题需要注意？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
在NLP当中，不同的评价指标，BLEU, METEOR, ROUGE和CIDEr的逻辑意义？
如何看待微软小冰写的诗？
前一个讨论
自然语言处理方向研究生好找工作吗？
下一个讨论
大学时在学科排名 A+ 的学院就读是什么体验？
相关的话题
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
有尝试用多层自组织特征神经网络（MLSOM）来代替层次分析法（AHP）的吗？会有哪些问题需要注意？
BERT可以用于文本聚类吗?
为什么 Bert 的三个 Embedding 可以进行相加？
如何评价Kaiming He团队的MoCo v3？
自然语言处理方向研究生好找工作吗？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
在NLP当中，不同的评价指标，BLEU, METEOR, ROUGE和CIDEr的逻辑意义？
如何评价 BERT 模型？
Partial Multi-Label Learning是什么？它的发展史又是怎样的？最新的进展如何？
如何看待Capsule Network在NLP领域的潜力？
为什么nlp没有像cv四小龙一样的创业公司？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
做中文 NLP 的时候，大家为啥不用拼音？
AI 都学会看论文了，科研工作者会被淘汰么？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
如果推出一款有「滤镜」功能的写作软件，修饰平庸的文字，会有市场吗？
NLP现在就业是否没有前途?
如何评价openai的新工作DALL·E?
BERT可以用于文本聚类吗?
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？
有哪些深度学习效果不如传统方法的经典案例？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
2021年人工智能领域有哪些关键性进展和突破？
如何看待多模态transformer，是否会成为多模态领域的主流？
为什么计算注意力机制的时候不加偏置项？
如何评价Kaiming He的Momentum Contrast for Unsupervised?