BERT可以用于文本聚类吗? 第1页
1
ceng-guan-rong-72 网友的相关建议:
可以，但是不容易。
得弄清聚类的目标是什么。
众所周知聚类本身是不定项的，于是要把握你的聚类方向，只能靠特征。
聚类所用的特征或者信息是否有与你的聚类目标有关，有没有，有多少，和够不够，另外有多少背离或者影响你的聚类目标。
那么问题来了，bert做向量，聚出来的是啥，心里有数吗，是话题领域？语言风格？还是时间年代？不好说啊。
因此，哪怕是聚类，定义一下你的聚类目标，根据目标设计一些数据集和下游方案，整点finetuning或者套个submodel训一下，再不行加点人工特征，可能更好。
1
相关话题
为什么 Bert 的三个 Embedding 可以进行相加？graph convolutional network有什么比较好的应用task？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
如何评价Hinton组的新工作SimCLR?
为什么计算注意力机制的时候不加偏置项？
工作之后，顶会还重要吗？
如何评价Kaiming He团队的MoCo v3？
前一个讨论
自然语言处理方向研究生好找工作吗？
下一个讨论
大学时在学科排名 A+ 的学院就读是什么体验？
相关的话题
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？2021 年了，机器/深度学习还有哪些坑比较好挖？
你实践中学到的最重要的机器学习经验是什么？
为什么不能有把中文想法直接转换成电脑程序的编程呢？
Transformer是如何处理可变长度数据的？
为什么Transformer要用LayerNorm？
预训练模型的训练任务在 MLM 之外还有哪些有效方式？
国内外厂商发布的各类 AI 智能音箱，优缺点分别是什么？
目前（2017年）机器阅读技术发展得如何？能达到什么水平？有哪些应用？
BERT可以用于文本聚类吗?
BERT可以用于文本聚类吗?
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
nlp有哪些值得完整实现一遍的算法?
如何看待 Daniel Povey 离开 JHU 后加入小米？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
graph convolutional network有什么比较好的应用task？
工作之后，顶会还重要吗？
什么是狄利克雷分布？狄利克雷过程又是什么？
AI领域的灌水之风如何破局？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
Facebook 的人工智能实验室 (FAIR) 有哪些厉害的大牛和技术积累？
如何看待2021年秋招算法岗灰飞烟灭？
有监督和无监督学习都各有哪些有名的算法和深度学习？
深度学习attention机制中的Q,K,V分别是从哪来的？
从人工智能技术的角度如何评价 Google home、Amazon Echo、Rokid 这三款产品？
AI 都学会看论文了，科研工作者会被淘汰么？
word2vec 相比之前的 Word Embedding 方法好在什么地方？
你实践中学到的最重要的机器学习经验是什么？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？