BERT可以用于文本聚类吗? 第1页
1
ceng-guan-rong-72 网友的相关建议:
可以，但是不容易。
得弄清聚类的目标是什么。
众所周知聚类本身是不定项的，于是要把握你的聚类方向，只能靠特征。
聚类所用的特征或者信息是否有与你的聚类目标有关，有没有，有多少，和够不够，另外有多少背离或者影响你的聚类目标。
那么问题来了，bert做向量，聚出来的是啥，心里有数吗，是话题领域？语言风格？还是时间年代？不好说啊。
因此，哪怕是聚类，定义一下你的聚类目标，根据目标设计一些数据集和下游方案，整点finetuning或者套个submodel训一下，再不行加点人工特征，可能更好。
1
相关话题
如何用一句话证明自然语言处理很难？实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
你实践中学到的最重要的机器学习经验是什么？
有哪些令你印象深刻的魔改transformer？
graph convolutional network有什么比较好的应用task？
如何看待 Daniel Povey 离开 JHU 后加入小米？
隐私计算、计算机视觉、自然语言处理三者中，哪个研究起来更有前途？
如何看待 Daniel Povey 离开 JHU 后加入小米？
准研一，导师NLP方向，导师接下了一个项目让我跟着手工标数据，请问是不是在PUA我?
前一个讨论
自然语言处理方向研究生好找工作吗？
下一个讨论
大学时在学科排名 A+ 的学院就读是什么体验？
相关的话题
为什么Transformer要用LayerNorm？如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
验证集loss上升，准确率却上升该如何理解？
一个无监督学习算法，如何判断其好坏呢?
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
为什么编程语言语法的设计不往缩小与自然语言的差别的方向发展，或者说在这个方向发展得这么慢呢？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
不觉得最大熵原理很奇怪吗？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
目前（2017年）机器阅读技术发展得如何？能达到什么水平？有哪些应用？
《失控玩家》中的游戏有可能实现出来吗？
2021年人工智能领域有哪些关键性进展和突破？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
Bert中的词向量各向异性具体什么意思啊？
BERT可以用于文本聚类吗?
国内外厂商发布的各类 AI 智能音箱，优缺点分别是什么？
深度学习与机器学习的关系是什么？
Bert中的词向量各向异性具体什么意思啊？
从人工智能技术的角度如何评价 Google home、Amazon Echo、Rokid 这三款产品？
BERT可以用于文本聚类吗?
请问刘知远老师提供的网易新闻标注数据集开源吗？
2020年，多标签学习（multi-label）有了哪些新的进展？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
如何评价 2015 版的 Magi 搜索引擎？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？