实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？ 第1页
1
tylin98 网友的相关建议:
1、CRF并不显式定义转移概率这个概念，NER任务常用的线性链CRF只有转移特征的概念（而不是转移概率），不能简单通过统计获取。转移特征的绝对数值不能反映概率大小，但相对大小是有意义的，因此可以用加Mask的方法来引入概率上的先验，例如从S到E标签转移是不可能发生的，可以在转移矩阵上对应位置引入一个很小的负值。
2、跳出CRF的框架来看，提前统计的方法并不是很符合端到端学习的政治正确，CRF这类模块加在标注模型的顶端提供的主要是一种约束作用，参数的overhead其实并不高，没有理由通过额外的环节来获取这部分的参数。
lbigrain 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
有什么算法能对一个长短不一的时间序列进行分类预测?硕士方向，选择迁移学习还是自然语言处理？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
如何评价移动端吊打一切万众期待的商汤深度学习推理框架PPL开源了却没有支持移动端？
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？
深度学习图像处理什么时候用到GPU？
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？
前一个讨论
南京大学LAMDA（周志华）组的实力如何？
下一个讨论
杭州空气是不是很差？如果是，为什么那么差？
相关的话题
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？LSTM如何来避免梯度弥散和梯度爆炸？
如何判断两个Deep Learning 数据集的数据分布是否一致？
人工智能退潮期来了吗？
如何评价微软亚洲研究院提出的LightRNN？
如何理解今年发表在JMLR上随机森林算法SPORF？
贝叶斯深度学习是什么，和传统神经网络有何不同？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
deepmind发表的neural processes(神经过程)，这个是怎么实现的呢？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
在五到十年内，人工智能能复原成人影片中的被马赛克部分吗？
什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)？
如何看待Capsule Network在NLP领域的潜力？
为什么最近几年 FPGA 变得越发受大家重视了？
除了深度学习，机器学习领域近年来还有什么热点吗？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
如何看待2021年哔哩哔哩拜年纪采用机器生成的假弹幕？
如何评价微软正在开发的人工智能编程软件 DeepCoder？
现在互联网公司还有做特征工程的工作吗？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
工作之后，顶会还重要吗？
为什么 Bert 的三个 Embedding 可以进行相加？
CNN网络的pooling层有什么用？
从应用的角度来看，深度学习怎样快速入门？
如何理解 Graph Convolutional Network（GCN）？
如何看待何恺明最新一作论文Masked Autoencoders？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？