实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？ 第1页
1
tylin98 网友的相关建议:
1、CRF并不显式定义转移概率这个概念，NER任务常用的线性链CRF只有转移特征的概念（而不是转移概率），不能简单通过统计获取。转移特征的绝对数值不能反映概率大小，但相对大小是有意义的，因此可以用加Mask的方法来引入概率上的先验，例如从S到E标签转移是不可能发生的，可以在转移矩阵上对应位置引入一个很小的负值。
2、跳出CRF的框架来看，提前统计的方法并不是很符合端到端学习的政治正确，CRF这类模块加在标注模型的顶端提供的主要是一种约束作用，参数的overhead其实并不高，没有理由通过额外的环节来获取这部分的参数。
lbigrain 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何看待周志华等人的新书《机器学习理论导引》？如何评价AWS的图神经网络框架DGL？
AI 都学会看论文了，科研工作者会被淘汰么？
基于深度学习的人工智能程序和传统程序的差别在哪里？
如何看待学霸君的高考机器人 Aidam 高考全国文科数学卷考了 134 分？
如何看待何恺明最新一作论文Masked Autoencoders？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
为什么VAE-GAN的训练很容易发生梯度爆炸，如何避免？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
前一个讨论
南京大学LAMDA（周志华）组的实力如何？
下一个讨论
杭州空气是不是很差？如果是，为什么那么差？
相关的话题
谷歌翻译原理是什么，从语言A到B，中间是否要翻译成中介语言C（如英语）？GAN 真的创造了新的信息吗？
如何看待MXNet在CVPR2017上公布的gluon接口？
word2vec有什么应用？
如何看待 Nervana 被 Intel 收购？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
2019年NeurIPS有哪些糟糕的论文？
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
自监督学习（Self-supervised Learning）有什么比较新的思路？
现在的BERT等语言模型，最快训练要多久？
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?
请问应该怎样去学习图像识别和深度学习？
如何看待马毅老师深度学习第一性原理的文章在 ICML 四个审稿人一致接收的情况下被 AC 拒了？
为什么编程语言语法的设计不往缩小与自然语言的差别的方向发展，或者说在这个方向发展得这么慢呢？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
训练过程中loss震荡特别严重，可能是什么问题？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
为什么 BERT 的 intermediate_size 这么大？
Transformer是如何处理可变长度数据的？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
如何理解深度学习源码里经常出现的logits？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
深度学习调参有哪些技巧？
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
如何评价微软亚洲研究院提出的LightRNN？
如何评价 Exploring Simple Siamese Learning?
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？