实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？ 第1页
1
tylin98 网友的相关建议:
1、CRF并不显式定义转移概率这个概念，NER任务常用的线性链CRF只有转移特征的概念（而不是转移概率），不能简单通过统计获取。转移特征的绝对数值不能反映概率大小，但相对大小是有意义的，因此可以用加Mask的方法来引入概率上的先验，例如从S到E标签转移是不可能发生的，可以在转移矩阵上对应位置引入一个很小的负值。
2、跳出CRF的框架来看，提前统计的方法并不是很符合端到端学习的政治正确，CRF这类模块加在标注模型的顶端提供的主要是一种约束作用，参数的overhead其实并不高，没有理由通过额外的环节来获取这部分的参数。
lbigrain 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
人工智能 CV 岗位是不是现在供严重大于需？如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
2019 秋招的 AI 岗位竞争激烈吗？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
人工智能会是泡沫吗？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
如何看待 Google TPU？寒武纪芯片较之有哪些优势与不足？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
大家用resnet50在imagenet上面top1最高能到多少？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
前一个讨论
南京大学LAMDA（周志华）组的实力如何？
下一个讨论
杭州空气是不是很差？如果是，为什么那么差？
相关的话题
深度学习做股票预测靠谱吗？如何理解链接预测（link prediction）？
如何评价陈天奇的模块化深度学习系统NNVM？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
deepmind发表的neural processes(神经过程)，这个是怎么实现的呢？
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？
TensorFlow 中 padding 的 SAME 和 VALID 两种方式有何异同？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
2021年，ncnn发展的如何了？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
transformer中的Q,K,V到底是什么？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
如果你是面试官，你怎么去判断一个面试者的深度学习水平？
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
为什么 BERT 的 intermediate_size 这么大？
面试官如何判断面试者的机器学习水平？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
有哪些比较好的机器学习，深度学习的网络资源可利用？
如何评价 NVIDIA 发布的 DGX-1？
基于深度学习的人工智能程序和传统程序的差别在哪里？
人工智能在生活中的应用都有哪些？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
如何用一句话证明自然语言处理很难？
国内较强的NLP高校实验室有哪些？
自监督学习（Self-supervised Learning）有什么比较新的思路？
如何评价清华大学发布的自研深度学习框架-计图(Jittor)？
2019年NeurIPS有哪些糟糕的论文？
ICLR 2021 有什么值得关注的投稿？
graph convolutional network有什么比较好的应用task？
如何看UCBerkeley RISELab即将问世的Ray，replacement of Spark？