实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？ 第1页
1
tylin98 网友的相关建议:
1、CRF并不显式定义转移概率这个概念，NER任务常用的线性链CRF只有转移特征的概念（而不是转移概率），不能简单通过统计获取。转移特征的绝对数值不能反映概率大小，但相对大小是有意义的，因此可以用加Mask的方法来引入概率上的先验，例如从S到E标签转移是不可能发生的，可以在转移矩阵上对应位置引入一个很小的负值。
2、跳出CRF的框架来看，提前统计的方法并不是很符合端到端学习的政治正确，CRF这类模块加在标注模型的顶端提供的主要是一种约束作用，参数的overhead其实并不高，没有理由通过额外的环节来获取这部分的参数。
lbigrain 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
深度学习中，模型大了好还是小了好呢？如何评价DALL-E模型的实现？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
人工智能 CV 岗位是不是现在供严重大于需？
为什么现在有这么多人工智能无用论？
如何用一句话证明自然语言处理很难？
准研一，导师NLP方向，导师接下了一个项目让我跟着手工标数据，请问是不是在PUA我?
人工智能 CV 岗位是不是现在供严重大于需？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
nlp有哪些值得完整实现一遍的算法?
前一个讨论
南京大学LAMDA（周志华）组的实力如何？
下一个讨论
杭州空气是不是很差？如果是，为什么那么差？
相关的话题
如何看待在某度搜不到megengine官网？如何评价 DeepMind 新提出的关系网络（Relation Network）？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
AMD的CPU是否适合搭建深度学习主机？
为什么 Bert 的三个 Embedding 可以进行相加？
是不是并不是所有问题都适合用神经网络预测？
batchsize=1时可以用BN吗?
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
有什么深度学习数学基础书推荐？
消融实验是什么？
为什么很少人用FFT加速CNN卷积层的运算？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
为什么nlp没有像cv四小龙一样的创业公司？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
为什么神经网络具有泛化能力？
如何评价AlphaGo Zero？
如何进行图像模糊与清晰的分类？
为什么最近几年 FPGA 变得越发受大家重视了？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
如何评价微软正在开发的人工智能编程软件 DeepCoder？
研究推荐系统要对NLP很了解吗？
石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
为什么神经网络具有泛化能力？
如何评价深度学习之父Hinton发布的Capsule论文？
如何评价 BERT 模型？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
如果不按套路下棋是不是就能赢 Alpha Go 了？
结合深度学习的图像修复怎么实现？
如何评价 DeepMind 的新工作 AlphaCode?