实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？ 第1页
1
tylin98 网友的相关建议:
1、CRF并不显式定义转移概率这个概念，NER任务常用的线性链CRF只有转移特征的概念（而不是转移概率），不能简单通过统计获取。转移特征的绝对数值不能反映概率大小，但相对大小是有意义的，因此可以用加Mask的方法来引入概率上的先验，例如从S到E标签转移是不可能发生的，可以在转移矩阵上对应位置引入一个很小的负值。
2、跳出CRF的框架来看，提前统计的方法并不是很符合端到端学习的政治正确，CRF这类模块加在标注模型的顶端提供的主要是一种约束作用，参数的overhead其实并不高，没有理由通过额外的环节来获取这部分的参数。
lbigrain 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
人工智能退潮期来了吗？请解释下variational inference？
为什么强大的 MXNet 一直火不起来？
现有的编程语言当中，哪些和自然语言更接近？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
多模态方面，有哪些牛组值得我们follow他们的工作？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
自学深度学习是怎样一种体验？
请问刘知远老师提供的网易新闻标注数据集开源吗？
前一个讨论
南京大学LAMDA（周志华）组的实力如何？
下一个讨论
杭州空气是不是很差？如果是，为什么那么差？
相关的话题
机器学习中有哪些形式简单却很巧妙的idea？如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
如何评价1700亿参数的GPT-3？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
你见过最差的算法工程师能差到什么程度？
当前（2020年）机器学习中有哪些研究方向特别的坑？
如何证明数据增强（Data Augmentation）有效性？
关于tensorflow中的滑动平均？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
如何看待旷视科技新产品监视学生上课？
能否使用区块链的算力来解决深度学习训练？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
如何看待最近一段时间旷视科技Face++、阿里、小米、京东、科大讯飞和地平线等相继在南京建立研发中心？
如何看待 AlphaFold 在蛋白质结构预测领域的成功？
面试官如何判断面试者的机器学习水平？
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？
为什么学习深度学习感觉无法入门？
迁移学习与fine-tuning有什么区别？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
如何理解今年发表在JMLR上随机森林算法SPORF？
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
ICLR 2018 有什么值得关注的亮点？
深度学习领域有哪些瓶颈？
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
什么是大模型？超大模型？Foundation Model？