实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？ 第1页
1
tylin98 网友的相关建议:
1、CRF并不显式定义转移概率这个概念，NER任务常用的线性链CRF只有转移特征的概念（而不是转移概率），不能简单通过统计获取。转移特征的绝对数值不能反映概率大小，但相对大小是有意义的，因此可以用加Mask的方法来引入概率上的先验，例如从S到E标签转移是不可能发生的，可以在转移矩阵上对应位置引入一个很小的负值。
2、跳出CRF的框架来看，提前统计的方法并不是很符合端到端学习的政治正确，CRF这类模块加在标注模型的顶端提供的主要是一种约束作用，参数的overhead其实并不高，没有理由通过额外的环节来获取这部分的参数。
lbigrain 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
计算流体力学（CFD）里应用注意力机制（attention）是否可行？如何系统学习机器学习？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
如何解决测试中充斥着大量训练集中没见过的样本类型模型将其识别成非我族类仍然保持测试集的高精度？
前一个讨论
南京大学LAMDA（周志华）组的实力如何？
下一个讨论
杭州空气是不是很差？如果是，为什么那么差？
相关的话题
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。如何看待 ICLR2021 的拒稿被评为 ACL2021 的 Best Paper?
有没有必要把机器学习算法自己实现一遍？
隐私计算、计算机视觉、自然语言处理三者中，哪个研究起来更有前途？
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
机器学习，深度神经网络等方法是否是正确的方向？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
深度学习调参有哪些技巧？
研究推荐系统要对NLP很了解吗？
请问有哪些法律和计算机领域结合的例子？
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
工作之后，顶会还重要吗？
你见过最差的算法工程师能差到什么程度？
怎么选取训练神经网络时的Batch size?
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
如何评价openai的新工作DALL·E?
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
计算机视觉是否已经进入瓶颈期？
如何解决测试中充斥着大量训练集中没见过的样本类型模型将其识别成非我族类仍然保持测试集的高精度？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
为什么 Bert 的三个 Embedding 可以进行相加？
如何评价 2021 年 12 月新改版的知识引擎 magi.com？
深度学习在无人驾驶汽车上面的运用有哪些？
科研时，想到一个idea，其实现的结果一定要比前人的评估指标高才能发表吗？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
如何看待 AlphaFold 在蛋白质结构预测领域的成功？
计算商品embedding然后平均得到用户embedding，会不会存在这种问题？