实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？ 第1页
1
tylin98 网友的相关建议:
1、CRF并不显式定义转移概率这个概念，NER任务常用的线性链CRF只有转移特征的概念（而不是转移概率），不能简单通过统计获取。转移特征的绝对数值不能反映概率大小，但相对大小是有意义的，因此可以用加Mask的方法来引入概率上的先验，例如从S到E标签转移是不可能发生的，可以在转移矩阵上对应位置引入一个很小的负值。
2、跳出CRF的框架来看，提前统计的方法并不是很符合端到端学习的政治正确，CRF这类模块加在标注模型的顶端提供的主要是一种约束作用，参数的overhead其实并不高，没有理由通过额外的环节来获取这部分的参数。
lbigrain 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
科研时，想到一个idea，其实现的结果一定要比前人的评估指标高才能发表吗？如何理解MCMC中的细致平稳条件？
上学和读书有什么区别?
如何评价1700亿参数的GPT-3？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
如何理解MCMC中的细致平稳条件？
word2vec有什么应用？
如何看待在某度搜不到megengine官网？
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
如何看待MXNet在CVPR2017上公布的gluon接口？
前一个讨论
南京大学LAMDA（周志华）组的实力如何？
下一个讨论
杭州空气是不是很差？如果是，为什么那么差？
相关的话题
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
多模态方面，有哪些牛组值得我们follow他们的工作？
为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
视觉Transformer如何优雅地避开位置编码？
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
如何评价陈天奇的模块化深度学习系统NNVM？
什么是大模型？超大模型？Foundation Model？
有哪些相见恨晚的 TensorFlow 小技巧？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？
如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
卷积神经网络中卷积核是如何学习到特征的？
如何评价移动端吊打一切万众期待的商汤深度学习推理框架PPL开源了却没有支持移动端？
把某人的 DNA 序列作为输入，正面照片作为输出，丢到深度神经网络里面学习，可行吗？
BERT模型可以使用无监督的方法做文本相似度任务吗？
为什么现在很多人不看好商汤科技？
《失控玩家》中的游戏有可能实现出来吗？
深度学习attention机制中的Q,K,V分别是从哪来的？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
机器学习，深度神经网络等方法是否是正确的方向？
如何评价 2021 年 12 月新改版的知识引擎 magi.com？
计算机视觉是否已经进入瓶颈期？
如何理解 natural gradient descent?
机器学习包含哪些学习思想？
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
实验室一块GPU都没有怎么做深度学习？