实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？ 第1页
1
tylin98 网友的相关建议:
1、CRF并不显式定义转移概率这个概念，NER任务常用的线性链CRF只有转移特征的概念（而不是转移概率），不能简单通过统计获取。转移特征的绝对数值不能反映概率大小，但相对大小是有意义的，因此可以用加Mask的方法来引入概率上的先验，例如从S到E标签转移是不可能发生的，可以在转移矩阵上对应位置引入一个很小的负值。
2、跳出CRF的框架来看，提前统计的方法并不是很符合端到端学习的政治正确，CRF这类模块加在标注模型的顶端提供的主要是一种约束作用，参数的overhead其实并不高，没有理由通过额外的环节来获取这部分的参数。
lbigrain 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
AMD 开源高性能机器智能库MIopen是否可以和cuDNN抗衡？主题模型(topic model)到底还有没有用，该怎么用？
给男友配置一个适合做深度学习的电脑要多少钱？
神经网络为什么可以（理论上）拟合任何函数？
如何理解 natural gradient descent?
神经网络的损失函数为什么是非凸的?
如何评价1700亿参数的GPT-3？
怎么选取训练神经网络时的Batch size?
目前有哪些比较成功的人工智能应用？
BERT中，multi-head 768*64*12与直接使用768*768矩阵统一计算，有什么区别？
前一个讨论
南京大学LAMDA（周志华）组的实力如何？
下一个讨论
杭州空气是不是很差？如果是，为什么那么差？
相关的话题
如何看待2021年秋招算法岗灰飞烟灭？pytorch ddp训练中一个node fail，导致整个训练失败，有可能解决吗？
神经网络为什么可以（理论上）拟合任何函数？
国内外厂商发布的各类 AI 智能音箱，优缺点分别是什么？
深度学习领域有哪些瓶颈？
如何理解今年发表在JMLR上随机森林算法SPORF？
目标检测算法中Two-stage算法速度慢,到底在哪里?
新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？
CVPR2022 有什么值得关注的论文 ?
为什么都说神经网络是个黑箱？
为什么强大的 MXNet 一直火不起来？
请问有哪些法律和计算机领域结合的例子？
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
准研一，导师NLP方向，导师接下了一个项目让我跟着手工标数据，请问是不是在PUA我?
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
现在的BERT等语言模型，最快训练要多久？
为什么中文 NLP 数据集这么少？
pytorch ddp训练中一个node fail，导致整个训练失败，有可能解决吗？
BERT模型可以使用无监督的方法做文本相似度任务吗？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
Pytorch有什么节省显存的小技巧？
《失控玩家》中的游戏有可能实现出来吗？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
NIPS 2018 有什么值得关注的亮点？
如何评价 Self-Normalizing Neural Networks 这篇论文?
adversarial training为什么会起作用？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
百度学术能否替代 Google 学术网站？有没有其他选择？