实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？ 第1页
1
tylin98 网友的相关建议:
1、CRF并不显式定义转移概率这个概念，NER任务常用的线性链CRF只有转移特征的概念（而不是转移概率），不能简单通过统计获取。转移特征的绝对数值不能反映概率大小，但相对大小是有意义的，因此可以用加Mask的方法来引入概率上的先验，例如从S到E标签转移是不可能发生的，可以在转移矩阵上对应位置引入一个很小的负值。
2、跳出CRF的框架来看，提前统计的方法并不是很符合端到端学习的政治正确，CRF这类模块加在标注模型的顶端提供的主要是一种约束作用，参数的overhead其实并不高，没有理由通过额外的环节来获取这部分的参数。
lbigrain 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
2020年，多标签学习（multi-label）有了哪些新的进展？AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
知识图谱+nlp，有什么适合硕士独自研究的方向？
多任务学习中loss多次backward和loss加和后backward有区别吗？
为什么计算注意力机制的时候不加偏置项？
单bert可以用来做文本相似度计算任务吗？
如何看UCBerkeley RISELab即将问世的Ray，replacement of Spark？
CPU和GPU跑深度学习差别有多大？
为什么中文 NLP 数据集这么少？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
前一个讨论
南京大学LAMDA（周志华）组的实力如何？
下一个讨论
杭州空气是不是很差？如果是，为什么那么差？
相关的话题
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
如何看待Capsule Network在NLP领域的潜力？
深度学习图像处理什么时候用到GPU？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
为什么Transformer适合做多模态任务？
算法工程师是否应该持续读论文？
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
如何看待NVIDIA 即将开源的DLA？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
如何评价DALL-E模型的实现？
如何理解深度学习中的deconvolution networks？
数据挖掘、机器学习、自然语言处理这三者是什么关系？这几个怎么入门啊？
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？
深度学习方面还有什么Open Problem?
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
自己学习深度学习时，有哪些途径寻找数据集？
如果学习从零开始学习Pytorch,有优秀的开源项目可以推荐吗？
人工智能可以为人类找寻他们心目中的另一半吗?
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
为什么 BERT 的 intermediate_size 这么大？
2019年CVPR有哪些糟糕的论文?
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
深度学习在无人驾驶汽车上面的运用有哪些？
使用强化学习解决实际问题时常常避不开环境模拟或者使用离线强化学习算法，两者分别有什么优缺点？