实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？ 第1页
1
tylin98 网友的相关建议:
1、CRF并不显式定义转移概率这个概念，NER任务常用的线性链CRF只有转移特征的概念（而不是转移概率），不能简单通过统计获取。转移特征的绝对数值不能反映概率大小，但相对大小是有意义的，因此可以用加Mask的方法来引入概率上的先验，例如从S到E标签转移是不可能发生的，可以在转移矩阵上对应位置引入一个很小的负值。
2、跳出CRF的框架来看，提前统计的方法并不是很符合端到端学习的政治正确，CRF这类模块加在标注模型的顶端提供的主要是一种约束作用，参数的overhead其实并不高，没有理由通过额外的环节来获取这部分的参数。
lbigrain 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？如何理解attention中的Q,K,V？
《失控玩家》中的游戏有可能实现出来吗？
graph convolutional network有什么比较好的应用task？
为什么交叉熵（cross-entropy）可以用于计算代价？
Bert中的词向量各向异性具体什么意思啊？
北京深鉴科技基于FPGA平台的DPU架构如何？
如何将某个分布作为机器学习的特征？
如何评价贾扬清离职 Facebook？
什么是大模型？超大模型？Foundation Model？
前一个讨论
南京大学LAMDA（周志华）组的实力如何？
下一个讨论
杭州空气是不是很差？如果是，为什么那么差？
相关的话题
NLP 方向在国内清北读博还是国外？如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
视觉算法的工业部署及落地方面的技术知识，怎么学？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
注意力机制是如何学习到模型所应注意的区域的？
如何理解MCMC中的细致平稳条件？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
如何看待微软小冰写的诗？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
深度学习如何入门？
人工智能可以解决人类难题吗？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
多模态方面，有哪些牛组值得我们follow他们的工作？
你有哪些deep learning（rnn、cnn）调参的经验？
迁移学习入门，新手该如何下手？
大牛Bengio 团队最新的研究和我自己之前的研究成果重复了，应该怎么办？
验证集loss上升，准确率却上升该如何理解？
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
如何用自然语言处理判断一句话是否符合中文口语习惯？