百科问答小站 logo
百科问答小站 font logo



Evidential deep learning里一般怎么估计多标签分类的Uncertainty? 第1页

  

user avatar   erikwei 网友的相关建议: 
      

小白提供一篇相关的文献 [ICLR'21],希望能有所帮助:

这个工作的出发点是半监督学习中的 psedo-label 选择,该方法也适用 multi-label。文章的方法很简洁,其实就是拿模型在每个标签的预测结果的 uncertainty 和一个阈值进行比较。公式如下:

这个公式就是获取一个 indicator,表示第 i 个样本的第 c 个标签是否可信。公式中的两项可以看作分别对 positive 和 negative label 的选择。例如加号左边一项,文章认为当标签的预测置信度大于某个阈值,且该标签的 uncertainty 小于某个阈值时,那模型在这个标签上的预测结果时比较可靠的。

这里的 uncertainty 的计算直接使用了模型多次预测结果的 标准差。

所以,我的观点是 multi-label 中可以逐个标签计算 uncertainty,使用类似 mc-dropout 的方式即可得到模型在每个 label 上的 uncertainty,然后进行筛选。

该工作的 code 在这里可以找到:Github code


user avatar   Cogito2012 网友的相关建议: 
      

很好的问题。

对Multi-Label Classification问题了解不多,不过要注意EDL里面是多分类模型的输出概率可以认为服从Dirichlet分布,而多标签分类的输出概率,并不满足这一分布,所以EDL是无法适用的。

类似于EDL的做法,可以看看早期的D-S证据理论在多标签分类领域的研究文献[1,2,3],还有近期基于Subjective Opinion的uncertainty estimation文章[4],看看如何借鉴EDL的做法,用Deep Learning方法估计uncertainty。

  1. Younes, Zoulficar, Fahed Abdallah, and Thierry Denœux. "An evidence-theoretic k-nearest neighbor rule for multi-label classification."International Conference on Scalable Uncertainty Management. Springer, Berlin, Heidelberg, 2009.
  2. Denœux, Thierry, Zoulficar Younes, and Fahed Abdallah. "Representing uncertainty on set-valued variables using belief functions."Artificial Intelligence174.7-8 (2010): 479-499.
  3. Kanj, Sawsan, Fahed Abdallah, and Thierry Denœux. "Evidential multi-label classification using the random k-label sets approach."Belief Functions: Theory and Applications. Springer, Berlin, Heidelberg, 2012. 21-28.
  4. A. Josang, J. Cho and F. Chen, "Uncertainty Characteristics of Subjective Opinions,"2018 21st International Conference on Information Fusion (FUSION), 2018, pp. 1998-2005, doi: 10.23919/ICIF.2018.8455454.



  

相关话题

  如何评价微软亚洲研究院提出的LightRNN? 
  如何评价新Nature子刊Nature Machine Intelligence的出现? 
  行为识别常用哪种特征提取? 
  学习机器学习应该看哪些书籍? 
  如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)? 
  能分享你收藏的国外AI talk, seminar平台或网站吗? 
  我应该从计算机视觉回到做FPGA 吗? 
  adversarial training为什么会起作用? 
  transformer中的Q,K,V到底是什么? 
  如何评价华为天才少年钟钊团队成功开启了 AutoML 大规模商用的先河?什么是 AutoML? 

前一个讨论
2020 年高考报志愿,哪些专业就业前景比较好?学长学姐们有哪些经验可以分享?
下一个讨论
主动学习(Active learning)算法的原理是什么,有哪些比较具体的应用?





© 2025-04-24 - tinynew.org. All Rights Reserved.
© 2025-04-24 - tinynew.org. 保留所有权利