百科问答小站 logo
百科问答小站 font logo



Evidential deep learning里一般怎么估计多标签分类的Uncertainty? 第1页

  

user avatar   erikwei 网友的相关建议: 
      

小白提供一篇相关的文献 [ICLR'21],希望能有所帮助:

这个工作的出发点是半监督学习中的 psedo-label 选择,该方法也适用 multi-label。文章的方法很简洁,其实就是拿模型在每个标签的预测结果的 uncertainty 和一个阈值进行比较。公式如下:

这个公式就是获取一个 indicator,表示第 i 个样本的第 c 个标签是否可信。公式中的两项可以看作分别对 positive 和 negative label 的选择。例如加号左边一项,文章认为当标签的预测置信度大于某个阈值,且该标签的 uncertainty 小于某个阈值时,那模型在这个标签上的预测结果时比较可靠的。

这里的 uncertainty 的计算直接使用了模型多次预测结果的 标准差。

所以,我的观点是 multi-label 中可以逐个标签计算 uncertainty,使用类似 mc-dropout 的方式即可得到模型在每个 label 上的 uncertainty,然后进行筛选。

该工作的 code 在这里可以找到:Github code


user avatar   Cogito2012 网友的相关建议: 
      

很好的问题。

对Multi-Label Classification问题了解不多,不过要注意EDL里面是多分类模型的输出概率可以认为服从Dirichlet分布,而多标签分类的输出概率,并不满足这一分布,所以EDL是无法适用的。

类似于EDL的做法,可以看看早期的D-S证据理论在多标签分类领域的研究文献[1,2,3],还有近期基于Subjective Opinion的uncertainty estimation文章[4],看看如何借鉴EDL的做法,用Deep Learning方法估计uncertainty。

  1. Younes, Zoulficar, Fahed Abdallah, and Thierry Denœux. "An evidence-theoretic k-nearest neighbor rule for multi-label classification."International Conference on Scalable Uncertainty Management. Springer, Berlin, Heidelberg, 2009.
  2. Denœux, Thierry, Zoulficar Younes, and Fahed Abdallah. "Representing uncertainty on set-valued variables using belief functions."Artificial Intelligence174.7-8 (2010): 479-499.
  3. Kanj, Sawsan, Fahed Abdallah, and Thierry Denœux. "Evidential multi-label classification using the random k-label sets approach."Belief Functions: Theory and Applications. Springer, Berlin, Heidelberg, 2012. 21-28.
  4. A. Josang, J. Cho and F. Chen, "Uncertainty Characteristics of Subjective Opinions,"2018 21st International Conference on Information Fusion (FUSION), 2018, pp. 1998-2005, doi: 10.23919/ICIF.2018.8455454.



  

相关话题

  为什么说大模型训练很难? 
  卷积神经网络中卷积核是如何学习到特征的? 
  如何可以通过自学来深入学习机器学习? 
  2022 年初,你认为哪项成果代表了现在人工智能的最高水平? 
  深度学习领域有哪些瓶颈? 
  计算机视觉是否已经进入瓶颈期? 
  如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评? 
  医学生学习机器学习该如何入门? 
  在机器学习中,L2正则化为什么能够缓过拟合? 
  UCLA 的朱松纯教授是一个什么样的人? 

前一个讨论
2020 年高考报志愿,哪些专业就业前景比较好?学长学姐们有哪些经验可以分享?
下一个讨论
主动学习(Active learning)算法的原理是什么,有哪些比较具体的应用?





© 2025-03-31 - tinynew.org. All Rights Reserved.
© 2025-03-31 - tinynew.org. 保留所有权利