百科问答小站 logo
百科问答小站 font logo



为什么softmax很少会出现[0.5,0.5]? 第1页

  

user avatar   wang-feng-98-82 网友的相关建议: 
      

因为训练的时候你没有跟网络说什么样的东西应该不确定。

你只给了确定的label,要么是[0,1]要么是[1,0],那网络就只会出接近这两个值的输出。

-----------------分界线------------------

当然这背后是有数学原理的,二分类的softmax其实等价于sigmoid,如果一直给one-hot的标签,在训练集几乎都能分正确的前提下,网络趋向于将feature的norm无限拉长,sigmoid越来越接近0-1的阶跃函数,几乎所有样本的输出就都在接近0和接近1的位置,中间态几乎没有。

注意这里引入了一个假设,即“训练集几乎都能分正确”。如果你的训练集拟合得不好,你会发现输出0.3、0.5之类的样本的机会会大大增加。

-----------------分界线------------------

怎么告诉网络不确定性呢?

有两种方式:一种是soft label,即你直接就给部分样本[0.5, 0.5]的label;一种是noise label,就是你觉得不确定的东西,一会给0的label,一会给1的label。

这两种方式都可以起作用,当然第一种效果更好一些,网络有比较明确的目标,第二种方式在batch training下其实也是有效的,只是看起来比较奇怪。




  

相关话题

  为什么小模型已经可以很好地拟合数据集了,换大模型效果却要比小模型好? 
  为什么强大的 MXNet 一直火不起来? 
  如何理解深度学习源码里经常出现的logits? 
  2020年,多标签学习(multi-label)有了哪些新的进展? 
  为什么我学过微积分、线性代数和概率论,还是看不懂机器学习? 
  什么是反事实分析呀? 
  在集成电路设计领域(数字,模拟),人工智能有无可能取代人类? 
  如何评价 MLSys 这个会议? 
  为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的? 
  深度学习领域,你心目中 idea 最惊艳的论文是哪篇? 

前一个讨论
目前 AI 在疾病的诊断和治疗上,有哪些成功的应用?
下一个讨论
一位合格的博士生需要有哪些条件和素质?





© 2025-06-26 - tinynew.org. All Rights Reserved.
© 2025-06-26 - tinynew.org. 保留所有权利