百科问答小站 logo
百科问答小站 font logo



如何理解Inductive bias? 第1页

  

user avatar   tylin98 网友的相关建议: 
      

归纳偏置在机器学习中是一种很微妙的概念:在机器学习中,很多学习算法经常会对学习的问题做一些假设,这些假设就称为归纳偏置(Inductive Bias)。归纳偏置这个译名可能不能很好地帮助理解,不妨拆解开来看:归纳(Induction)是自然科学中常用的两大方法之一(归纳与演绎, induction and deduction),指的是从一些例子中寻找共性、泛化,形成一个比较通用的规则的过程;偏置(Bias)是指我们对模型的偏好。

因此,归纳偏置可以理解为,从现实生活中观察到的现象中归纳出一定的规则(heuristics),然后对模型做一定的约束,从而可以起到“模型选择”的作用,即从假设空间中选择出更符合现实规则的模型。其实,贝叶斯学习中的“先验(Prior)”这个叫法,可能比“归纳偏置”更直观一些。

归纳偏置在机器学习中几乎无处不可见。老生常谈的“奥卡姆剃刀”原理,即希望学习到的模型复杂度更低,就是一种归纳偏置。另外,还可以看见一些更强的一些假设:KNN中假设特征空间中相邻的样本倾向于属于同一类;SVM中假设好的分类器应该最大化类别边界距离;等等。

在深度学习方面也是一样。以神经网络为例,各式各样的网络结构/组件/机制往往就来源于归纳偏置。在卷积神经网络中,我们假设特征具有局部性(Locality)的特性,即当我们把相邻的一些特征放在一起,会更容易得到“解”;在循环神经网络中,我们假设每一时刻的计算依赖于历史计算结果;还有注意力机制,也是基于从人的直觉、生活经验归纳得到的规则。

在自然语言处理领域赫赫有名的word2vec,以及一些基于共现窗口的词嵌入方法,都是基于分布式假设:A word’s meaning is given by the words that frequently appear close-by. 这当然也可以看作是一种归纳偏置;一些自然语言理解的模型中加入解析树,也可以类似地理解。都是为了选择“更好”的模型




  

相关话题

  土木和机器学习/深度学习/算法的交叉岗位在哪里找呀? 在哪找都找不到招聘公司? 
  在哪里能找到各行业的分析研究报告? 
  有人说「真正的人工智能至少还要几百年才能实现」,真的是这样吗? 
  在算力充沛,深度学习模型大行其道的今天,传统机器学习的未来在哪里? 
  这样的AI是真的吗? 
  mxnet的并行计算为什么这么牛,是什么原理? 
  pytorch ddp训练中一个node fail,导致整个训练失败,有可能解决吗? 
  这样是不是就可以把人类的所有图像内容穷举出来了? 
  以目前的科技水平,做销售,在AI的哪个应用领域发展更好些? 
  如何理解链接预测(link prediction)? 

前一个讨论
今天看到“人工智能没有欲望,只有人工智能管理人类社会才能实现大同社会”这句话,想听听大家怎么说?
下一个讨论
为什么CPU主频一般都比FPGA快,但是却说FPGA可以帮助CPU加速?





© 2025-03-26 - tinynew.org. All Rights Reserved.
© 2025-03-26 - tinynew.org. 保留所有权利