百科问答小站 logo
百科问答小站 font logo



怎样求贝叶斯估计的先验分布? 第1页

  

user avatar   sijichun 网友的相关建议: 
      

取先验的套路有很多,比较常见的有:

1、扁平先验(flat prior)。所谓的扁平先验其实就是用一个“均匀分布”做先验。如果参数空间的support是有限的,那直接用扁平先验就可以了;但是如果参数空间的support是无限的,比如(0,∞),那么就不存在这上面的均匀分布了。由于均匀分布的密度函数是一个常数,在计算后验时分子分母可以约掉,所以当support有无穷大时,直接不要先验,就是一个扁平先验了。

但是注意扁平先验是一个非正常先验improper prior),也就是说这个先验根本不是一个密度函数(积分积起来不等于1)。使用非正常先验一般情况下没什么大问题,但是有的时候可能会导致后验分布也是非正常的,那就需要额外注意了。比如下面这个问题,可以看作是先验分布选取了非正常先验而导致的问题:

2、Jeffreys先验。Jeffreys先验和扁平先验一样,都是为了尽量让先验的选取“不提供任何信息”,即non-informative prior。但是扁平先验看似使用了均匀分布从而不提供任何信息,但是实际上还是提供了某些信息的。比如,如果 ,那么如果选取 的先验为扁平先验,如果重新参数化,令 的取值范围为R,显然不是扁平的。

解决方法就是Jeffreys先验:

此外还有基于Kullback-Leiber信息的参照先验(reference prior),思路是尽量使得Kullback-Leiber散度变大,从而使得先验尽量不提供任何信息。

3、共轭先验

共轭先验一般需要我们提供主观信息,不过共轭先验所计算出的后验分布由于具有比较简单的形式,所以非常容易进行分析和计算。




  

相关话题

  N个人通过石头剪刀布决出一个胜者所需要的轮数的数学期望是多少? 
  为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢? 
  高斯过程的kernel构成的矩阵为何叫协方差矩阵而不是相关系数矩阵? 
  楚霸王项羽真的在乌江被困时一人斩杀了几百人吗? 
  假如我知道了抽卡游戏的随机数生成算法源码,是否能成为欧皇? 
  请问非参数统计中核密度估计的均方误差和均平方积分误差函数是怎么求出来的? 
  为何中国的中小学数学教育如此轻视统计和概率? 
  为什么正态分布公式中会有 π 呢? π 为什么应用得地方那么多,应该怎么理解 π ? 
  如果生男生女概率相同,且坚持计划生育政策,是否有可能以后中国只剩下一个姓? 
  为何中国的中小学数学教育如此轻视统计和概率? 

前一个讨论
如何吐槽英国的名校?
下一个讨论
可以分享一下你自己写的诗吗?





© 2025-04-03 - tinynew.org. All Rights Reserved.
© 2025-04-03 - tinynew.org. 保留所有权利