百科问答小站 logo
百科问答小站 font logo



最小二乘法只有在因变量服从正态分布时才能用吗? 第1页

  

user avatar   minamoto-52 网友的相关建议: 
      

这种认识是错误的,相反,MLE(最大似然估计)才对扰动项的分布形式有要求,虽然原则上讲只要你知道扰动项的分布形式,即便不是正态分布,MLE也可以估计,但你必须知道扰动项的具体分布形式是什么才能入手,而最小二乘法是可以放宽“知道扰动项的分布形式”这个要求的。

许多本科计量教材在最小二乘法时假设扰动项正态分布,是因为这些教材往往没有从介绍大样本理论入手。

最小二乘法虽然名字上是最小二乘法,实际上也的确最小二乘了,但本质上是一种矩估计。

只要模型的线形设置是正确的,矩条件E(x’u)=0,即“解释变量和扰动项的乘积”的均值是0,以及无完全多重共线性条件满足,那么最小二乘法就是一致估计,就是说只要这几样满足了,只要样本够多,那么估计的系数就会由于大数定理随着样本的增加而逐渐趋于真实的系数。

而且,只要样本够多,且“扰动项独立同分布的假设”满足,那么无论扰动项的具体分布是什么,参数的估计值都会由于中心极限定理而渐进服从正态分布,假设检验依旧有效。

即使出现异方差和自相关,也只会影响假设检验的显著性,不会影响参数估计的一致性,因为异方差和自相关不伤及前面所说的矩条件,这两种情况本质上只是破坏了中心极限定理应用时“扰动项是独立同分布”的应用条件。

只有样本不够多时,中心极限定理木有卵用,你为了进行假设检验,就必须得手动认为参数的估计值服从正态分布,所以你就只好假设扰动项是正态分布了。

综上所述,正态性假定在样本够多时完全不必要,异方差,自相关不会损害一致性,而且可以在已经搜集到的数据中通过方法进行调整,所以根本就不是什么大问题。

只有两个敌人是计量经济学的大敌,其一,矩条件不满足,这个被称为“内生性”,这是实证研究的主要攻克对象。其二,模型线形形式的设置问题,面对这个问题,计量经济学如果不进行非参数估计,一般不负责解决。而寄希望于纯经济学来解决。所以其实绝大多数的实证研究不过都是在经济学的框架下进行有限的验证,靠这种验证并不能说明整个经济学体系的科学性。


user avatar   sijichun 网友的相关建议: 
      

经典谣言之一了。

总结一下普通最小二乘的优良性质所需要的条件。对于回归方程:

以及如下假设:

  1. (y,x)独立同分布
  2. u和x不相关
  3. 同方差
  4. 正态性假设:

注意以上假设中:

  • 假设3可以推导出假设2
  • 假设5蕴含着假设3和假设4
  • 假设5需要的是条件正态,而不是

那么最小二乘法的性质:

  • 无偏性需要1、3
  • 一致性需要1、2
  • BLUE需要:1、3、4

以上这些性质都不需要正态性假设。所以如果只需要以上性质,正态性统统不需要。

啥时候需要正态性假设呢?

  • 小样本条件下的假设检验,即 以及F分布需要假设1、5

所以你样本小的话,OLS不是不可以用,只是假设检验可能会误差比较大而已。

一个简单的反例:

其中 , ,那么y大概是这样一个分布:

这正态吗?当然不正态啊。

但是能用最小二成法吗?

实际上完全符合上述假设的1-5。

这个经典谣言出现的本质原因是因为:

搞不清楚条件分布和无条件分布,小样本和大样本




  

相关话题

  如果神邀请你玩一个50%胜率的游戏,赢了可以游戏人间一千年,输了被囚禁折磨一千年,你会玩吗? 
  负数有没有阶乘,0 的阶乘为什么是 1? 
  打开概率为 1/8000 的保险箱,8000 次内一定能打开吗? 
  如何通俗地理解概率论中的「极大似然估计法」? 
  对于多元线性回归,如何证明任一自变量的系数等同于忽略其他变量后一元线性回归的系数? 
  有一个盒子,把钱放进去有一半的概率变成双倍,也有一半的概率钱会消失,你会放钱进去吗? 
  Linear least squares, Lasso,ridge regression有何本质区别? 
  请问如何证明「X,Y 不相关,则 X,Y 不一定独立」呢? 
  一维布朗运动的最大回撤的概率密度分布有没有解析解? 
  阶乘的概念能否推广到全体实数,甚至是全体复数? 

前一个讨论
媒体评代孕弃养「法律道德皆难容」,代孕面临哪些道德和法律问题?有哪些立法空白?
下一个讨论
如果给动物看同类交配视频,它们会有反应吗?





© 2024-11-09 - tinynew.org. All Rights Reserved.
© 2024-11-09 - tinynew.org. 保留所有权利