有哪些计量回归结果不显著却发表在经济学顶级期刊的论文？ 第1页

经济学家第一定律：对任何一位经济学家而言，一定存在着一位实力旗鼓相当的同时观点又针锋相对的经济学家。

经济学家第二定律：他们都是错的。

对于某个问题的经验研究，经常是，某些论文的做出来的结果是“显著为正”，某些论文的做出来的结果是“显著为负”，而有些论文就像题主所说 ——“卖的就是不显著这个点”。

比如经济增长与收入（财富）不平等关系的研究。由于以前的学者已经做出了很多显著的计量回归结果，也就是说不平等抑制（促进）经济增长。如果能做出不显著的结果，解释说明人前的结果由于某些原因不稳健（如遗漏变量偏误），或者我这个模型可以从其他角度解读（如影响是非线性的），那么不显著的结果不失为一种 contribution。

直接上一个 Voitchovsky (2009) 的总结图：

图中是1998年以来优质期刊（有些不是top 5）发表的关于不平等影响经济增长的论文。

其中，基尼系数（ ）用来量化一个国家收入/财富不平等的程度， 一般是人均收入。

显然，星号（*）越少，基尼系数（ ）的效应越不显著。

其中，

Banerjee and Duflo (2003) 发现经济增长和基尼系数变化量（ ）之间是非线性关系，加入 使得 不显著，非线性是之前迥异结果的可能原因；

Barro (2000) 发现基尼系数对经济增长和投资的整体影响不明显，但是不平等对穷/富国的效应不一样：抑制穷国经济增长，而促进富国经济增长；

Deininger and Squire (1998) 发现收入不平等不怎么影响经济增长，但是土地不平等有很强的抑制作用；

Knowles (2005) 考虑了度量误差（measurement error）和不同的收入定义，发现总收入不平等的影响不显著，而消费不平等的影响是显著为负的；

Voitchovsky (2005) 认为收入分布顶端的不平等和收入分布底端的不平等有相反作用，相互抵消，使得整体的基尼系数是不显著的。

抛砖引玉，应该还有很多顶级期刊的论文。

References

Voitchovsky, Sarah. (2009). Inequality and Economic Growth. The Oxford Handbook of Economic Inequality. 549-574. 10.1093/oxfordhb/9780199606061.013.0022.

概率为1的事件不一定是必然事件，概率为0的事件不一定是不可能事件

谢邀！首先structure form不太可能靠nonsignificant results来发表文章，靠nonsignificant results来做卖点的一般都是reduced form的实证文章。正如 @阿爾托莉雅 所言，在定量实证文章中，无论是经济学、社会学、犯罪学还是心理学，不同学者利用不同数据、不同方法研究同样变量之间的关系经常得到不同的结论，比如在犯罪变迁与经济社会发展、国家司法投入等关系研究中，有的研究发现收入差距与财产类犯罪之间有正关系，而有的发现没有关系；有的研究发现司法投入能极大抑制犯罪，而有的研究却发现不能，如下所示

一些反对质疑定量研究的学者可能会以此为他们的论点，认为定量研究不靠谱。（我一位刑法老师就持如此观点，因为现在关于死刑威慑力实证研究的文章往往得出不同的结论，有的认为有威慑力不应废除死刑；有的发现其实没有威慑力，应废除死刑。大牛Charles F. Manski就有过一篇死刑处理效应partial identificaton与估计的文章可以参考：https://economics.yale.edu/sites/default/files/files/Workshops-Seminars/Econometrics/manski-120227.pdf）

其实出现这种现象的原因在于我们对假设检验的理解与运用。让我们回忆一下Null Hypothesis Significance Testing (NHST)中会出现的四种情形：

NHST很容易造成误解与曲解，在实证研究中出现最严重的问题就是很多研究者接受了原假设并且因为统计检验不显著就宣称事实上不存在效应，也就是在得到不显著的结果时犯了False negative的错误。对此，心理学学者Hartgerink C H J & Wicherts J M 等人收集了1985-2013年8大主要心理学期刊（Developmental Psychology、Frontiers in Psychology、Journal of Applied Psychology、Journal of Consulting and Clinical Psychology、Journal of Experimental Psychology: General、Journal of Personality and Social Psychology、Public Library of Science与Psychological Science）上主要实证结果为nonsignificant的文章，来检验探讨实证研究中是否存在False negative（FN）。首先，心理学8大期刊发表nonsignificant results的统计如下：

黄色表示部分表示各大期刊历年来发表nonsignificant results文章所占比例，可以看出“不显著结果”文章发表比例比“显著结果”文章低很多，基本都是20%左右。再来看看1985-2013年发表不显著文章的变迁趋势：

似乎“nonsignificant results”文章发表的比例还在逐年增加，似乎不存在Publication bias。于此，Hartgerink C H J & Wicherts J M 等人通过两种方法来检验心理学实证研究中，当发现“nonsignificant results”的时候是否存在“false negative”的问题：

• 方法一：收集计算每篇文章的nonsignificant effect size、及对应原假设 下如果真没有现实效应时应得到的effect size大小，比较二者概率分布，看看并检验是否相同。如果不相同就说明存在false negative的情况，存在现实效应却因为得到不显著的统计结果而判断不存在现实效应。（if and how much the distribution of reported nonsigni cant e ect sizes deviates from what the expected e ect size distribution is if there is truly no e ect (i.e., H0).）

effect size由t值、F值构成，显示效应的强度： ，其中 。最后得到二者的CDF及KS检验结果：

可以发现，二者分布有显著差异（见KS检验），说明存在false negative的问题。

• 方法二：Fisher Test。作者基于收集到的nonsignificant的p-values来计算一个统计量，进而检验是否存在False negative的问题。首先基于收集到的P值，计算如下transformed P values: , 是每篇实证文章中检验用的置信水平。于此，计算Fisher Test统计量： ，检验的原假设 是收集到的nonsignificant results确实说明不存在现实效应（the null hypothesis we test with the Fisher test is thatall included nonsigni cant results are true negatives），所以当Fisher test在 水平上显著时，那么就至少在所有nonsignificant results中存在一个是false negative。

这个统计量的性质在原文附录中可以找到，最后作者计算出不同期刊存在False negative的情况：

发现47.1%的文章（6951篇）都存在False negative的问题，事实上存在效应但由于作者得到不显著的检验而认为不存在实际效应！所以，以后写论文得到nonsignificant results的时候要牢记：

不显著并不意味着现实中不存在效应

所以论文中当要得出“二者之间不存在效应关系”的结论的时候要多多警惕，最起码除了统计检验，还需要其他的理论或定性实证支撑。

最后回到经济学等其他社会科学实证研究上，对于很多得到nonsignificant results而发表的文章我们现在也怀疑很可能同样存在着false negative的问题。Camerer等人、Chang等人研究过经济学论文可复制性的问题，发现发表在top5上能够实现replication的文章比例很少，当然他们还没有研究过nonsignificant results是否存在false negative的问题，题主不妨用他们的数据做一个试试？

references:

陈硕. 转型期中国的犯罪治理政策:堵还是疏?[J]. 经济学:季刊, 2012, 11(2):743-764.

Manski C F, Pepper J V. Deterrence and the Death Penalty: Partial Identification Analysis Using Repeated Cross Sections[J]. Journal of Quantitative Criminology, 2013,29(1):123-141.

Hartgerink C H J, Wicherts J M, Assen M A L M V. Too Good to be False: Nonsignificant Results Revisited[J]. 2017, 3(1):9.

Camerer C F, Dreber A, Forsell E, et al. Evaluating replicability of laboratory experiments in economics[J]. Science, 2016, 351(6280):1433.

Chang A C, Li P. Is Economics Research Replicable? Sixty Published Papers from Thirteen Journals Say 'Usually Not'[J]. Finance & Economics Discussion, 2015, 652-654:2347-2351.