请问假设检验（hypothesis testing)的意义到底是什么，它的原理是什么样的？ 第1页

我尽量用朴素的语言和简单的例子来说明假设检验。

我们现在有两套搜索引擎，就算是百度和搜狗，想看看哪家搜索做的更好。分别使用5个搜索词到百度和搜狗搜了一下，看了下前10个结果里我们想要的结果有几个。我们用满意度来评价每次搜索的效果，满意度就定义为 想要的结果 / 展示的结果，例如想要的结果有5个，展示结果10个，满意度就是0.5。我们把百度和搜狗的满意度绘制如下表：

似乎百度的搜索满意度均值高于搜狗的满意度均值，我们可以下结论说，百度搜索做的更好吗？

我们知道生活中有各种各样的随机事件，在搜索这件事上同样可能受到随机因素的影响，我们需要看看百度搜索满意度和搜狗搜索满意度的差异，是不是来自于偶然。（可能在这5个搜索词上搜狗的运气就是差一些呢？）

这时候，我们就不能只看均值了，不如来看看每个搜索词的胜负吧。

我们并不知道搜索满意度满足什么分布（这是另外一个话题了），我们不如认为这世界上有一个无上意志，每次搜索的时候，他就会掷一次骰子，骰子正面则让百度胜，骰子反面则让百度负。那我们来算算掷5次骰子，其中正面次数大于3次的累积概率（p-value的定义，单侧检验）：

大跌眼镜的事情发生了，p-value是0.5 > 0.05，百度和搜狗没有显著的差异。因为之前观察到的差异完全可以用掷骰子解释。

上面做的事情就是假设检验，假设检验里的非参数检验方法 - 符号检验（sign test)

无论什么样的假设检验方法，本质上都是在验证我们看到的数据，是不是来自于偶然（随机）。