当然不一定。实际上MLE作为一个具有良好性质的统计量的前提是满足一系列regularity conditions。每一个condition都可以看作是估计理论数学严格化的血泪教训。
参数模型的例子。Bickel and Doksum (1977), Problem 4.4.14.
假设有独立的正态随机变量 ,其中 均未知, 。然后不难得到如下MLE:
,对任意
.
NOTE: 可以证明它们是MLE,因为它们是似然方程的唯一解。
然后,固定 ,让 ,得到 ,从而不是consistent的。
这里问题出在,当需要估计的参数数量 is of the order of 总样本量的时候,MLE可能没有良好的渐近性质。
非参数的例子。Bahadur, R. R. "Examples of inconsistency of maximum likelihood estimates."Sankhyā: The Indian Journal of Statistics(1958): 207-210.