最大似然估计的缺陷 —— 方差和均值的 bias

0. 均匀分布期望的最大似然估计

首先我们来看，如何通过最大似然估计的形式估计均匀分布的期望。均匀分布的概率密度函数为：f(x|θ)=1θ,0≤x≤θ。不失一般性地，将 x1,x2,…,xn 排序为顺序统计量：x(1)≤x(2)≤⋯≤x(n)。则根据似然函数定义，在此样本集合上的似然函数为：

L(θ|x)=∏i=1n1θ=θ−n(∗)

对 x(1)≥0,x(n)≤θ，否则为 0。然后求其对数形式关于 θ 的导数：

dlnL(θ|x)dθ=−nθ<0.

导数小于 0，因此可以说 L(x|θ) 是单调减函数 θ≥x(n)，因此当 θ=x(n)（θ 能取到的最小值），也即 θ=max{x1,x2,…,xn} 时，L(x|θ) 值最大，则关于 θ 的最大似然估计为：

θ^=x(n)=max{x1,x2,…,xn}

1. 方差的有偏估计（biased estimation）

How to understand that MLE of Variance is biased in a Gaussian distribution?

2. 均值的有偏估计（biased estimation）

Is there an example where MLE produces a biased estimate of the mean?

[0,θ] 区间上的均匀分布为例，独立同分布地采样样本 x1,x2,…,xn，我们知均匀分布的期望为：θ2。

由第一部分知，该均匀分布期望的最大似然估计为：max{x1,x2,…,xn}/2，显然有：

P(max<θ)=1

所以有：E(max/2)<θ/2.