something about Parameter Estimation (参数估计)

点估计 Point Estimation

• 最大似然估计(Maximum Likelihood Estimate —— MLE)：视θ为固定的参数，假设存在一个最佳的参数（或参数的真实值是存在的），目的是找到这个值。
  • θ = argmax l(θ)
• 最大后验估计(Maximum a Posteriori Estimate —— MAP)：视θ为一个随机变量，存在分布p(θ)，将其先验分布带入，但仍然假设存在最优的参数。
  • θ = argmax l(θ)*p(θ) （即假设θ也是随机变量，存在着先验分布）
• MLE与MAP的关系：当我们对θ的分布完全未知时，MLE等价于MAP
• 参数估计的一致性Conference指：随着样本容量的增大收敛到参数真值的估计量；
• 参数估计的无偏性unbiased指：估计量的期望与被估计量的真值相等。

贝叶斯估计 Bayesian Estimation

与点估计不同的是，在贝叶斯观点中，θ是一个分布/随机变量，所以估计应该是一个分布，而不是一个值（点）！

p(θ|D)是贝叶斯参数估计的输出，是一个完整的分布，而不是一个点。

非参数估计 Non parameter estimation

常用的参数估计的形式基本都是单模的（Single Modal），不足以描述复杂的数据分布，应该以训练数据自身来估计分布。