模式识别之基础---mqdf分类器==MQDF改进的二次分类器

QDF假设样本符合高斯分布，通过估计均值与协方差矩阵，训练分类器。但是由于特征维数较高，时空复杂度较高。（协方差矩阵的维数为 特征维数*特征维数）。而且协方差矩阵往往存在不满秩无法求逆的情况（样本数《特征维数）。MQDF主要有以下改进：1、在协方差矩阵的对角线上加一个小的常量，保证矩阵的满秩（非奇异性）。2、对协方差矩阵进行特征值分解，将特征值按照逆序排列（matlab的eig函数默认已经是降序），选取一定数量的特征值（截断维数），将较小的特征值用常量代替。从而降低分类器的空间复杂度。如果原始特征维数过高，往往首先进行降维（PCA LDA）。

分类器的训练：协方差越大，包含的信息量就越多，最后分类就越准。所谓二次分类器，就如初等数学里的二次函数，协方差矩阵反应的是特征之间的散布情况，每个训练样本都可以看作是方程组的一个观测解，比如初等代数中求解3元一次方程，需要三个独立方程。所以训练时的样本数要达到一定数量才可以有较为准确的解。

OCR中的多类问题如何处理？（车牌识别是小字符集问题）

相似的字符符合分类？（如数字0和字母O）

http://blog.sina.com.cn/s/blog_49d1bc3601011w3w.html