使用HOG特征+BP神经网络进行车标识别

---

先挖个坑，快期末考试了，有空填上w

好了，今晚刚好有点闲，就把坑填上吧。

//-------------------------------开篇-------------------------------------------

首先讲一下，这篇随笔不是讲HOG特征是什么，怎么提取（这种图像特征网上一搜一大把），也不是讲BP神经网络工作原理，发展史啥的（机器学习小白，ANN深究我也不懂）。在这里我要讲的是，车标识别怎么code，怎么使用OpenCV自带的BP神经网络训练，以及识别。好了废话不多说，咱们开始吧。

//------------------------要准备的东西---------------------------------

正式讲代码前讲一下正式完成本工程需要什么准备工作。

1、配置Opencv 2.4.6及以上版本的VS 2010+，OpenCV 3可能改动的比较大，对本工程来说不建议。

2、一个车标库，尽量多一点，本工程共使用900来张车标样本，分为训练集（560张）和测试集（371张）

（工程迁移到我的Github仓库了）

//--------------------------正篇-----------------------------------------

准备好了以上的东西，我们就可以开始了。

我将结合代码分几步来讲怎么识别图像特征、喂给BP神经网络来识别车标，一步一步扩充代码

////第一步  建立工程

简单讲一下工程预处理吧，本工程就一个main.cpp文件，因此在建好工程后，建一个main.cpp就可以了。然后将我们的车标库test测试集和train训练集放在和整个工程同一目录下。

为了读取图片方便，我们使用两个txt文件trainpath、和testpath来保存每张图片的路径（路径文件在车标库里有，但是如果要使用这两个文件，就必须把他们放在main.cpp同一个目录下，同时，车标库也必须放在和工程同一目录下）

这是车标库和工程的存放位置关系

这是图片路径文件和main.cpp的关系

为main.cpp添加opencv的头文件，因为对OpenCV的结构不是特别熟，因此大家只要把万用的头文件一股脑写出来就行

 #include <iostream>
 #include <fstream>
 #include <opencv.hpp>
 #include <highgui.h>
 #include <cxcore.h>
 #include <cstring>
 #include <ml.h>
 #include <vector>
 #include <iomanip>

本工程用了以上头文件。

哦对了，还有两个名字空间，写一下吧

 using namespace std;
 using namespace cv;

有些头文件就用了一两个函数啦，比如cstring就用到了个memset()23333，还有些OpenCV 1.x版本的头文件也挺多余的，不过还是都写上吧，免得报错了

////第二步    初始化工作

然后我们就开始带代码的编写工作了，我们按照main.cpp的代码顺序来讲。

我们先定义代码要用到的全局变量：

 //----------------------------全局变量定义---------------------------------
     vector<float> descriptors;               //HOG特征存放向量
     float    data[m_NUM][F_NUM];             //样本特征存放数组
     float    f[][F_NUM];                        //测试样本特征存放数组
     float    dataCls[m_NUM][CLASSNUM];       //样本所属类别
     int      mClass ;                        //训练样本所属类别
     int      dNum;                           //训练样本个数

其中有几个宏要在之前定义一下

 #define  F_NUM    1764     //7*7*9*4  车标特征维数
 #define  m_NUM    560      //训练样本个数
 #define  CLASSNUM 4        //车标种类 

解释一下两段数据的设置

首先讲一下特征数目吧，HOG特征其实是一个1×N维的特征矩阵，N的确定由检测窗口大小、块大小、胞元大小决定。每个胞元9个bin。

本实验检测窗口定为64×64，就是整张图片的大小，块大小16×16，胞元8×8，步进8×8，这样一张图片就有(64/8-1)*(64/8-1)*9*（16*16）/(8*8)=1764维特征

那么560个样本就有560*1764个特征，就构成了特征矩阵data[560][1764]。

来看看OpenCV的神经网络训练函数

 int CvANN_MLP::train(const Mat& inputs, const Mat& outputs, const Mat& sampleWeights, const Mat& sampleIdx=Mat(), CvANN_MLP_TrainParams params=CvANN_MLP_TrainParams(), int flags= );

这是我们之后要用到的关键函数，OpenCV自带的神经网络训练函数，我们依次来看下参数

第一个input是一个num×F_NUM的训练数据输入矩阵，num是样本个数，F_NUM是每个样本的特征数目，是不是刚好对应了我们的data矩阵。但是我们看到，data是浮点型数组，inputs是Mat阵，怎么统一呢？其实OpenCV在初始化Mat的时候，就可以使用一般的二维数组进行赋值，只要数据类型匹配，并且维度相等就行了，就像下面一样

 Mat trainDate(m_NUM,F_NUM,CV_32FC1,data);

这里使用一个data的首地址初始化了trainData这个输入阵。

再来解释下dataCls为什么是560×4的。

继续看trian()函数的第二个参数，outputs，是一个num×CLASSNUM的数据阵，num是样本个数，CLASSNUM是样本的总类别数。

当然对于560个数据，每个数据都要有一个类别。CLASSNUM是4，那么这个阵具体是怎么样初始化的呢？

举个例子，0号样本属于第1类，那么dataCls[0]={1,0,0,0}   也就是说，对应的那一类初始化为1，其余的都是0。

我们同样使用上述的初始化数据阵的方法将dataCls的内容复制到trainLable中（注意，dataCls和data数组要严格对齐，就是说，x号样本的特征放在data[x]里，所属类别放在dataCls[x]里）

 Mat trainLable(m_NUM,CLASSNUM,CV_32FC1,dataCls);

对于train的其他参数，除了params需要注意下，其他都是默认的。

////第三步   读取训练样本，填充数据矩阵data和类别矩阵dataCls

首先，我们定义了全局变量，要进行初始化工作，那么写完void main()后的第一件事就是调用init()函数，进行初始化工作，init()代码如下

/**************************************************
*名称：init()
*参数：void
*返回值：void
*作用：初始化各类参数
****************************************************/
void  init()
{
    memset(data,,sizeof(data));
    memset(dataCls,,sizeof(dataCls));
     mClass = -;                //初始类别为-1
       dNum = ;                //统计样本个数，其实没软用，对于本工程样本个数固定为560
}

之后是读入图像和提取HOG特征，并记录样本所属类别和填充数据矩阵，代码如下

    init();
    ifstream in("trainpath.txt");string s,ss;
    while( in >> s){
        if(ss != s.substr(,)){
            mClass++;            //类别是0，1，2，3
            cout<<mClass<<endl;
        }
        ss = s.substr(,);
         cout<<s<<endl;
//------------------------读入图像，缩放图像----------------------------
        Mat imge = imread(s),img;
        if(imge.empty())
        {
            cout<<"image load error!"<<endl;
            system("pause");
            return ;
        }
        resize(imge,img,Size(,)); 

//------------------------提取HOG特征，放入特征数组---------------------
        getHOG(img);

        packData(sta);        //填充特征数组和类别数组

    }

稍微解释一下流程。

先定义一个文件流用于读取训练集路径文件trainpath.txt，这个txt文件保存了所有训练集的文件路径，一行一个，像这样

..\..\data\train\Citroen\X-雪铁龙_1350198-01_201502010833146800.jpg
..\..\data\train\Citroen\X-雪铁龙_1350198-01_201502010841008800.jpg
..\..\data\train\Citroen\X-雪铁龙_1350198-01_201502010845367300.jpg

　　而且，不同类别的车标放在一起，举个例子，共400行，前100行是雪铁龙，再100行本田，再100行一汽，再100行福田（每个字符串的前17行是一样的，19行肯定不一样）

这样有个好处，可以方便地统计这个图片路径对应的图片属于哪个种类的车。我们从代码来看这个过程。

先定义两个字符串ss和s，文件流一行行读入并保存一行到s,取前19行，如果不等于ss，就让mClass+1。

可以看到，初始mClass=-1.并且第一个字符串肯定不等于ss(因为此时ss为空)，那么第一个图片数据就属于类别0，之后保存ss为s的前19位。

这样，读完整个图片路径，4种车标就可以很清楚地被区分了。

然后后面这个是读图保护，不管他，

然后读入图片，使用resize函数将其压缩到64×64，看到没，这就是我们提取HOG时候的检测窗口大小。

调用getHog(img)获取图像的HOG特征，这个getHog是自定义函数，写在main函数前面就行，代码如下：

 /**************************************************
 *名称：getHOG()
 *参数：Mat& img
 *返回值：void
 *作用：获取图像的HOG特征
 ****************************************************/
 void getHOG(Mat& img)
 {
     HOGDescriptor *hog = new HOGDescriptor(
             Size(,),      //win_size  检测窗口大小，这里即完整的图
             Size(,),      //block_size  块大小
             Size(,),        //blackStride 步进
             Size(,),        //cell_size  细胞块大小
                                //9个bin
             );
     hog -> compute(           //提取HOG特征向量
         img,
         descriptors,          //存放特征向量
         Size(,),            //滑动步进
         Size(,)
         );
     delete hog;
     hog = NULL;
 }

这里其实就调用了几个openCV自带的函数，对传进来的图片进行特征提取而已。有一点要注意，compute函数的第二个参数

descriptors是全局变量，记不起来的可以去前面的全局变量定义的地方找找，它就是用来保存提取到的HOG特征。

刚才我们也计算过了，一张图1764个特征，也就是一次提取，descriptors就放一次1×1764的数据。

那么提取到一张图的特征后，我们要把他放到data里，那么就是packData了，同样，packData是一个全局函数

void packData()
{
        int p = ;
        for (vector<float>::iterator it = descriptors.begin(); it != descriptors.end(); it++)
        {
            data[dNum][p++] = *it;
        }
        dataCls[dNum++][mClass] = 1.0;
}

前一半的for循环用来从descriptors中的向量填到data矩阵中，后一个语句就是更新它对应的类别矩阵。

循环执行完，我们的数据也填充完毕了，接下来就是建立网络训练了。

////第四步   建立神经网络  训练参数矩阵

先上这部分代码

 //------------------------建BP神经网络，开始训练------------------------
     CvANN_MLP bp;

     CvANN_MLP_TrainParams params;
     params.term_crit=cvTermCriteria(CV_TERMCRIT_ITER+CV_TERMCRIT_EPS,,0.001);  //迭代次数7000,最小误差0.001
     params.train_method=CvANN_MLP_TrainParams::BACKPROP;   //训练方法反向传播
     params.bp_moment_scale=0.1;
     params.bp_dw_scale=0.1;

     Mat layerSizes = (Mat_<int>(,) << F_NUM,, );  //3层神经网络
     Mat trainDate(m_NUM,F_NUM,CV_32FC1,data);
     Mat trainLable(m_NUM,CLASSNUM,CV_32FC1,dataCls);
     bp.create(layerSizes, CvANN_MLP::SIGMOID_SYM);          //激活函数sigmoid
     system("cls");
     cout<<"训练中...训练时间大致需要6分钟，请耐心等待";
     bp.train(trainDate,trainLable, Mat(),Mat(), params);  //开始训练

     system("cls");
     cout << "训练完成！！" <<endl;

CvANN_MLP是openCV自带的人工神经网络类，可以直接用，很方便吧。

我们先定义了一个CvANN_MLP类，然后看第二块，第二块就是神经网络的一些参数的设定，具体注释都有，就不讲了

第三块：第11行，定义神经网络层数为3层，第一层：F_NUM个神经元，还记得F_NUM吗？全局变量，就是特征数1764！

总之神经网络就是1764,48,4共3层，每次节点数就是这么几个。

12-13行，看见没，这就是把我们填充完的数据数组和类别数组赋值给Mat阵，之后就能调用create函数啦，创建一个网络，使用SIGMOID函数什么的。

然后是训练，train()之前也说过。SO EASY!

等待6分钟左右，训练就结束了，之后就是测试了

////第五步   测试神经网络

老规矩，上代码再说

 //---------------------------------读入图像，开始测试--------------------------
     system("cls");
     cout<<"开始测试..."<<endl;
     system("cls");
     Mat imge,img;

     ifstream ins("testpath.txt");

     int cls = -;
     int num=,c_num=;
     while( ins >> s){
         memset(f,,sizeof(f));
         if(ss != s.substr(,)){
             cls++;
             cout<<cls<<endl;
         }
         cout<<s<<endl;
         ss = s.substr(,);
         imge = imread(s);
         resize(imge,img,Size(,));         //使用线性插值
         num++;
         if (classifier(img,bp) == cls)
         {
             c_num++;
         }

     }
     system("cls");
     cout<<"测试完成"<<endl;
     cout<<"***************************************"<<endl;
     cout<<"*样本个数："<<num<<endl;
     cout<<"*正确个数："<<c_num<<endl;
     cout<<"*正确率："<<setprecision()<<(float)c_num/num*<<"%"<<endl;
     cout<<"***************************************"<<endl;
     system("pause");

测试就不说太多了了，无非读一下测试路径集，匹配一下，唯一要讲的就是那个第22行的classiffier函数，这个也是个全局函数，上代码吧2333

/**************************************************
*名称：classifier()
*参数：Mat&  CvANN_MLP&
*返回值：int
*作用：求解测试结果最相邻类别
****************************************************/
int classifier(Mat& image,CvANN_MLP& bp)
{

    getHOG(image);
    int p = ;

for (vector<float>::iterator it = descriptors.begin(); it != descriptors.end(); it++)
 {
         f[0][p++] = *it;
  }

Mat nearest(, CLASSNUM, CV_32FC1, Scalar()); Mat charFeature(, F_NUM, CV_32FC1,f); bp.predict(charFeature, nearest); Point maxLoc; minMaxLoc(nearest, NULL, NULL, NULL, &maxLoc); int result = maxLoc.x; return result; }

这个函数返回神经网络预测测试图片最可能的所属类别。之后就是统计正确个数了。

//--------------------------结语-----------------------------------------

代码全写在一个cpp里了2333，为了方便讲解，也方便自己学习嘛，不知道你有没有看明白我讲的呢ww。

可能以上讲解也有疏漏，如果建完工程还是有问题的话，就直接下载下面的工程对照着这个讲解再看一遍吧Orz（注意，运行前保证环境搭好，而且文件路径不要更改）

（附完整工程下载地址：https://github.com/Holy-Shine/carLogoRec）

有兴趣的小伙伴star一下仓库吧嘻嘻。