图像识别sift+bow+svm

本文概述

利用SIFT特征进行简单的花朵识别

SIFT算法的特点有：

1. SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；
2. SIFT算法提取的图像特征点数不是固定值，维度是统一的128维。
3. 独特性（Distinctiveness）好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；
4. 多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；
5. 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求；
6. 可扩展性，可以很方便的与其他形式的特征向量进行联合。

KMeans聚类获得视觉单词，构建视觉单词词典

现在得到的是所有图像的128维特征，每个图像的特征点数目还不一定相同（大多有差异）。现在要做的是构建一个描述图像的特征向量，也就是将每一张图像的特征点转换为特征向量。这儿用到了词袋模型，词袋模型源自文本处理，在这儿用在图像上，本质上是一样的。词袋的本质就是用一个袋子将所有维度的特征装起来，在这儿，词袋模型的维度需要我们手动指定，这个维度也就确定了视觉单词的聚类中心数。

将图像特征点映射到视觉单词上，得到图像的特征向量：

熟悉聚类算法的同学已经明白了，上面讲的簇就是通过聚类算法得到的，聚类算法将类别相近，属性相似的样本框起来，是一种无监督学习算法。在本文中，我使用了Kmeans算法来聚类得到视觉单词，通过聚类得到了聚类中心，通过聚类得到了表征词袋的特征点。

我们得到k个聚类中心（一个聚类中心表征了一个维度特征，k由自己手动设置）和先前SIFT得到的所有图片的特征点，现在就是要通过这两项来构造每一张图像的特征向量。

在本文中，构造的思路跟简单，就是比对特征点与所有聚类中心的距离，将特征点分配到距离最近的特征项，比如经计算某特征点距离leg这个聚类中心最近，那么这个图像中leg这个特征项+1。以此类推，每一张图像特征向量也就构造完毕。

pickle读取文件

pickle可以存储什么类型的数据呢？

1. 所有python支持的原生类型：布尔值，整数，浮点数，复数，字符串，字节，None。

2. 由任何原生类型组成的列表，元组，字典和集合。

3. 函数，类，类的实例

4. pickle模块中常用的方法有：

    1.pickle.dump(obj, file, protocol=None,)
   

   必填参数obj表示将要封装的对象

   必填参数file表示obj要写入的文件对象，file必须以二进制可写模式打开，即“wb”

   可选参数protocol表示告知pickler使用的协议，支持的协议有0,1,2,3，默认的协议是添加在Python 3中的协议3

    2.pickle.load(file,*,fix_imports=True,encoding="ASCII", errors="strict")
   

   必填参数file必须以二进制可读模式打开，即“rb”，其他都为可选参数

支持向量机

支持向量机的两个参数（调参增大准确率）

SVM模型有两个非常重要的参数C与gamma。其中 C是惩罚系数，即对误差的宽容度。c越高，说明越不能容忍出现误差,容易过拟合。C越小，容易欠拟合。C过大或过小，泛化能力变差

gamma是选择RBF函数作为kernel后，该函数自带的一个参数。隐含地决定了数据映射到新的特征空间后的分布，gamma越大，支持向量越少，gamma值越小，支持向量越多。支持向量的个数影响训练与预测的速度。

此外大家注意RBF公式里面的sigma和gamma的关系如下：

这里面大家需要注意的就是gamma的物理意义，大家提到很多的RBF的幅宽，它会影响每个支持向量对应的高斯的作用范围，从而影响泛化性能。我的理解：如果gamma设的太大，会很小，很小的高斯分布长得又高又瘦， 会造成只会作用于支持向量样本附近，对于未知样本分类效果很差，存在训练准确率可以很高，(如果让无穷小，则理论上，高斯核的SVM可以拟合任何非线性数据，但容易过拟合)而测试准确率不高的可能，就是通常说的过训练；而如果设的过小，则会造成平滑效应太大，无法在训练集上得到特别高的准确率，也会影响测试集的准确率。

算法流程：

1. SIFT提取每幅图像的特征点：

    import csv
    import os
    from sklearn.cluster import KMeans
    import cv2
    import numpy as np
   
    def knn_detect(file_list,cluster_nums, randomState = None):
        content = []
        input_x = []
        labels=[]
        features = []
        count = 0
        csv_file = csv.reader(open(file_list,'r'))
    	#读取csv文件
        for line in csv_file:
            if(line[2] !='label'):
                subroot = 'F:\\train\\g' + str(line[2])
    			#路径拼接成绝对路径
                filename =os.path.join(subroot, line[1])
                sift = cv2.xfeatures2d.SIFT_create(200)
                img = cv2.imdecode(np.fromfile(filename,dtype=np.uint8),-1)
    			#用np读图像，避免了opencv读取图像失败的问题
                if img is not None:
   
                    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
                    kpG, desG = sift.detectAndCompute(gray, None)
    				#关键点描述符
   
                    if desG is None:
    					#关键点不存在就结束循环
                        continue
                    print(count)
                    count+=1
                    ll = np.array(line[2]).flatten()
                    labels.append(ll)
    				#得到标签
                    features.append(desG)
    				#得到图像的特征矩阵
                    input_x.extend(desG)
        print(len(input_x))
        return features,labels,input_x
   
    #训练集图片处理
    des_list = []
    labelG = []
    input_x1 = []
    des_list,labelG,input_x1 = knn_detect('E:\\py\\train.csv',50)
    #测试机图片处理
    festures_test = []
    labels_test  = []
    input_x2 = []
    features_test,labels_test,input_x2 = knn_detect('E:\\py\\test.csv',50)
   

结果截图：

1. 保存中间变量：

    #利用pickle保存中间变量
    import numpy as np
    import matplotlib.pyplot as plt
    import pandas as pd
    import pickle
   
    output = open('input_x2.pkl', 'wb')
    pickle.dump(input_x2, output)
    output.close()
   
    output = open('features_test.pkl', 'wb')
    pickle.dump(features_test, output)
    output.close()
   
    output = open('labels_test.pkl', 'wb')
    pickle.dump(labels_test, output)
    output.close()
   
    output = open('input_x22.pkl', 'wb')
    pickle.dump(input_x2, output,protocol=2)
    output.close()
   

2. 将图像特征点映射到视觉单词上，得到图像特征：

    df=open('input_x2.pkl','rb')#注意此处是rb
    #此处使用的是load(目标文件)
    input_x1=pickle.load(df)
    df.close()
    kmeans = KMeans(n_clusters = 50, n_jobs =4,random_state = None).fit(input_x1)
    #开四个线程加快计算
    centers = kmeans.cluster_centers_
   

3. 将图像特征点映射到视觉单词上，得到图像的特征向量：

    def des2feature(des,num_words,centures):
    '''
    des:单幅图像的SIFT特征描述
    num_words:视觉单词数/聚类中心数
    centures:聚类中心坐标
    计算特征矩阵中特征点离聚类中心最近的加1
    return: feature vector 1*num_words
    '''
    img_feature_vec=np.zeros([num_words])
    for fi in des:
        diffMat = np.tile(fi, (50, 1)) - centers
        sqSum = (diffMat**2).sum(axis=1)
        dist = sqSum**0.5
        sortedIndices = dist.argsort()
        idx = sortedIndices[0] # index of the nearest center
    	#排序得到距离最近的聚类中心坐标的索引
        img_feature_vec[idx] += 1
    return img_feature_vec
   
    def get_all_features(des_list,num_words):
    # 获取所有图片的特征向量
    allvec=np.zeros((len(des_list),num_words),'float32')
    for i in range(len(des_list)):
        if des_list[i].any()!=None:
            allvec[i]=des2feature(centures=centers,des=des_list[i],num_words=num_words)
    return allvec
   
    df=open('des_list.pkl','rb')#注意此处是rb
    #此处使用的是load(目标文件)
    des_list=pickle.load(df)
    df.close()
    a =get_all_features(des_list,50)
    print(len(a))
    output = open('特征向量.pkl', 'wb')
    pickle.dump(a, output)
    output.close()
   

4. svm训练，查看准确率：

    import numpy as np
    import matplotlib.pyplot as plt
    import pandas as pd
    import pickle
    from sklearn.preprocessing import StandardScaler
    df=open('label_train.pkl','rb')#注意此处是rb
    #此处使用的是load(目标文件)
    label_train=pickle.load(df)
    df.close()
    df=open('label_test.pkl','rb')#注意此处是rb
    #此处使用的是load(目标文件)
    label_test =pickle.load(df)
    df.close()
    sc = StandardScaler()
    X_train = sc.fit_transform(a)
    X_test = sc.fit_transform(b)
   
    from sklearn.svm import SVC
    classifier = SVC(C=15)
    #适当调整参数，不是一个固定值
    classifier.fit(X_train,label_train)
   
    y_pred = classifier.predict(X_test)
   
    print(classifier.score(X_train,label_train))
    from sklearn.metrics import classification_report
    print(classification_report(label_test,y_pred))
   

结果截图：