KNN——图像分类

内容参考自：https://zhuanlan.zhihu.com/p/20894041?refer=intelligentunit

用像素点的rgb值来判断图片的分类准确率并不高，但是作为一个练习knn的题目，还是挺不错的。

1. CIFAR-10

CIFAR-10是一个图像分类数据集。数据集包含60000张32*32像素的小图片，每张图片都有一个类别标注(总共有10类)，分成了50000张的训练集和10000张的测试集。

然后下载后得到的并不是实实在在的图片（不然60000张有点可怕...），而是序列化之后的，需要我们用代码来打开来获得图片的rgb值。

 import pickle

 def unpickle(file):
    with open(file, 'rb') as f:
    dict = pickle.load(f, encoding='latin1')
    return dict 

由此得到的是一个字典，有data和labels两个值。

data：

一个10000*3072的numpy数组，这个数组的每一行存储了32*32大小的彩色图像。前1024个数是red，然后分别是green,blue。

labels：
一个范围在0-9的含有10000个数的一维数组。第i个数就是第i个图像的类标。

2. 基于曼哈顿距离的1NN分类

这个训练文件很大，如果全部读的话会占据很多内存...第一次全部读直接内存爆炸直接死机。所以这里我就读了一个文件的内容。

 #! /usr/bin/dev python
 # coding=utf-8
 import os
 import sys
 import pickle
 import numpy as np

 def load_data(file):
     with open(file, 'rb') as f:
         datadict = pickle.load(f, encoding='latin1')
         X = datadict['data']
         Y = datadict['labels']
         X = X.reshape(10000, 3, 32, 32).transpose(0, 2, 3, 1).astype('float')
         Y = np.array(Y)
         return X, Y

 def load_all(root):
     xs = []
     ys = []
     for n in range(1, 2):
         f = os.path.join(root, 'data_batch_%d' %(n,))
         X, Y = load_data(f)
         xs.append(X)
         ys.append(Y)
     X_train = np.concatenate(xs)   #转换为行向量
     Y_train = np.concatenate(ys)
     del X, Y
     X_test, Y_test = load_data(os.path.join(root, 'test_batch'))
     return X_train, Y_train, X_test, Y_test

 def classTest(Xtr_rows, Xte_rows, Y_train):
     count = 0
     numTest = Xte_rows.shape[0]
     result = np.zeros(numTest)   #构造一维向量的结果
     for i in range(numTest):
         distance = np.sum(np.abs(Xtr_rows - Xte_rows[i,:]), axis=1)
         min_dis = np.argmin(distance)
         result[i] = Y_train[min_dis]
         print('%d:  %d' %(count, result[i]))
         count += 1
     return result

 if __name__ == '__main__':
     X_train, Y_train, X_test, Y_test = load_all('D:\学习资料\机器学习\cifar-10-python\\')
     Xtr_rows = X_train.reshape(X_train.shape[0], 32 * 32 * 3)
     Xte_rows = X_test.reshape(X_test.shape[0], 32 * 32 * 3)
     result = classTest(Xtr_rows, Xte_rows, Y_train)
     print('accuracy: %f' % (np.mean(result == Y_test)))

最后测试结果如下：（跑了很久...）

3. KNN

有了上面的基础，接下来要实现最KNN就很简单了，保存与测试数据最接近的k个数据，最后选出最多的即可。

 def classTest(Xtr_rows, Xte_rows, Y_train, k):
     count = 0
     numTest = Xte_rows.shape[0]
     result = np.zeros(numTest)   #构造一维向量的结果
     for i in range(numTest):
         classCount = {}
         distance = np.sum(np.abs(Xtr_rows - Xte_rows[i,:]), axis=1)
         distance = distance.argsort()
         for j in range(k):
             votelabel = Y_train[distance[j]]
             classCount[votelabel] = classCount.get(votelabel, 0) + 1
             sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
         result[i] = sortedClassCount[0][0]
         print('%d:  %d' % (count, result[i]))
         count += 1
     return result

4. 验证

对于如何确定一个最佳的k值，我们就需要去做验证，需要注意的是测试集不能作为验证集去验证。一般来说就是将训练数据分为两部分，一部分作为验证集去确定最佳的k值，最后再去用该k值去测试。

如果数据不是很多的话，那么就可以用交叉验证来寻找最佳的k值，交叉验证就是将数据分为多份，依次选一份作为验证集，比如将训练数据分为5分，然后进行5次训练，每次将其中一份作为验证集，另外四份作为训练集。