1.算法工作原理

　　存在一个训练样本集，我们知道样本集中的每一个数据与所属分类的对应关系，输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应特征进行比较，然后算法提取样本集中特征最相似的数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处。通常k是不大于20的整数。

　　比如匹配是爱情片，还是动作片，将已知电影和未知电影比较，算出距离

　　

　　假如k = 3,前三部又是爱情片，所以我们可判定此电影为爱情片。

2.算法流程

　　1.准备：使用python导入数据。

　　　　创建kNN.py模块

　　　　这里我们先用自己输入的数据测试。

from numpy import *  #科学计算包

import operator #运算符模块

def createDataSet():

    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) #创建数据集

    labels = ['A','A','B','B']      #标签

    return group,labels

def classify(inX,dataSet,labels,k):

    dataSetSize = dataSet.shape[0]  #求数组的行数

    diffarray = tile(inX, (dataSetSize, 1))-dataSet   #tile使inx变为和dataSet相同行数的数组

    squarediffarray = diffarray**2  # x^2 , y^2

    sqDistances = squarediffarray.sum(axis=1) #对每一行向量求和

    distances = sqDistances**2 #对每个和开根号

    sortedDistIndexes = distances.argsort()  #将所有值从小到大排序，取原先的索引

    mp = {}

    for i in range(k):

        templabel = labels[sortedDistIndexes[i]]

        mp[templabel] = mp.get(templabel,0)+1 #dict.get(key,default=None),不存在返回0

    sortedmp = sorted(mp.items(),key=operator.itemgetter(1),reverse=True) #[('D', 312), ('I', 100), ('C', 4), ('B', 3), ('A', 1)]

    #将出现次数较多的情况返回

    return sortedmp[0][0]

def main():

    group,labels = createDataSet()

    var = classify([0.8,1.0],group ,labels , 3)

    print(var)

main()
A

首先讨论的数组和矩阵的区别：

#数组和矩阵的区别

from numpy import *

var = array([[1,2],[3,4]])

matr = mat(var)

#print(type(var))

print(var**2)

print(matr**2)

print(var.shape[0])

print(matr.shape[0])
[[ 1  4]

 [ 9 16]]

[[ 7 10]

 [15 22]]

2

2

数组的平方是对数组中的每个元素平方，矩阵的平方是两个矩阵相乘。

shape[0]可以计算数组和矩阵的行数。

关于tile,戳这

kNN中的应该还是数组

from numpy import *  #科学计算包

import operator #运算符模块

b = [1,3,5]

var = tile(b, (2, 3))

print(type(var))
<class 'numpy.ndarray'>

关于sum(axis=1)，戳这

关于argsort,戳这

python 3.6下，将iteritems换成了items.

sort排序

from numpy import *  #科学计算包

import operator #运算符模块

mp = {}

mp['A'] = mp.get('A',1)

mp['B'] = mp.get('B',3)

mp['C'] = mp.get('C',4)

mp['D'] = mp.get('D',312)

mp['I'] = mp.get('I',100)

so = sorted(mp.items(),key=operator.itemgetter(1),reverse=False)

print(so)
[('A', 1), ('B', 3), ('C', 4), ('I', 100), ('D', 312)]

items()将dict分解为元组列表.

示例：使用kNN算法改进约会网站

使用Matplotlit创建散点图

此时代码

#该函数的输入为文本名字符串，输出位训练样本矩阵和类标记向量

def filearray(filename):

    fr = open(filename)

    #a = array([1,2,3,4,5])

    arrayOLines = fr.readlines()

    #print(arrayOLines)

    #numberOfLines = len(a)

    numberOfLines = len(arrayOLines)

    #print(numberOfLines)

    #print(type(zeros((numberOfLines,3))))

    returnarray = zeros((numberOfLines,3))

    labels = []

    index = 0

    for line in arrayOLines:

        line = line.strip() #去掉回车

        #print(line)

        listFromLine = line.split('\t')

        #print(listFromLine)  #变成列表

        returnarray[index,:] = listFromLine[0:3]

        labels.append(int((listFromLine[-1]))) #应用数据错误

        index += 1

    return returnarray,labels

def main():

    # group,labels = createDataSet()

    # var = classify([0.8,1.0],group ,labels , 3)

    # print(var)

    #datingDataArray,datinglabels = filearray('d3.txt')

    datingDataArray,datinglabels = filearray('datingTestSet2.txt')

    fig = plt.figure()

    ax = fig.add_subplot(111)

    ax.scatter(datingDataArray[:,1],datingDataArray[:,2]) #第1列和第2列

    plt.show()

    #print(datingDataArray)

    #print(datinglabels)

main()

对应散点图

绘制不同色彩，三类人

ax.scatter(datingDataArray[:,1],datingDataArray[:,2],

    15.0*array(datinglabels),15.0*array(datinglabels)) #第1列和第2列

对后面还15.0乘还不太理解

使用第一列和第二列更容易得出结论。

#数值归一化

#(oldValue - minVal)/(maxVal-minVal)

def autoNorm(dataSet):

    minVals = dataSet.min(0)  #获取每一列的最小值和最大值

    maxVals = dataSet.max(0)

    # print(minVals)

    # print(maxVals)

    ranges = maxVals-minVals

    #print(shape(dataSet)) (9, 3)

    normDataSet = zeros(shape(dataSet)) #shape()返回矩阵规模

    m = dataSet.shape[0]

    normDataSet = dataSet - tile(minVals, (m, 1))

    normDataSet = normDataSet/tile(ranges, (m, 1))

    #print(normDataSet)

    return normDataSet,ranges,minVals

#计算错误率

def datingCalcError():

    Radio = 0.1

    datingDataArray,datinglabels = filearray('datingTestSet2.txt')

    normArray,ranges,minVals = autoNorm(datingDataArray)

    m = normArray.shape[0]

    numOfTestData = int(m*Radio) #10%

    errorNumber = 0.0  #浮点数

    for i in range(numOfTestData): #90%

        classifierResult = classify(normArray[i,:],normArray[numOfTestData:m,:],\

            datinglabels[numOfTestData:m],3)

        print("the test result:%d, the real result:%d"%(classifierResult,datinglabels[i]))

        if(classifierResult!=datinglabels[i]): errorNumber += 1.0

    print("the error rate is %f"%(errorNumber/(float(numOfTestData))))

# main()

datingCalcError()

约会网站预测

from numpy import *  #科学计算包

import operator #运算符模块

import matplotlib

import matplotlib.pyplot as plt

def createDataSet():

    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) #创建数据集

    labels = ['A','A','B','B']      #标签

    return group,labels

def classify(inX,dataSet,labels,k):

    dataSetSize = dataSet.shape[0]  #求数组的行数

    diffarray = tile(inX, (dataSetSize, 1))-dataSet   #tile使inx变为和dataSet相同行数的数组

    squarediffarray = diffarray**2  # x^2 , y^2

    sqDistances = squarediffarray.sum(axis=1) #对每一行向量求和

    distances = sqDistances**2 #对每个和开根号

    sortedDistIndexes = distances.argsort()  #将所有值从小到大排序，取原先的索引

    mp = {}

    for i in range(k):

        templabel = labels[sortedDistIndexes[i]]

        mp[templabel] = mp.get(templabel,0)+1 #dict.get(key,default=None),不存在返回0

    sortedmp = sorted(mp.items(),key=operator.itemgetter(1),reverse=True) #[('D', 312), ('I', 100), ('C', 4), ('B', 3), ('A', 1)]

    #将出现次数较多的情况返回

    return sortedmp[0][0]

#该函数的输入为文本名字符串，输出位训练样本矩阵和类标记向量

def filearray(filename):

    fr = open(filename)

    #a = array([1,2,3,4,5])

    arrayOLines = fr.readlines()

    #print(arrayOLines)

    #numberOfLines = len(a)

    numberOfLines = len(arrayOLines)

    #print(numberOfLines)

    #print(type(zeros((numberOfLines,3))))

    returnarray = zeros((numberOfLines,3))

    labels = []

    index = 0

    for line in arrayOLines:

        line = line.strip() #去掉回车

        #print(line)

        listFromLine = line.split('\t')

        #print(listFromLine)  #变成列表

        returnarray[index,:] = listFromLine[0:3]

        labels.append(int((listFromLine[-1]))) #应用数据错误

        index += 1

    return returnarray,labels

def main():

    # group,labels = createDataSet()

    # var = classify([0.8,1.0],group ,labels , 3)

    # print(var)

    datingDataArray,datinglabels = filearray('d3.txt')

    #datingDataArray,datinglabels = filearray('datingTestSet2.txt')

    # fig = plt.figure()

    # ax = fig.add_subplot(111)

    # ax.scatter(datingDataArray[:,0],datingDataArray[:,1

    #     ],

    # 15.0*array(datinglabels),15.0*array(datinglabels)) #第1列和第2列

    # plt.show()

    #print(datingDataArray)

    #print(datinglabels)

    autoNorm(datingDataArray)

#数值归一化

#(oldValue - minVal)/(maxVal-minVal)

def autoNorm(dataSet):

    minVals = dataSet.min(0)  #获取每一列的最小值和最大值

    maxVals = dataSet.max(0)

    # print(minVals)

    # print(maxVals)

    ranges = maxVals-minVals

    #print(shape(dataSet)) (9, 3)

    normDataSet = zeros(shape(dataSet)) #shape()返回矩阵规模

    m = dataSet.shape[0]

    normDataSet = dataSet - tile(minVals, (m, 1))

    normDataSet = normDataSet/tile(ranges, (m, 1))

    #print(normDataSet)

    return normDataSet,ranges,minVals

#计算错误率

def datingCalcError():

    Radio = 0.1

    datingDataArray,datinglabels = filearray('datingTestSet2.txt')

    normArray,ranges,minVals = autoNorm(datingDataArray)

    m = normArray.shape[0]

    numOfTestData = int(m*Radio) #10%

    errorNumber = 0.0  #浮点数

    for i in range(numOfTestData): #90%

        classifierResult = classify(normArray[i,:],normArray[numOfTestData:m,:],\

            datinglabels[numOfTestData:m],3)

        print("the test result:%d, the real result:%d"%(classifierResult,datinglabels[i]))

        if(classifierResult!=datinglabels[i]): errorNumber += 1.0

    print("the error rate is %f"%(errorNumber/(float(numOfTestData))))

#约会网站测试函数

def classifyPerson():

    resultList = ['not at all','in small doses','in large doses']

    ffMiles = float(input('flier miles'))

    percentTats = float(input('playing game')) #不再有raw_input函数

    iceCream = float(input('ice cream'))

    datingDataArray,datinglabels = filearray('datingTestSet2.txt')

    normArray,ranges,minVals = autoNorm(datingDataArray)

    inArr = array([ffMiles,percentTats,iceCream])

    #print(inArr)

    classifierResult = classify(((inArr - minVals)/ranges),normArray, datinglabels, 3)

    print(resultList[classifierResult-1])

# main()

classifyPerson()

Code

使用kNN算法识别手写数字

from numpy import *  #科学计算包

import operator #运算符模块

import matplotlib

import matplotlib.pyplot as plt

from os import listdir #返回一个目录下文件名的列表

def createDataSet():

    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) #创建数据集

    labels = ['A','A','B','B']      #标签

    return group,labels

def classify(inX,dataSet,labels,k):

    dataSetSize = dataSet.shape[0]  #求数组的行数

    diffarray = tile(inX, (dataSetSize, 1))-dataSet   #tile使inx变为和dataSet相同行数的数组

    squarediffarray = diffarray**2  # x^2 , y^2

    sqDistances = squarediffarray.sum(axis=1) #对每一行向量求和

    distances = sqDistances**2 #对每个和开根号

    sortedDistIndexes = distances.argsort()  #将所有值从小到大排序，取原先的索引

    mp = {}

    #print(sortedDistIndexes[0:1024])

    for i in range(k):

        templabel = labels[sortedDistIndexes[i]]

        mp[templabel] = mp.get(templabel,0)+1 #dict.get(key,default=None),不存在返回0

    sortedmp = sorted(mp.items(),key=operator.itemgetter(1),reverse=True) #[('D', 312), ('I', 100), ('C', 4), ('B', 3), ('A', 1)]

    #将出现次数较多的情况返回

    return sortedmp[0][0]

#该函数的输入为文本名字符串，输出位训练样本矩阵和类标记向量

def filearray(filename):

    fr = open(filename)

    #a = array([1,2,3,4,5])

    arrayOLines = fr.readlines()

    #print(arrayOLines)

    #numberOfLines = len(a)

    numberOfLines = len(arrayOLines)

    #print(numberOfLines)

    #print(type(zeros((numberOfLines,3))))

    returnarray = zeros((numberOfLines,3))

    labels = []

    index = 0

    for line in arrayOLines:

        line = line.strip() #去掉回车

        #print(line)

        listFromLine = line.split('\t')

        #print(listFromLine)  #变成列表

        returnarray[index,:] = listFromLine[0:3]

        labels.append(int((listFromLine[-1]))) #应用数据错误

        index += 1

    return returnarray,labels

def main():

    # group,labels = createDataSet()

    # var = classify([0.8,1.0],group ,labels , 3)

    # print(var)

    datingDataArray,datinglabels = filearray('d3.txt')

    #datingDataArray,datinglabels = filearray('datingTestSet2.txt')

    # fig = plt.figure()

    # ax = fig.add_subplot(111)

    # ax.scatter(datingDataArray[:,0],datingDataArray[:,1

    #     ],

    # 15.0*array(datinglabels),15.0*array(datinglabels)) #第1列和第2列

    # plt.show()

    #print(datingDataArray)

    #print(datinglabels)

    autoNorm(datingDataArray)

#数值归一化

#(oldValue - minVal)/(maxVal-minVal)

def autoNorm(dataSet):

    minVals = dataSet.min(0)  #获取每一列的最小值和最大值

    maxVals = dataSet.max(0)

    # print(minVals)

    # print(maxVals)

    ranges = maxVals-minVals

    #print(shape(dataSet)) (9, 3)

    normDataSet = zeros(shape(dataSet)) #shape()返回矩阵规模

    m = dataSet.shape[0]

    normDataSet = dataSet - tile(minVals, (m, 1))

    normDataSet = normDataSet/tile(ranges, (m, 1))

    #print(normDataSet)

    return normDataSet,ranges,minVals

#计算错误率

def datingCalcError():

    Radio = 0.1

    datingDataArray,datinglabels = filearray('datingTestSet2.txt')

    normArray,ranges,minVals = autoNorm(datingDataArray)

    m = normArray.shape[0]

    numOfTestData = int(m*Radio) #10%

    errorNumber = 0.0  #浮点数

    for i in range(numOfTestData): #90%

        classifierResult = classify(normArray[i,:],normArray[numOfTestData:m,:],\

            datinglabels[numOfTestData:m],3)

        print("the test result:%d, the real result:%d"%(classifierResult,datinglabels[i]))

        if(classifierResult!=datinglabels[i]): errorNumber += 1.0

    print("the error rate is %f"%(errorNumber/(float(numOfTestData))))

#约会网站测试函数

def classifyPerson():

    resultList = ['not at all','in small doses','in large doses']

    ffMiles = float(input('flier miles'))

    percentTats = float(input('playing game')) #不再有raw_input函数

    iceCream = float(input('ice cream'))

    datingDataArray,datinglabels = filearray('datingTestSet2.txt')

    normArray,ranges,minVals = autoNorm(datingDataArray)

    inArr = array([ffMiles,percentTats,iceCream])

    #print(inArr)

    classifierResult = classify(((inArr - minVals)/ranges),normArray, datinglabels, 3)

    print(resultList[classifierResult-1])

def imgVector(filename):

    returnVector = zeros((1,1024))

    fr = open(filename)

    for i in range(32):

        lineStr = fr.readline()

        for j in range(32):

            returnVector[0,32*i+j] = int(lineStr[j])

    #print(returnVector[0,0:32])

    return returnVector

def handwritingClassTest():

    hwlabels = []

    trainingFileList = listdir('trainingDigits')

    m = len(trainingFileList) #list用len,array用shape[0]

    trainingArray = zeros((m,1024))    #储存训练矩阵

    for i in range(m):

        fileNameStr = trainingFileList[i]

        fileStr = fileNameStr.split('.')[0] #['0_100', 'txt']

        print(fileStr) #0_102

        classNum = int(fileStr.split('_')[0])

        hwlabels.append(classNum)

        #hwlabels[i] = classNum

        trainingArray[i,:] = imgVector('trainingDigits/%s'%fileNameStr)

    testFileList = listdir('testDigits')

    errorNumber = 0.0

    mTest = len(testFileList)

    for i in range(mTest):

        fileNameStr = testFileList[i]

        fileStr = fileNameStr.split('.')[0] #['0_100', 'txt']

        print(fileStr) #0_102

        classNum = int(fileStr.split('_')[0])

        testVector = imgVector('testDigits/%s'%fileNameStr)

        classifierResult = classify(testVector,trainingArray,hwlabels,3)

        print("the test result:%d, the real result:%d"%(classifierResult,classNum))

        if(classifierResult!=classNum): errorNumber += 1.0

    print("the error rate is %f"%(errorNumber/(float(mTest))))

    # for i in range(len(hwlabels)):

    #     print(hwlabels[i])

#main()

#classifyPerson()

#imgVector('testDigits/0_12.txt')

handwritingClassTest()

Code

k-近邻算法（kNN)的更多相关文章

  1. k近邻算法(KNN)

    k近邻算法(KNN) 定义:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别. from sklearn.model_selection ...

  2. 机器学习(四) 分类算法--K近邻算法 KNN (上)

    一.K近邻算法基础 KNN------- K近邻算法--------K-Nearest Neighbors 思想极度简单 应用数学知识少 (近乎为零) 效果好(缺点?) 可以解释机器学习算法使用过程中 ...

  3. 一看就懂的K近邻算法(KNN)，K-D树，并实现手写数字识别！

    1. 什么是KNN 1.1 KNN的通俗解释 何谓K近邻算法,即K-Nearest Neighbor algorithm,简称KNN算法,单从名字来猜想,可以简单粗暴的认为是:K个最近的邻居,当K=1 ...

  4. 机器学习(四) 机器学习(四) 分类算法--K近邻算法 KNN (下)

    六.网格搜索与 K 邻近算法中更多的超参数 七.数据归一化 Feature Scaling 解决方案:将所有的数据映射到同一尺度 八.scikit-learn 中的 Scaler preprocess ...

  5. k近邻算法(knn)的c语言实现

    最近在看knn算法,顺便敲敲代码. knn属于数据挖掘的分类算法.基本思想是在距离空间里,如果一个样本的最接近的k个邻居里,绝大多数属于某个类别,则该样本也属于这个类别.俗话叫,"随大流&q ...

  6. 《机器学习实战》---第二章 k近邻算法 kNN

    下面的代码是在python3中运行, # -*- coding: utf-8 -*- """ Created on Tue Jul 3 17:29:27 2018 @au ...

  7. 最基础的分类算法-k近邻算法 kNN简介及Jupyter基础实现及Python实现

    k-Nearest Neighbors简介 对于该图来说,x轴对应的是肿瘤的大小,y轴对应的是时间,蓝色样本表示恶性肿瘤,红色样本表示良性肿瘤,我们先假设k=3,这个k先不考虑怎么得到,先假设这个k是 ...

  8. 07.k近邻算法kNN

    1.将数据分为测试数据和预测数据 2.数据分为data和target,data是矩阵,target是向量 3.将每条data(向量)绘制在坐标系中,就得到了一系列的点 4.根据每条data的targe ...

  9. 机器学习随笔01 - k近邻算法

    算法名称: k近邻算法 (kNN: k-Nearest Neighbor) 问题提出: 根据已有对象的归类数据,给新对象(事物)归类. 核心思想: 将对象分解为特征,因为对象的特征决定了事对象的分类. ...

  10. 机器学习（1）——K近邻算法

    KNN的函数写法 import numpy as np from math import sqrt from collections import Counter def KNN_classify(k ...

随机推荐

  1. ansible基本模块-yum

    ansible   XXX   -m   yum   -a  "name=XXX"

  2. Python之freshman07 面向对象编程jinjie

    本节内容: 面向对象高级语法部分 经典类vs新式类 静态方法.类方法.属性方法 类的特殊方法 反射 异常处理 Socket开发基础 作业:开发一个支持多用户在线的FTP程 经典类vs新式类 把下面代码 ...

  3. Hibernate 环境配置和依赖添加(使用java web和普通javaSE工程)

    1.Hibernate依赖包的添加 File---->Project Structure,按照如图所示操作,导入所依赖的jar包. 2.生成hibernate.hbm.xml的配置文件 (1)点 ...

  4. 在windows10下vs2017配置opencv4.0.0

    第一次配置时,有些.dll文件出错,所以用重新下载opencv配置了一遍,终于可以了,喜极而泣! 一.下载OpenCV4.0 直接到官网https://opencv.org/下载 然后在下个页面选择 ...

  5. UESTC - 878

    状态的枚举还需多多练习啊 #include<iostream> #include<algorithm> #include<cstdio> #include<c ...

  6. web app与app的区别，即html5与app的区别

    公司准备要做一个项目,是p2p配资的app.在网上问了一些人后,发现有的是直接有html5做好后,用软件封装的.之前我学过app的开发,当时Android版本的,知道开发Android app时写的代 ...

  7. web安全漏洞种类

    (参考知道创宇) SQL注入: SQL注入(SQL Injection),是一个常见的发生于应用程序和数据库之间的web安全漏洞,由于在开发过程中的设计不当导致程序中忽略了检查,没有有效的过滤用户的输 ...

  8. linux中Python源码安装和配置

    安装 首先获取安装包,此处版本为3.7 wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz 解压 tar xvf Python- ...

  9. (转)Python之文件读写

    Python之文件读写 原文:https://www.cnblogs.com/huilixieqi/p/6494891.html 本节内容: I/O操作概述 文件读写实现原理与操作步骤 文件打开模式 ...

  10. React.js 小书 Lesson18 - 挂载阶段的组件生命周期（一）

    作者:胡子大哈 原文链接:http://huziketang.com/books/react/lesson18 转载请注明出处,保留原文链接和作者信息. 我们在讲解 JSX 的章节中提到,下面的代码: ...