《机器学习实战》---第二章 k近邻算法 kNN

下面的代码是在python3中运行,

 # -*- coding: utf-8 -*-
 """
 Created on Tue Jul  3 17:29:27 2018

 @author: Administrator
 """

 from numpy import *    #NumPy
 import operator        #运算符模块

 def createDataSet():   #这个只是导入数据的函数
     group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])  #这个是4行2列的数组
     labels=['A','A ','B','B']
     return group ,labels

 def classify0 (inX,dataSet,labels,k) : #这个是k近邻算法的实现,要注意传入的参数有哪些.
 #1,用于分类的输入向量inX;2,输入的训练样本集dataSet;3,标签向量labels;4,最后的参数k用于选择最近邻居的数目;
     dataSetSize=dataSet.shape[0]               #其中标签向量的元素数目和矩阵dataSet的行数相同.
     diffMat=tile(inX,(dataSetSize,1))-dataSet  #这里是调用了numpy的函数,tile   diffMat已经是数组了   下面就是一些算法了(欧式距离的算法). 这里就是数组运算了,为了避免使用过多的for,这样可能会提升运行速度?
     sqDiffMat=diffMat**2                       #对数组diffMat的每个元素进行平方. python的写法就是这样简单.
     sqDistances=sqDiffMat.sum(axis=1)          #axis=1,表示的是按行相加. axis=0表示按列相加.
     distances=sqDistances**0.5                 #这个是开平方
     sortedDistIndicies=distances.argsort()     #返回的是从小到大的索引.关于变量的建立,还是把我不准,这个直接给了个变量名,并没有标注类型[],比如最小的数据是在第3个位置,就是2,那么第一个元素值就是2
     classCount={}
     for i in range(k):                         #这里可以认为是投票算法,要弄清它的输入和输出是什么.
         voteIlabel=labels[sortedDistIndicies[i]]  #确定前k个距离最小的主要分类,sortedDistIndicies[i]其实返回的是样本的位置,
         classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
     sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True) #把'iteritems'改成了tiems,就可以在python3上运行了.
     return sortedClassCount[0][0]              #返回发生频率最高的,标签,,,,注意,这里返回的是标签,其实我们一直想要得到的也是某个东西的标签.返回的是我们想要的东西.

 group,labels=createDataSet()
 print(group)
 print(labels)

 a=classify0([0,0],group,labels,3)
 print(a)

运行结果