K近邻 Python实现 机器学习实战(Machine Learning in Action)
算法原理
K近邻是机器学习中常见的分类方法之间,也是相对最简单的一种分类方法,属于监督学习范畴。其实K近邻并没有显式的学习过程,它的学习过程就是测试过程。K近邻思想很简单:先给你一个训练数据集D,包括每个训练样本对应的标签。然后给你一个新的测试样本T,问你测试样本的标签预测是什么,K近邻的方法就是找到T到D中每一个样本的相似度,然后根据相似度大小对D中样本排序,取前K个最相似的样本的标签的众数作为测试样本T的标签(即前K个样本投票决定)。具体相似度怎么度量,是根据测试样本到D中每个训练样本的距离度量,一般用的最多的是欧氏距离,也可以更广泛的p范数(欧氏距离是2范数)。
例如:训练数据集D为二位数据,二维图如下图所示:
三种颜色分别代表三种比同类别的标签,现在给你一个新的测试样本T,只要放到图中取计算T到图中各点的距离,然后选取距离最近的K个点来投票决定测试样本属于哪一类(即是什么颜色)
K近邻算法实现
先给出算法实现,再详细解释各函数实现:
from numpy import *
import operator
import matplotlib
import matplotlib.pyplot as plot
#########Python做数据处理常用的三个工具包,定义了一些矩阵运算,画图,操作符函数接口######
def classify0(inX,dataSet,labels,k):
dataSetSize=dataSet.shape[0] #1
diffMat=tile(inX,(dataSetSize,1))-dataSet #2
sqDiffMat=diffMat**2 #3
sqDistances=sqDiffMat.sum(axis=1) #4
distances=sqDistances**0.5 #5
sortedDistIndicies=distances.argsort() #6
classCount={} #7
for i in range(k):
voteIlabel=labels[sortedDistIndicies[i]] #8
classCount[voteIlabel]=classCount.get(voteIlabel,0)+1 #9
sortedClasscount=sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True) #10
return sortedClasscount[0][0] #11
--------------------------分割线----------------------------------------
参数注释:第一个参数表示要测试的样本(n维向量);第二个参数表示训练数据集矩阵(每一行是一个训练样本(m),每一列是一个坐标维度(n));第三个参数是训练数据的样本标签向量(m);第四个参数K是设置的最近的前K个最近的样本
#1:获取训练样本矩阵的行数(即训练数据集中样本数量),array.shape 或者shape(array)是numpy库中函数接口,用来读书矩阵的行数和列数(numpy中矩阵一般用多维数组实现)。array.shape[0]表示行,array.shape[1]表示列。
#2 :tile函数是numpy中的一种类似于扩展函数,对于列表而言,如inX=[1,2,3]
则tile(inX,[2,3])=[[1,2,3,1,2,3,1,2,3] ,2表示扩展两行,3表示扩展成3列。在这里inX扩展后为
[1,2,3,1,2,3,1,2,3]]
在这里inX扩展后为 ,然后减去训练数据矩阵,得到该测试样本与各训练数据的各维度的差值
#3 各维度的差值平方,方便求欧式距离
#4 numpy.sum(axis)是矩阵求和函数,axis=0表示按行求和,axis=1表示按列求和,这里按列求和,得到测试样本点和训练数据样本点在各维度上的差值的平方和
#5得到的矢量每一列开方
#6对distances矢量排序。array.argsort()是numpy中的排序函数,返回的是按顺序的各值在原列表中的索引,如a=[3 5 6 1]
a.argsort()=[3 0 1 2],因为排完序后是[1 3 5 6],对应在原数组中的位置为[3 0 1 2],默认是按升序排序。此函数的具体其他用法请自己参考其它资料,网上很多。
#7字典,用来存储前K个距离最近的训练样本,其中的key存储K个样本的标签,value存储对应的距离。
#8从距离最小的训练样本点开始,把各点的标签存储进key
#9投票,当前训练样本如果是属于某一标签,就把该key值对应的value加1,如果之前还没出现过该标签,则创建该标签key,并设置默认value值为0
#10对字典内的各键值对按值排序,即按各类别的投票数排序,按降序排序,得到排序后的字典sortedClasscount
#11返回字典的第一个键值对的键值,即标签,作为检测样本的预测标签
--------------------------------分割线------------------------------------
机器学习实战中(Machine Learning in Action)的约会对象分类和手写识别源代码和data文件如有需要,可发邮件到Tjingang@ustc.mail.edu.cn
K近邻 Python实现 机器学习实战(Machine Learning in Action)的更多相关文章
- 学习笔记之机器学习实战 (Machine Learning in Action)
机器学习实战 (豆瓣) https://book.douban.com/subject/24703171/ 机器学习是人工智能研究领域中一个极其重要的研究方向,在现今的大数据时代背景下,捕获数据并从中 ...
- 机器学习实战 [Machine learning in action]
内容简介 机器学习是人工智能研究领域中一个极其重要的研究方向,在现今的大数据时代背景下,捕获数据并从中萃取有价值的信息或模式,成为各行业求生存.谋发展的决定性手段,这使得这一过去为分析师和数学家所专属 ...
- 《Machine Learning in Action》—— 剖析支持向量机,单手狂撕线性SVM
<Machine Learning in Action>-- 剖析支持向量机,单手狂撕线性SVM 前面在写NumPy文章的结尾处也有提到,本来是打算按照<机器学习实战 / Machi ...
- 机器学习实战(Machine Learning in Action)学习笔记————09.利用PCA简化数据
机器学习实战(Machine Learning in Action)学习笔记————09.利用PCA简化数据 关键字:PCA.主成分分析.降维作者:米仓山下时间:2018-11-15机器学习实战(Ma ...
- 机器学习实战(Machine Learning in Action)学习笔记————05.Logistic回归
机器学习实战(Machine Learning in Action)学习笔记————05.Logistic回归 关键字:Logistic回归.python.源码解析.测试作者:米仓山下时间:2018- ...
- 机器学习实战(Machine Learning in Action)学习笔记————02.k-邻近算法(KNN)
机器学习实战(Machine Learning in Action)学习笔记————02.k-邻近算法(KNN) 关键字:邻近算法(kNN: k Nearest Neighbors).python.源 ...
- 【机器学习实战】Machine Learning in Action 代码 视频 项目案例
MachineLearning 欢迎任何人参与和完善:一个人可以走的很快,但是一群人却可以走的更远 Machine Learning in Action (机器学习实战) | ApacheCN(apa ...
- 机器学习实战(Machine Learning in Action)学习笔记————08.使用FPgrowth算法来高效发现频繁项集
机器学习实战(Machine Learning in Action)学习笔记————08.使用FPgrowth算法来高效发现频繁项集 关键字:FPgrowth.频繁项集.条件FP树.非监督学习作者:米 ...
- 机器学习实战(Machine Learning in Action)学习笔记————07.使用Apriori算法进行关联分析
机器学习实战(Machine Learning in Action)学习笔记————07.使用Apriori算法进行关联分析 关键字:Apriori.关联规则挖掘.频繁项集作者:米仓山下时间:2018 ...
随机推荐
- SaberRD之直流工作点分析
直流工作点分析(DC Operating Point Analysis)用于确定电路的静态工作点. 静态工作点的概念来源于三极管的电流放大特性.三极管放大电路中,当交流输入信号为零时,电路处于直流工作 ...
- MegCup 2017 极客挑战赛 初赛试题
看着像八卦,数数不是八卦,是29卦 每卦又有29个小弧 所以是29×29个bit 这29×29个bit怎么理解呢?并且从哪一卦开始到哪一卦结束?是先环向层层向里走还是先径向逐卦走? 我想不出来. 我猜 ...
- Sicily 1151 魔板
Constraints Time Limit: 1 secs, Memory Limit: 32 MB , Special Judge Description 魔板由8个大小相同方块组成,分别用涂上不 ...
- JavaScript知识点总结
JavaScript学习总结1.JavaScript是作用于网络和HTML的一个编程语言.2.JavaScript代码必须放在<script></script>标签之间,Jav ...
- 在Windows平台搭建轻巧的Python开发环境——面向工程和科研的扩展包配置
首先,下载最新版本的Python. 为什么强调最新版本呢,因为新版本的漏洞通常会少得多,而且反映了未来的趋势. 既然要学,何不起点高一点? 官方下载地址:https://www.python.org/ ...
- Visual Studio 2017正式版使用一些疑问
刚升级完2017,是从2015升上去的,总体没有什么大的问题,就是报了一些ts的类型检查的问题,最重要的就是编译速度变得好慢啊,希望尽快出来补丁修复,以前一个解决方案只要10+秒,现在要50秒,表示体 ...
- lab1-Junit&Eclemma
Software Testing, Lab 1 March 10. 2016, by 赵国佺(3014218108) 一. environment setup Firstly, I downl ...
- Maven settings.xml配置解读
本文对${maven.home}\conf\settings.xml的官方文档作个简单的解读,请确保自己的maven环境安装成功,具体安装流程详见Maven安装 第一步:看settings.xml的内 ...
- WeMall微信商城源码活动报名插件代码详情
WeMall微信商城源码插件活动报名代码是用于商业推广的比较有效的方式,分享了部分比较重要的代码,供技术员学习参考,商家可自由设置报名项目,活动时间,报名内容 代码详情地址:http://addon. ...
- UITextField输入限制/小数/首位等
- (BOOL)textField:(UITextField *)textField shouldChangeCharactersInRange:(NSRange)range replacementS ...