第3章 k近邻法   1．近邻法是基本且简单的分类与回归方法.近邻法的基本做法是:对给定的训练实例点和输入实例点,首先确定输入实例点的个最近邻训练实例点,然后利用这个训练实例点的类的多数来预测输入实例点的类. 2．近邻模型对应于基于训练数据集对特征空间的一个划分.近邻法中,当训练集.距离度量.值及分类决策规则确定后,其结果唯一确定. 3．近邻法三要素:距离度量.值的选择和分类决策规则.常用的距离度量是欧氏距离及更一般的pL距离.值小时,近邻模型更复杂:值大时,近邻模型更简单.值的选择反映了对近似…

namedtuple 不必再通过索引值进行访问,你可以把它看做一个字典通过名字进行访问,只不过其中的值是不能改变的. sorted()适用于任何可迭代容器,list.sort()仅支持list(本身就是list的一个方法) np.linalg.norm(求范数) 1.linalg=linear(线性)+algebra(代数),norm则表示范数. 2.函数参数 x_norm=np.linalg.norm(x, ord=None, axis=None, keepdims=False) ①x: 表示…

本系列笔记内容参考来源为李航<统计学习方法> k近邻是一种基本分类与回归方法,书中只讨论分类情况.输入为实例的特征向量,输出为实例的类别.k值的选择.距离度量及分类决策规则是k近邻法的三个基本要素. k近邻算法 给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类. k近邻法没有显示的学习过程. k近邻模型 距离度量 一般为欧式距离,Lp距离.Minkowski距离等 由不同的距离度量所确定的最近邻点是不同的. 式…

/*先把标题给写了.这样就能经常提醒自己*/ 1. k近邻算法 k临近算法的过程,即对一个新的样本,找到特征空间中与其最近的k个样本,这k个样本多数属于某个类,就把这个新的样本也归为这个类. 算法  输入:训练数据集 其中为样本的特征向量,为实例的类别,i=1,2,…,N:样本特征向量x(新样本): 输出:样本x所属的类y. (1)根据给定的距离度量,在训练集T中找出与x最相邻的k个点,涵盖这k个点的邻域记作: (2)在中根据分类决策规则(如多数表决)决定x的类别y:              …

k 近邻法(k-nearest neighbor,k-NN) 是一种基本分类与回归方法.本书只讨论分类问题中的k近邻法.k近邻法的输入为实例的特征向量,对应于特征空间的点;输出为实例的类别,可以取多类.k近邻法假设给定一个训练数据集,其中的实例类别已定.分类时,对新的实例,根据其k个最近邻的训练实例的类别,通过多数表决等方式进行预测.因此,k近邻法不具有显式的学习过程.k近邻法实际上利用训练数据集对特征向量空间进行划分,并作为其分类的“模型”.k值的选择.距离度量及分类决策规则是k近邻法的三个基…

全文引用自<统计学习方法>(李航) K近邻算法(k-nearest neighbor, KNN) 是一种非常简单直观的基本分类和回归方法,于1968年由Cover和Hart提出.在本文中,主要介绍了分类方法.其输入为特征空间中的点,输出为给定实例的类别,可以选择多个类输出.K近邻算法通过给定的训练集对特征空间进行分类,分类时,对于输入的实例,通过判断其最近的k个实例的类别,选择多数类别为本实例的最终分类.因此,k近邻算法本质上并不具有显示的学习过程. 本篇文章通过介绍K近邻算法的k值选择.距离…

通过上文可知k近邻算法的基本原理,以及算法的具体流程,kd树的生成和搜索算法原理.本文实现了kd树的生成和搜索算法,通过对算法的具体实现,我们可以对算法原理有进一步的了解.具体代码可以在我的github上查看. 代码 #!/usr/bin/python3 # -*- coding:utf-8 -*- import sys import numpy as np class Kdtree(object): ''' 类名: Kdtree 用于存储kd树的数据 成员: __value: 训练数据,保存数…

书中存在的一些疑问 kd树的实现过程中,为何选择的切分坐标轴要不断变换?公式如:x(l)=j(modk)+1.有什么好处呢?优点在哪?还有的实现是通过选取方差最大的维度作为划分坐标轴,有何区别? 第一种方法网上也没具体的解释,我不是很清楚其原因(可能要去论文上找原因). 不过第二种方法的话,方差越大,说明这个维度数据的相似性就越差,就越容易通过选取中点的方式将数据集分开,kd树的效率就越高,试想如果你挑了一个维度其中数据全为一样,那么kd树的建立过程就无法将使用挑选中位数的方法来达到,而且后面的…

Scipy是一个用于数学.科学.工程领域的常用软件包,可以处理插值.积分.优化.图像处理.常微分方程数值解的求解.信号处理等问题.它用于有效计算Numpy矩阵,使Numpy和Scipy协同工作,高效解决问题. Scipy是由针对特定任务的子模块组成: 模块名 应用领域 scipy.cluster 向量计算/Kmeans scipy.constants 物理和数学常量 scipy.fftpack 傅立叶变换 scipy.integrate 积分程序 scipy.interpolate 插值 sci…

1.名词解释 贝叶斯定理,自己看书,没啥说的,翻译成人话就是,条件A下的bi出现的概率等于A和bi一起出现的概率除以A出现的概率. 记忆方式就是变后验概率为先验概率,或者说,将条件与结果转换. 先验概率:某件事情发生概率 后验概率:某件事情发生后,由于某个原因引起的概率大小. 2.朴素贝叶斯代码 #include <cstdio> #include <Windows.h> #include "LBayesClassifier.h" ; ; int main()…