K-NN回归算法
from sklearn.datasets import load_iris
import numpy as np
import matplotlib.pyplot as plt iris = load_iris()
iris_data = iris.data
iris_target = iris.target
print(iris.feature_names) X = iris_data[:,0:2]
y = iris_data[:,3]
#['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)'] #We'll try to predict the petal length based on the sepal length and width.
#We'll also fit a regular linear regression to see how well the k-NN regression does in comparison #线性回归
from sklearn.linear_model import LinearRegression
lr = LinearRegression()
lr.fit(X, y)
print ("The MSE is: {:.2}".format(np.power(y - lr.predict(X),2).mean())) #K-NN 回归
from sklearn.neighbors import KNeighborsRegressor
knnr = KNeighborsRegressor(n_neighbors=10)
knnr.fit(X, y)
print ("The MSE is: {:.2}".format(np.power(y - knnr.predict(X),2).mean())) #仅仅显示预测函数如何使用而已
print(knnr.predict(np.array([3.0,5.0]).reshape(1,-1))) #Let's look at what the k-NN regression does when we tell it to use the closest 10 points for regression:
f, ax = plt.subplots(nrows=2, figsize=(7, 10))
ax[0].set_title("Predictions")
ax[0].scatter(X[:, 0], X[:, 1], s=lr.predict(X)*80, label='LRPredictions', color='c', edgecolors='black')
ax[1].scatter(X[:, 0], X[:, 1], s=knnr.predict(X)*80, label='k-NNPredictions', color='m', edgecolors='black')
ax[0].legend()
ax[1].legend()
f.show() #针对某一个类别(KNN的效果优于线性)
setosa_idx = np.where(iris.target_names=='setosa')
setosa_mask = (iris.target == setosa_idx[0])
print(y[setosa_mask][:20])
print(knnr.predict(X)[setosa_mask][:20])
print(lr.predict(X)[setosa_mask][:20]) #针对某一个具体的点
#The k-NN regression is very simply calculated taking the average of the k closest point to the point being tested.
#Let's manually predict a single point:
example_point = X[0]
'''
原始真值
>>> X[0]
array([ 5.1, 3.5])
>>> y[0]
0.20000000000000001
''' from sklearn.metrics import pairwise
distances_to_example = pairwise.pairwise_distances(X)[0] #X[0]和其它150个元素(包括自己)的距离
ten_closest_points = X[np.argsort(distances_to_example)][:10] #排序后,寻找10个距离最小的索引
ten_closest_y = y[np.argsort(distances_to_example)][:10]#所这些最下的10个已知数找出来
print(ten_closest_y.mean()) #We can see that this is very close to what was expected.
['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']
The MSE is: 0.15
The MSE is: 0.069
[ 0.2]
[ 0.2 0.2 0.2 0.2 0.2 0.4 0.3 0.2 0.2 0.1 0.2 0.2 0.1 0.1 0.2
0.4 0.4 0.3 0.3 0.3]
[ 0.28 0.17 0.21 0.2 0.31 0.27 0.21 0.31 0.19 0.17 0.29 0.28
0.17 0.19 0.26 0.27 0.27 0.28 0.27 0.31]
[ 0.44636645 0.53893889 0.29846368 0.27338255 0.32612885 0.47403161
0.13064785 0.42128532 0.22322028 0.49136065 0.56918808 0.27596658
0.46627952 0.10298268 0.71709085 0.45411854 0.47403161 0.44636645
0.73958795 0.30363175]
0.28
K-NN回归算法的更多相关文章
- K邻近回归算法
代码: # -*- coding: utf-8 -*- """ Created on Fri Jul 13 10:40:22 2018 @author: zhen &qu ...
- Lasso回归算法: 坐标轴下降法与最小角回归法小结
前面的文章对线性回归做了一个小结,文章在这: 线性回归原理小结.里面对线程回归的正则化也做了一个初步的介绍.提到了线程回归的L2正则化-Ridge回归,以及线程回归的L1正则化-Lasso回归.但是对 ...
- 基于Python的函数回归算法验证
看机器学习看到了回归函数,看了一半看不下去了,看到能用方差进行函数回归,又手痒痒了,自己推公式写代码验证: 常见的最小二乘法是一阶函数回归回归方法就是寻找方差的最小值y = kx + bxi, yiy ...
- 机器学习之Logistic 回归算法
1 Logistic 回归算法的原理 1.1 需要的数学基础 我在看机器学习实战时对其中的代码非常费解,说好的利用偏导数求最值怎么代码中没有体现啊,就一个简单的式子:θ= θ - α Σ [( hθ( ...
- 机器学习之logistic回归算法与代码实现原理
Logistic回归算法原理与代码实现 本文系作者原创,转载请注明出处:https://www.cnblogs.com/further-further-further/p/10033567.html ...
- 机器学习经典算法具体解释及Python实现--K近邻(KNN)算法
(一)KNN依旧是一种监督学习算法 KNN(K Nearest Neighbors,K近邻 )算法是机器学习全部算法中理论最简单.最好理解的.KNN是一种基于实例的学习,通过计算新数据与训练数据特征值 ...
- Spark MLlib架构解析(含分类算法、回归算法、聚类算法和协同过滤)
Spark MLlib架构解析 MLlib的底层基础解析 MLlib的算法库分析 分类算法 回归算法 聚类算法 协同过滤 MLlib的实用程序分析 从架构图可以看出MLlib主要包含三个部分: 底层基 ...
- sklearn调用逻辑回归算法
1.逻辑回归算法即可以看做是回归算法,也可以看作是分类算法,通常用来解决分类问题,主要是二分类问题,对于多分类问题并不适合,也可以通过一定的技巧变形来间接解决. 2.决策边界是指不同分类结果之间的边界 ...
- 机器学习算法-logistic回归算法
Logistic回归算法调试 一.算法原理 Logistic回归算法是一种优化算法,主要用用于只有两种标签的分类问题.其原理为对一些数据点用一条直线去拟合,对数据集进行划分.从广义上来讲这也是一种多元 ...
- 机器学习-K近邻(KNN)算法详解
一.KNN算法描述 KNN(K Near Neighbor):找到k个最近的邻居,即每个样本都可以用它最接近的这k个邻居中所占数量最多的类别来代表.KNN算法属于有监督学习方式的分类算法,所谓K近 ...
随机推荐
- centos7.0下删除yum和python之后恢复的办法
centos 7如果卸载了yum和python之后恢复的办法(该方法已经测试). 下载 地址 http://mirrors.163.com/centos/7/os/x86_64/Packages/ 下 ...
- Apache Shiro 使用手册(五)Shiro 配置说明(转发:http://kdboy.iteye.com/blog/1169637)
Apache Shiro的配置主要分为四部分: 对象和属性的定义与配置 URL的过滤器配置 静态用户配置 静态角色配置 其中,由于用户.角色一般由后台进行操作的动态数据,因此Shiro配置一般仅包含前 ...
- shell if判断-n
test测试命令 test命令用于检查某个条件是否成立,它可以进行数值.字符串和文件三个方面的测试,其测试符和相应的功能分别如下: (1)数值测试: -eq:等于则为真 -ne:不等于则 ...
- 快照COW
What is Copy-on-write? Copy-on-write Copy-on-write (sometimes referred to as "COW") i ...
- setTimeout解决循环值的几种方法
for(var i=0;i<5;i++){ setTimeout(function(){ console.log(`错误 ${i}`); },0) } for(var i=0;i<5;i+ ...
- 小程序获取openid和unionid java实现
官方api:https://developers.weixin.qq.com/miniprogram/dev/api/api-login.html#wxloginobject 参考文章:https:/ ...
- 数据库 简单查询 Sql Server 学生表 课程表 选课表
创建教材中的三张表格,并输入相应的数据 Create table student( Sno char(9), Same char(20), Ssex char(2), Sage smallint, S ...
- python中reduce()函数
reduce()函数也是Python内置的一个高阶函数.reduce()函数接收的参数和 map()类似,一个函数 f,一个list,但行为和 map()不同,reduce()传入的函数 f 必须接收 ...
- poj 1328 Radar Installatio【贪心】
题目地址:http://poj.org/problem?id=1328 Sample Input 3 2 1 2 -3 1 2 1 1 2 0 2 0 0 Sample Output Case 1: ...
- Oracle数据库定义语言(DDL)
--使用Create遇见创建表 Create Table table_name ( column_name datatype [null|not null], column_name datatype ...