spark 之knn算法
好长时间忙的没写博客了。看到有人问spark的knn,想着做推荐入门总用的knn算法,顺便写篇博客。
作者:R星月 http://www.cnblogs.com/rxingyue/p/6182526.html
knn算法的大致如下:
1)算距离:给定测试对象,计算它与训练集中的每个对象的距离
2)找邻居:圈定距离最近的k个训练对象,作为测试对象的近邻
3)做分类:根据这k个近邻归属的主要类别,来对测试对象分类
这次用spark实现knn算法。
首先要加载数据:
实验就简单点直接模拟:
List<Node<Integer>> data = new ArrayList<Node<Integer>>();
for (int i = ; i < ; i++) {
data.add(new Node(String.valueOf(i), i));
}
JavaRDD<Node<Integer>> nodes = sc.parallelize(data);
再设计距离的度量,做一个简单的实验如下:
new SimilarityInterface<Integer>() { public double similarity(Integer value1, Integer value2) {
return 1.0 / (1.0 + Math.abs((Integer) value1 - (Integer) value2));
}
};
距离度量为一个接口可以实现你自己想要的距离计算方法,如cos,欧几里德等等。
再这要设置你要构建的关联图和设置搜索的近邻k值:
NNDescent nndes = new NNDescent<Integer>();
nndes.setK();
nndes.setMaxIterations();
nndes.setSimilarity(similarity);
// 构建图
JavaPairRDD<Node, NeighborList> graph = nndes.computeGraph(nodes); // 保存文件中
graph.saveAsTextFile("out/out.txt");
结果如下: 编号最近的30个值。
以上就算把knn算法在spark下完成了,剩下要做的就是根据一个数据点进行搜索最相近的k个值。
搜索:
final Node<Integer> query = new Node(String.valueOf(), );
final NeighborList neighborlist_exhaustive
= exhaustive_search.search(query, );
这段代码是搜索 结点id为111,数值为50最近的5个值。
结果如下:
代码很简单:
/**
* Created by lsy 983068303@qq.com
* on 2016/12/15.
*/
public class TestKnn {
public static void main(String[] args) throws Exception {
SparkConf conf = new SparkConf();
conf.setMaster("local[4]");
conf.setAppName("knn");
// conf.set("spark.executor.memory","1G");
// conf.set("spark.storage.memoryFraction","1G");
JavaSparkContext sc = new JavaSparkContext(conf); List<Node<Integer>> data = new ArrayList<Node<Integer>>();
for (int i = ; i < ; i++) {
data.add(new Node(String.valueOf(i), i));
}
final SimilarityInterface<Integer> similarity =new SimilarityInterface<Integer>() {
public double similarity(Integer value1, Integer value2) {
return 1.0 / (1.0 + Math.abs((Integer) value1 - (Integer) value2));
}
};
JavaRDD<Node<Integer>> nodes = sc.parallelize(data);
NNDescent nndes = new NNDescent<Integer>();
nndes.setK();
nndes.setMaxIterations();
nndes.setSimilarity(similarity);
JavaPairRDD<Node, NeighborList> graph = nndes.computeGraph(nodes); graph.saveAsTextFile("out");
ExhaustiveSearch exhaustive_search
= new ExhaustiveSearch(graph, similarity);
graph.cache();
final Node<Integer> query = new Node(String.valueOf(), );
final NeighborList neighborlist_exhaustive
= exhaustive_search.search(query, );
for(Neighbor n:neighborlist_exhaustive){
System.out.print("id编号:"+n.node.id+"==============") ;
System.out.println("对应的数值:"+n.node.id) ;
}
sc.stop();
}
spark 之knn算法的更多相关文章
- spark 机器学习 knn 代码实现(二)
通过knn 算法规则,计算出s2表中的员工所属的类别原始数据:某公司工资表 s1(训练数据)格式:员工ID,员工类别,工作年限,月薪(K为单位) 101 a类 8年 ...
- 【Machine Learning】KNN算法虹膜图片识别
K-近邻算法虹膜图片识别实战 作者:白宁超 2017年1月3日18:26:33 摘要:随着机器学习和深度学习的热潮,各种图书层出不穷.然而多数是基础理论知识介绍,缺乏实现的深入理解.本系列文章是作者结 ...
- KNN算法
1.算法讲解 KNN算法是一个最基本.最简单的有监督算法,基本思路就是给定一个样本,先通过距离计算,得到这个样本最近的topK个样本,然后根据这topK个样本的标签,投票决定给定样本的标签: 训练过程 ...
- kNN算法python实现和简单数字识别
kNN算法 算法优缺点: 优点:精度高.对异常值不敏感.无输入数据假定 缺点:时间复杂度和空间复杂度都很高 适用数据范围:数值型和标称型 算法的思路: KNN算法(全称K最近邻算法),算法的思想很简单 ...
- 什么是 kNN 算法?
学习 machine learning 的最低要求是什么? 我发觉要求可以很低,甚至初中程度已经可以. 首先要学习一点 Python 编程,譬如这两本小孩子用的书:[1][2]便可. 数学方面 ...
- 数据挖掘之KNN算法(C#实现)
在十大经典数据挖掘算法中,KNN算法算得上是最为简单的一种.该算法是一种惰性学习法(lazy learner),与决策树.朴素贝叶斯这些急切学习法(eager learner)有所区别.惰性学习法仅仅 ...
- 机器学习笔记--KNN算法2-实战部分
本文申明:本系列的所有实验数据都是来自[美]Peter Harrington 写的<Machine Learning in Action>这本书,侵删. 一案例导入:玛利亚小姐最近寂寞了, ...
- 机器学习笔记--KNN算法1
前言 Hello ,everyone. 我是小花.大四毕业,留在学校有点事情,就在这里和大家吹吹我们的狐朋狗友算法---KNN算法,为什么叫狐朋狗友算法呢,在这里我先卖个关子,且听我慢慢道来. 一 K ...
- 学习OpenCV——KNN算法
转自:http://blog.csdn.net/lyflower/article/details/1728642 文本分类中KNN算法,该方法的思路非常简单直观:如果一个样本在特征空间中的k个最相似( ...
随机推荐
- SnapKit swift实现高度自适应的新浪微博布局
SnapKit swift版的自动布局框架,第一次使用感觉还不错. SnapKit是一个优秀的第三方自适应布局库,它可以让iOS.OS X应用更简单地实现自动布局(Auto Layout).GtiHu ...
- Jmeter用BeanShell Sampler调用java写的jar包进行MD5加密
[前言] 在工作中,有时候我们请求的参数可能需要加密,比如登录接口中的密码做了加密操作,今天我就给大家介绍一种方法:Jmeter用BeanShell Sampler调用java写的jar包进行MD5加 ...
- Window安装配置Redis
一.下载windows版本的Redis github下载地址:https://github.com/MSOpenTech/redis/tags 二.安装启动Redis Redis 支持 32 位和 6 ...
- Java基础笔记(十二)——方法
方法:实现一个功能. 方法声明: 访问修饰符 返回类型 方法名(参数列表){ //方法体 } 访问修饰符:public.private.protect.default 返回类型:void——无返 ...
- ubuntu 14.04安装octave,及其使用
从库安装: sudo apt-add-repository ppa:octave/stable sudo apt-get update sudo apt-get install octave 使用:以 ...
- centos7.3下配置本地yum仓库
部署openstack时,网络yum源安装慢,而且经常中的提示找不到mirrors,所以配置一个本地的安装源很有必要,来解决这个揪心的问题. 安装:yum install yum-utils crea ...
- vector的学习
学习链接:http://www.runoob.com/cplusplus/cpp-stl-tutorial.html kandaima #include<iostream> #includ ...
- Windows安全认证是如何进行的?[NTLM篇]
<上篇>中我们介绍Kerberos认证的整个流程.在允许的环境下,Kerberos是首选的认证方式.在这之前,Windows主要采用另一种认证协议——NTLM(NT Lan Manager ...
- 性能测试学习第二天_性能测试工具概述Loadrunner介绍
性能测试工具概述Loadrunner介绍 http://www.51testing.com/html/42/n-6542.html 其中,T直接影响用户体验时间 性能测试的原理: 记录一个访问过程的通 ...
- P1736 创意吃鱼法80
题目描述 回到家中的猫猫把三桶鱼全部转移到了她那长方形大池子中,然后开始思考:到底要以何种方法吃鱼呢(猫猫就是这么可爱,吃鱼也要想好吃法 ^_*).她发现,把大池子视为01矩阵(0表示对应位置无鱼,1 ...