简单易学的机器学习算法—基于密度的聚类算法DBSCAN

一、基于密度的聚类算法的概述

我想了解下基于密度的聚类算法,熟悉下基于密度的聚类算法与基于距离的聚类算法,如K-Means算法之间的区别。

   
基于密度的聚类算法主要的目标是寻找被低密度区域分离的高密度区域。与基于距离的聚类算法不同的是,基于距离的聚类算法的聚类结果是球状的簇,而基于密度的聚类算法可以发现任意形状的聚类,这对于带有噪音点的数据起着重要的作用。

二、DBSCAN算法的原理

1、基本概念

   
DBSCAN(Density-Based Spatial Clustering of Application with
Noise)是一种典型的基于密度的聚类算法,在DBSCAN算法中将数据点分为一下三类:

核心点。在半径Eps内含有超过MinPts数目的点

边界点。在半径Eps内点的数量小于MinPts,但是落在核心点的邻域内

噪音点。既不是核心点也不是边界点的点

在这里有两个量,一个是半径Eps,另一个是指定的数目MinPts。

   
一些其他的概念

Eps邻域。简单来讲就是与点p的距离小于等于Eps的所有的点的集合,可以表示为

直接密度可达。如果p在核心对象q的Eps邻域内,则称对象p从对象q出发是直接密度可达的。

密度可达。对于对象链:是从关于Eps和MinPts直接密度可达的,则对象是从对象关于Eps和MinPts密度可达的。

2、算法流程



(流程)

三、实验仿真

   
在实验中使用了两个测试数据集,数据集的原始图像如下:



(数据集1)



(数据集2)

数据集1相对比较简单。显然我们可以发现数据集1共有两个类,数据集2有四个类,下面我们通过DBSCAN算法实现数据点的聚类:



MATLAB代码

主程序





[plain] view plain copy 在CODE上查看代码片派生到我的代码片

%% DBSCAN  

clear all;  

clc;  

 

%% 导入数据集  

% data = load('testData.txt');  

data = load('testData_2.txt');  

 

% 定义参数Eps和MinPts  

MinPts = 5;  

Eps = epsilon(data, MinPts);  

 

[m,n] = size(data);%得到数据的大小  

 

x = [(1:m)' data];  

[m,n] = size(x);%重新计算数据集的大小  

types = zeros(1,m);%用于区分核心点1,边界点0和噪音点-1  

dealed = zeros(m,1);%用于判断该点是否处理过,0表示未处理过  

dis = calDistance(x(:,2:n));  

number = 1;%用于标记类  

 

%% 对每一个点进行处理  

for i = 1:m  

    %找到未处理的点
 

    if dealed(i)
== 0  

       
xTemp = x(i,:);  

       
D = dis(i,:);%取得第i个点到其他所有点的距离  

       
ind = find(D<=Eps);%找到半径Eps内的所有点
 

        
 

       
%% 区分点的类型  

        
 

       
%边界点  

       
if length(ind) > 1
&& length(ind) <
MinPts 1  

           
types(i) = 0;  

           
class(i) = 0;  

       
end  

       
%噪音点  

       
if length(ind) == 1  

           
types(i) = -1;  

           
class(i) = -1;  

           
dealed(i) = 1;  

       
end  

       
%核心点(此处是关键步骤)  

       
if length(ind) >= MinPts 1  

           
types(xTemp(1,1)) = 1;  

           
class(ind) = number;  

            
 

           
% 判断核心点是否密度可达  

           
while ~isempty(ind)  

               
yTemp = x(ind(1),:);  

               
dealed(ind(1)) = 1;  

               
ind(1) = [];  

               
D = dis(yTemp(1,1),:);%找到与ind(1)之间的距离  

               
ind_1 = find(D<=Eps);  

                
 

               
if length(ind_1)>1%处理非噪音点  

                   
class(ind_1) = number;  

                   
if length(ind_1) >= MinPts 1
 

                       
types(yTemp(1,1)) = 1;  

                   
else  

                       
types(yTemp(1,1)) = 0;  

                   
end  

                    
 

                   
for j=1:length(ind_1)  

                      
if dealed(ind_1(j)) == 0  

                         
dealed(ind_1(j)) = 1;  

                         
ind=[ind
ind_1(j)];   
 

                         
class(ind_1(j))=number;  

                      
end                    
 

                  
end  

               
end  

           
end  

           
number = number 1;  

       
end  

    end
 

end  

 

% 最后处理所有未分类的点为噪音点  

ind_2 = find(class==0);  

class(ind_2) = -1;  

types(ind_2) = -1;  

 

%% 画出最终的聚类图  

hold on  

for i = 1:m  

    if class(i)
== -1  

       
plot(data(i,1),data(i,2),'.r');  

    elseif
class(i) == 1  

       
if types(i) == 1  

           
plot(data(i,1),data(i,2),' b');  

       
else  

           
plot(data(i,1),data(i,2),'.b');  

       
end  

    elseif
class(i) == 2  

       
if types(i) == 1  

           
plot(data(i,1),data(i,2),' g');  

       
else  

           
plot(data(i,1),data(i,2),'.g');  

       
end  

    elseif
class(i) == 3  

       
if types(i) == 1  

           
plot(data(i,1),data(i,2),' c');  

       
else  

           
plot(data(i,1),data(i,2),'.c');  

       
end  

    else
 

       
if types(i) == 1  

           
plot(data(i,1),data(i,2),' k');  

       
else  

           
plot(data(i,1),data(i,2),'.k');  

       
end  

    end
 

end  

hold off  



距离计算函数

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

%% 计算矩阵中点与点之间的距离  

function [ dis ] = calDistance( x )  

    [m,n] =
size(x);  

    dis =
zeros(m,m);  

    
 

    for i = 1:m
 

       
for j = i:m  

           
%计算点i和点j之间的欧式距离  

           
tmp =0;  

           
for k = 1:n  

               
tmp = tmp (x(i,k)-x(j,k)).^2;  

           
end  

           
dis(i,j) = sqrt(tmp);  

           
dis(j,i) = dis(i,j);  

       
end  

    end
 

end  



epsilon函数

[plain] view plain copy 在CODE上查看代码片派生到我的代码片

function [Eps]=epsilon(x,k)  

 

% Function: [Eps]=epsilon(x,k)  

%  

% Aim:   

% Analytical way of estimating neighborhood radius for DBSCAN
 

%  

% Input:   

% x - data matrix (m,n); m-objects, n-variables
 

% k - number of objects in a neighborhood of an object
 

% (minimal number of objects considered as a cluster)
 

 

 

[m,n]=size(x);  

 

Eps=((prod(max(x)-min(x))*k*gamma(.5*n 1))/(m*sqrt(pi.^n))).^(1/n);
 



最终的结果



(数据集1的聚类结果)



(数据集2的聚类结果)

在上面的结果中,红色的点代表的是噪音点,点代表的是边界点,十字代表的是核心点。不同的颜色代表着不同的类。数据分析师培训

简单易学的机器学习算法—基于密度的聚类算法DBSCAN的更多相关文章

  1. 简单易学的机器学习算法——基于密度的聚类算法DBSCAN

    一.基于密度的聚类算法的概述     最近在Science上的一篇基于密度的聚类算法<Clustering by fast search and find of density peaks> ...

  2. 【机器学习】DBSCAN Algorithms基于密度的聚类算法

    一.算法思想: DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一个比较有代表性的基于密度的聚类算法.与划分和层 ...

  3. 基于密度的聚类之Dbscan算法

    一.算法概述 DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一个比较有代表性的基于密度的聚类算法.与划分和层次 ...

  4. DBSCAN聚类︱scikit-learn中一种基于密度的聚类方式

    一.DBSCAN聚类概述 基于密度的方法的特点是不依赖于距离,而是依赖于密度,从而克服基于距离的算法只能发现"球形"聚簇的缺点. DBSCAN的核心思想是从某个核心点出发,不断向密 ...

  5. 简单易学的机器学习算法——EM算法

    简单易学的机器学习算法——EM算法 一.机器学习中的参数估计问题 在前面的博文中,如“简单易学的机器学习算法——Logistic回归”中,采用了极大似然函数对其模型中的参数进行估计,简单来讲即对于一系 ...

  6. 简单易学的机器学习算法—SVD奇异值分解

    简单易学的机器学习算法-SVD奇异值分解 一.SVD奇异值分解的定义     假设M是一个的矩阵,如果存在一个分解: 其中的酉矩阵,的半正定对角矩阵,的共轭转置矩阵,且为的酉矩阵.这样的分解称为M的奇 ...

  7. 聚类:层次聚类、基于划分的聚类(k-means)、基于密度的聚类、基于模型的聚类

    一.层次聚类 1.层次聚类的原理及分类 1)层次法(Hierarchicalmethods)先计算样本之间的距离.每次将距离最近的点合并到同一个类.然后,再计算类与类之间的距离,将距离最近的类合并为一 ...

  8. SIGAI机器学习第二十四集 聚类算法1

    讲授聚类算法的基本概念,算法的分类,层次聚类,K均值算法,EM算法,DBSCAN算法,OPTICS算法,mean shift算法,谱聚类算法,实际应用. 大纲: 聚类问题简介聚类算法的分类层次聚类算法 ...

  9. 密度峰值聚类算法(DPC)

    密度峰值聚类算法(DPC) 凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 1. 简介 基于密度峰值的聚类算法全称为基于快速搜索和发现密度峰值的聚类算法(cl ...

随机推荐

  1. mysql 函数和存储过程的区别

    >一般来说,存储过程实现的功能要复杂一点,而函数的实现的功能针对性比较强.存储过程,功能强大,可以执行包括修改表等一系列数据库操作:用户定义函数不能用于执行一组修改全局数据库状态的操作. > ...

  2. js 当前时间和对比时间的比较

    <!DOCTYPE><html> <head> <meta charset="utf-8" /> <title>功能:当 ...

  3. vue引入外部css和js

    <template> <div id="app" > </div> </template> <script src=" ...

  4. 结合sessionStorage解决vuex页面刷新数据丢失的问题

    将需要保存在vuex中的数据同时保存在sessionStorage中即可: import Vue from 'vue'; import Vuex from 'vuex'; Vue.use(Vuex); ...

  5. markdown实现页内目录跳转

    1.实现页内目录跳转 语法: 页面首部添加目录:[目录](#jump_id) 页面内部锚点:<span id='jump_id'>标题</span>

  6. PropertyPlaceholderConfigurer的注意事项

    1.基本的使用方法是<bean id="propertyConfigurerForWZ" class="org.springframework.beans.fact ...

  7. Python全栈开发:递归实例

    #!/usr/bin/env python # -*- coding;utf-8 -*- """ 递归不能无限,python会限制递归深度,递归主要用于费布拉切数列 &q ...

  8. 如何在 Apache Flink 中使用 Python API?

    本文根据 Apache Flink 系列直播课程整理而成,由 Apache Flink PMC,阿里巴巴高级技术专家 孙金城 分享.重点为大家介绍 Flink Python API 的现状及未来规划, ...

  9. Javascript简单算法

    1.多维数组取其所有第几个值组成新数组 例如 [[, , ], [, , ], [, , ]],我要标红的值 [[1, 3, 5], [2, 2, 2], [3, 3, 3]] let t = [[1 ...

  10. 19-10-29-Night-X

    布谷. 欢迎大家来不耻下问. 这里是正解不会,暴力写跪,乱搞鸡肋的某虻 . 好想放假啊!!!! 话说猫厂现在产量低迷…… ZJ一下: T1,三维偏序,只码了$\Theta(N^2)$暴力 T2,暴力愉 ...