机器学习笔记----Fuzzy c-means(FCM)模糊聚类详解及matlab实现

前言：这几天一直都在研究模糊聚类。感觉网上的文档都没有一个详细而具体的讲解，正好今天有时间，就来聊一聊模糊聚类。

一：模糊数学

我们大家都知道计算机其实只认识两个数字0,1。我们平时写程序其实也是这样if 1 then do.永远这种模式，在这种模式中，一个元素要么属于这个集合，要么不属于这个集合，但是对我们现在介绍的模糊集来说，某个元素可能部分属于这个集合，又可能部分属于另外的集合，显然，例如，一个男人（1表示），一个女人（0表示），但是随着科学技术的发展，出现了人妖这个生物（可能0.3属于男人，0.7属于女人）.这样如果用0,1就显得不太恰当了，那我们该如何表示呢，且听我慢慢道来。

开始之前先介绍模糊数学几种不同的名称：

模糊集：给定一个论域 U ，那么从 U 到单位区间 [0,1] 的一个映射称为 U 上的一个模糊集，或 U 的一个模糊子集. 模糊集可以记为 A 。 映射（函数） μA(·) 或简记为 A(·) 叫做模糊集 A 的隶属函数。 对于每个 x ∈ U ， μA(x) 叫做元素 x 对模糊集 A 的隶属度。

模糊逻辑：它是一种相对于传统是或者不是的二值逻辑而言的。例如下图：，如果这个人在B里面，那么很好理解，人在B里面为1，但是如果出现下列这种情况呢：

，显然用上述的逻辑就行不通了，但是可以这样表示在（A,B）=(0，6，0.4),o,6在A, 0,4在B，这样完美解决。其实拓展成3，4,5也都一样。类似于，我们看周星驰的赌侠，反派用电脑分析，牌的可能性。其实跟这个道理差不多

模糊矩阵：设R=（r_ij）_mxn,若0<=r_ij<=1,那么称该矩阵为模糊矩阵。若矩阵元素只有0,1的时候成为布尔矩阵。如果对角线上都是一，则这个矩阵称为自反矩阵、

模糊矩阵的关系以及并交与计算：

假设，都是模糊矩阵。

交运算：

并运算：

余运算：

例子如下（画的比较丑，请见谅）：

模糊矩阵的合成：

设为模糊矩阵，，为A与B的合成，其中为模糊矩阵的幂。

定义：若A为n阶方阵，定义:

首先模糊数学的基础就补充到这里了。下面来看看。FCM算法。

二 FCM算法

2.1 FCM算法简介

FCM算法首先是由E. Ruspini提出来的，后来J. C. Dunn与J. C. Bezdek将E. Ruspini算法从硬聚类算法推广成模糊聚类算法。FCM算法是基于对目标函数的优化基础上的一种数据聚类方法。聚类结果是每一个数据点对聚类中心的隶属程度，该隶属程度用一个数值来表示。FCM算法是一种无监督的模糊聚类方法，在算法实现过程中不需要人为的干预。这种算法的不足之处:首先，算法中需要设定一些参数，若参数的初始化选取的不合适，可能影响聚类结果的正确性;其次，当数据样本集合较大并且特征数目较多时，算法的实时性不太好。

2.2 FCM算法的实现原理

我们的FCM算法是从硬划分而来的。

硬划分FCM算法的目标函数： 。U表示原矩阵，p表示聚类中心，d_ik表示样本点x_k与第i个类的样本原型p_i之间的失真度，一般是用两个向量之间的距离表示。

软划分FCM的目标函数：。U_ik表示x_k与第i类样本的隶属度。

一般性模糊聚类分析的目标函数： ，其中m>1.d_ik是一种距离范数，可以表示为，A表示权重。

求解过程如下（把我以前写的截图发来）：

得到：

求解聚类中心：

得到聚类中心：

FCM算法执行流程：

安利一波（百度脑图，这是我认为百度做的比较有良心的东西了。我这个就是用百度脑图画的）

三 FCM的Matlab实现

function [U,P,Dist,Cluster_Res,Obj_Fcn,iter]=fuzzycm(Data,C,plotflag,M,epsm)

% 模糊 C 均值聚类 FCM: 从随机初始化划分矩阵开始迭代

% [U,P,Dist,Cluster_Res,Obj_Fcn,iter] = fuzzycm(Data,C,plotflag,M,epsm)

% 输入:

% Data: N×S 型矩阵,聚类的原始数据,即一组有限的观测样本集,

% Data 的每一行为一个观测样本的特征矢量,S 为特征矢量

% 的维数,N 为样本点的个数

% C: 聚类数,1

% plotflag: 聚类结果 2D/3D 绘图标记,0 表示不绘图,为缺省值

% M: 加权指数,缺省值为 2

% epsm: FCM 算法的迭代停止阈值,缺省值为 1.0e-6

% 输出:

% U: C×N 型矩阵,FCM 的划分矩阵

% P: C×S 型矩阵,FCM 的聚类中心,每一行对应一个聚类原型

% Dist: C×N 型矩阵,FCM 各聚类中心到各样本点的距离,聚类中

% 心 i 到样本点 j 的距离为 Dist(i,j)

% Cluster_Res: 聚类结果,共 C 行,每一行对应一类

% Obj_Fcn: 目标函数值

% iter: FCM 算法迭代次数

% See also: fuzzydist maxrowf fcmplot

if nargin<5

epsm=1.0e-6;

end

if nargin<4

M=2;

end

if nargin<3

plotflag=0;

end

[N,S]=size(Data);m=2/(M-1);iter=10000;

Dist(C,N)=0; U(C,N)=0; P(C,S)=0;

% 随机初始化划分矩阵

U0 = rand(C,N);

U0=U0./(ones(C,1)*sum(U0));

% FCM 的迭代算法

while true

% 迭代计数器

iter=iter+1;

% 计算或更新聚类中心 P

Um=U0.^M;

P=Um*Data./(ones(S,1)*sum(Um'))';

% 更新划分矩阵 U

for i=1:C

for j=1:N

Dist(i,j)=fuzzydist(P(i,:),Data(j,:));

end

end

U=1./(Dist.^m.*(ones(C,1)*sum(Dist.^(-m))));

% 目标函数值: 类内加权平方误差和

if nargout>4 | plotflag

Obj_Fcn(iter)=sum(sum(Um.*Dist.^2));

end

% FCM 算法迭代停止条件

if norm(U-U0,Inf) break

end

U0=U;

end

% 聚类结果

if nargout > 3

res = maxrowf(U);

for c = 1:

v = find(res==c);

Cluster_Res(c,1:length(v))=v;

end

end

% 绘图

if plotflag

fcmplot(Data,U,P,Obj_Fcn);

end

我用的数据集聚类结果：

感觉效果好挺好的。

今天的模糊聚类就讲到这里了希望大家点个关注，以及批评指正。