伴随着模糊集理论的形成、发展和深化,RusPini率先提出模糊划分的概念。以此为起点和基础,模糊聚类理论和方法迅速蓬勃发展起来。针对不同的应用,人们提出了很多模糊聚类算法,比较典型的有基于相似性关系和模糊关系的方法、基于模糊等价关系的传递闭包方法、基于模糊图论的最大支撑树方法,以及基于数据集的凸分解、动态规划和难以辨别关系等方法。然而,上述方法均不能适用于大数据量的情况,难以满足实时性要求较高的场合,因此实际应用并不广泛。

模糊聚类分析按照聚类过程的不同大致可以分为三大类:

(1)基于模糊关系的分类法:其中包括谱系聚类算法(又称系统聚类法)、基于等价关系的聚类算法、基于相似关系的聚类算法和图论聚类算法等等。它是研究比较早的一种方法,但是由于它不能适用于大数据量的情况,所以在实际中的应用并不广泛。

(2)基于目标函数的模糊聚类算法:该方法把聚类分析归结成一个带约束的非线性规划问题,通过优化求解获得数据集的最优模糊划分和聚类。该方法设计简单、解决问题的范围广,还可以转化为优化问题而借助经典数学的非线性规划理论求解,并易于计算机实现。因此,随着计算机的应用和发展,基于目标函数的模糊聚类算法成为新的研究热点。

(3)基于神经网络的模糊聚类算法:它是兴起比较晚的一种算法,主要是采用竞争学习算法来指导网络的聚类过程。

在介绍算法之前,先介绍下模糊集合的知识。

HCM聚类算法

首先说明隶属度函数的概念。隶属度函数是表示一个对象x 隶属于集合A 的程度的函数,通常记做μA(x),其自变量范围是所有可能属于集合A 的对象(即集合A 所在空间中的所有点),取值范围是[0,1],即0<=μA(x),μA(x)<=1。μA(x)=1 表示x 完全隶属于集合A,相当于传统集合概念上的x∈A。一个定义在空间X={x}上的隶属度函数就定义了一个模糊集合A,或者叫定义在论域X={x}上的模糊子集A’。对于有限个对象x1,x2,……,xn 模糊集合A’可以表示为:

有了模糊集合的概念,一个元素隶属于模糊集合就不是硬性的了,在聚类的问题中,可以把聚类生成的簇看成模糊集合,因此,每个样本点隶属于簇的隶属度就是[0,1]区间里面的值。

再接下来要讲FCM算法不得不先讲一下HCM算法

硬C-均值(HCM)算法是实现数据集J硬C划分的经典算法之一,也是最受欢迎的算法之一。它能够把数据集X分成C个超椭球结构的聚类。HCM算法把传统的聚类问题归结为如下的非线性数学规划问题:

其中U=(uij)cxn为硬C-划分矩阵,V=(v1,v2,,,vc)为C个聚类中心,||·||代码欧式距离。

HCM算法的具体流程如下:

初始化:指定聚类类别数C,2<=C<=n,n是数据个数,设定迭代停止阈值Ɛ,初始化聚类中心V0,设置迭代计数器b=0;

步骤一:根据下面的公式计算或更新划分矩阵U

步骤二:根据下面公式更新聚类中心V(b+1)

步骤三:如果||Vb – V(b+1)||< Ɛ,则算法停止并输出划分矩阵和聚类中心V,否则令b=b+1,转向执行步骤一

FCM聚类算法

Dunn按照RusPini定义的模糊划分的概念,把HCM算法扩展到模糊划分领域。Dunn对每个样本与每个聚类中心的距离用其隶属度平方加权,从而把类内误差平方和目标函数J1扩展为类内加权误差平方和函数J2:

Bezdek又将Dunn的目标函数推广为更普遍的形式,给出了基于目标函数的模糊聚类更一般的描述。

其中,m∈[1,+∞)称为加权指数,又称作平滑参数。尽管从数学角度看,m的出现不自然,但如果不对隶属度加权,从HCM算法到FCM算法的推广将是无效的。

FCM算法的具体流程如下:

初始化:指定聚类类别数C,2<=C<=n,n是数据个数,设定迭代停止阈值Ɛ,初始化聚类中心V0,设置迭代计数器b=0;

步骤一:根据下面的公式计算或更新划分矩阵U

步骤二:根据下面公式更新聚类中心V(b+1)

步骤三:如果||Vb – V(b+1)||< Ɛ,则算法停止并输出划分矩阵和聚类中心V,否则令b=b+1,转向执行步骤一

FCM算法流程图

FCM算法是目前比较流行的一种模糊聚类算法,究其原因大致有以下几个方面:首先,模糊C—均值泛函Jm仍是传统硬C一均值泛函J1的自然推广;硬C一均值泛函J1是一个应用十分广泛的聚类准则,对其在理论上的研究己经相当完善,这就为Jm的研究提供了良好的条件;数学上看,Jm与RS的希尔伯特空间结构(正交投影和均方逼近理论)有密切的关系,因此比其它泛函有更深厚的数学基础;最后,也是最重要的是该目标函数不仅在许多领域获得了非常成功的应用,而且以FCM算法为基础,人们提出的基于其它原型的模糊聚类算法,形成了一大批FCM类型的算法:如模糊C一线(FCL)、模糊C一面(FCP)等聚类算法,分别实现了对呈线状、超平面状结构模式子集(或聚类)的检测。

FCM算法应用到颜色迁移中

钱小燕等人将聚类算法应用到色彩迁移中,提出了一种基于图像模糊颜色聚类的自适应色彩迁移算法。该算法首先将源图像和目标图像分别转换到lαβ颜色空间:利用FCM 算法把源图像和目标图像划分为具有不同颜色特征的聚类,然后分析图像中的颜色特征:分别算出每个域的匹配权值,对每个目标图像的匹配权值,从源图像中选取一个最接近域作为最佳匹配域;最后根据目标图像各聚类域与源图像中的匹配域之间的关系,引入隶属度因子,两个域的处理结果分别进行加权平均,获得色彩迁移结果。使用FCM的思想对图像进行聚类域划分的思路是:设准备处理图像I的大小是S×H,即对颜色聚类颜色分析的个数是N,N = S×H,则图像I可表示成集合,I={p1 ,p2 ...,pn }。图像被分为c类,每个类的聚类中心为V={v1,v2 ...,vc },用uik表示像素pk隶属于聚类中心Vi的隶属度,定义图像的隶属度矩阵U。具体算法如下:

步骤一:把源图像和目标图像分别从RGB转换到lαβ空间。

步骤二:确定待处理图像聚类域个数c,然后初始化聚类中心。假设加权指数m=2,设定处理的最大迭代次数为50。

步骤三:当迭代次数T 小于50 时,根据初始化聚类中心计算隶属度矩阵。如果pk≠vi,则对于所有的vi ( i=1,2,...,C ),利用下式计算隶属度矩阵。

其中,i =1,2,...C; j =1,2,...N

如果,pk=vi,,k =1,2,...N则

其中,dik为第k个元素到第i 个聚类中心的距离,定义在lαβ下的欧式距离。

步骤四:对图像聚类划分。图像的隶属度矩阵中,从每列选择隶属度最大的点作为相对应点的归属域,并重新计算聚类中心。

步骤五:对收敛情况进行检查。若||Vi – V’i||<Σ,则立即停止迭代;否则一直迭代计算步骤三与步骤四。

步骤六:对聚类域进行匹配。使用FCM 后,对每一个聚类域分别设置一个匹配权值参数w,当目标图像是灰度图像时,w为聚类域的亮度均值;当目标图像为彩色图像时,w 是聚类域3 个通道标准差的加权平均值。

步骤七:色彩迁移。为了保持通用性,假定目标图像中元素pi的归属域与源图像中聚类域h 是匹配域,利用下式获得各个通道的新值:

FCM算法效果图

  1. BOOL TranFCM(LPBYTE lpDIBBits, LONG lmageWidth, LONG lmageHeight,LPBYTE lpDIBBits2, LONG lmageWidth2, LONG lmageHeight2,LPBYTE lpDIBBits3)
  2. {
  3. int classnum=2;
  4. int m=2;
  5. int i,j,k,nindex;
  6. double l,a,b;
  7. double* belong=new double[lmageWidth*lmageHeight*classnum];
  8. double* belong2=new double[lmageWidth2*lmageHeight2*classnum];
  9. double* center=new double[classnum*3];
  10. double* center2=new double[classnum*3];
  11. int* clustermap=new int[classnum];
  12. double suml,suma,sumb;
  13. FCMCluster(lpDIBBits,lmageWidth,lmageHeight,belong,center,classnum,m);
  14. FCMCluster(lpDIBBits2,lmageWidth2,lmageHeight2,belong2,center2,classnum,m);
  15. double* vl=new double[classnum];
  16. double* va=new double[classnum];
  17. double* vb=new double[classnum];
  18. double* vl2=new double[classnum];
  19. double* va2=new double[classnum];
  20. double* vb2=new double[classnum];
  21. for(i=0;i<classnum;i++)
  22. {
  23. BYTE distance=255;
  24. int map=-1;
  25. BYTE r,g,b,r2,g2,b2;
  26. for(j=0;j<classnum;j++)
  27. {
  28. LabToRgb(center[i*3+0],center[i*3+1],center[i*3+2],r,g,b);
  29. LabToRgb(center2[j*3+0],center2[j*3+1],center2[j*3+2],r2,g2,b2);
  30. BYTE dis=abs(RgbToGray(r,g,b)-RgbToGray(r2,g2,b2));
  31. if (distance>dis) {distance=dis;map=j;}
  32. }
  33. clustermap[i]=map;
  34. }
  35. //TranColor(belong,belong2,center,center2);
  36. //求各聚类域的标准差
  37. //求结果图像的lab
  38. for(j = 0;j <lmageHeight; j++)
  39. {
  40. for(i = 0; i <lmageWidth; i++)
  41. {
  42. nindex=((lmageHeight-j-1)*lmageWidth+i);
  43. suml=suma=sumb=0;
  44. RgbToLab(lpDIBBits[nindex*3+2],lpDIBBits[nindex*3+1],lpDIBBits[nindex*3+0],l,a,b);
  45. for(k=0;k<classnum;k++)
  46. {
  47. suml += belong[lmageWidth*lmageHeight*k+nindex]*center2[clustermap[k]*3+0];
  48. suma += belong[lmageWidth*lmageHeight*k+nindex]*center2[clustermap[k]*3+1];
  49. sumb += belong[lmageWidth*lmageHeight*k+nindex]*center2[clustermap[k]*3+2];
  50. }
  51. LabToRgb(l,suma,sumb,lpDIBBits3[nindex*3+2],lpDIBBits3[nindex*3+1],lpDIBBits3[nindex*3+0]);
  52. }
  53. }
  54. return TRUE;
  55. }

  1. BOOL FCMCluster(LPBYTE lpDIBBits, LONG lmageWidth, LONG lmageHeight,double* belong,double* center,int classnum,int m)
  2. {
  3. int i,j,l,nindex;//循环控制变量
  4. int k=0;
  5. int LOOP=500;
  6. double* center2=new double[classnum*3];//聚类中心
  7. long x,y;//随机确定聚类中心坐标
  8. long* num=new long[classnum];//每个类的像素个数
  9. double* lpImageLab = new  double[lmageWidth*lmageHeight*3];
  10. double sumu,suml,suma,sumb;
  11. //初始化聚类中心
  12. for(i=0;i<classnum;i++)
  13. {
  14. x=rand()%lmageWidth;
  15. y=rand()%lmageHeight;
  16. nindex=((lmageHeight-y-1)*lmageWidth+x);
  17. RgbToLab(lpDIBBits[nindex*3+2],lpDIBBits[nindex*3+1],lpDIBBits[nindex*3+0],center[i*3+0],center[i*3+1],center[i*3+2]);
  18. for(j=0;j<i;j++)
  19. {
  20. double dis=DistanceLab(center[i*3+0],center[i*3+1],center[i*3+2],center[j*3+0],center[j*3+1],center[j*3+2]);
  21. if(dis<0.2) {i--;break;}//限值公式 暂取限值为1待优化 对初始化聚类中心的选择非常关键
  22. }
  23. }
  24. //计算隶属度矩阵、更新聚类中心、直至前后聚类中心距离小于限值e暂定0.1待优化
  25. while(k!=classnum && LOOP--)//限值公式
  26. {
  27. //计算隶属度矩阵
  28. for(j = 0;j <lmageHeight; j++)
  29. {
  30. for(i = 0; i <lmageWidth; i++)
  31. {
  32. nindex=((lmageHeight-j-1)*lmageWidth+i);
  33. RgbToLab(lpDIBBits[nindex*3+2],lpDIBBits[nindex*3+1],lpDIBBits[nindex*3+0],
  34. lpImageLab[nindex*3+0],lpImageLab[nindex*3+1],lpImageLab[nindex*3+2]);
  35. //means_Assign();
  36. double blg=-1;//隶属度
  37. for(k=0;k<classnum;k++)
  38. {
  39. sumu=0;
  40. double dis1=DistanceLab(lpImageLab[nindex*3+0],lpImageLab[nindex*3+1],lpImageLab[nindex*3+2],center[k*3+0],center[k*3+1],center[k*3+2]);
  41. if (dis1==0) {belong[lmageWidth*lmageHeight*k+nindex]=1;continue;}
  42. for(l=0;l<classnum;l++)
  43. {
  44. double dis2=DistanceLab(lpImageLab[nindex*3+0],lpImageLab[nindex*3+1],lpImageLab[nindex*3+2],center[l*3+0],center[l*3+1],center[l*3+2]);
  45. if (dis2==0) break;
  46. sumu+=pow((dis1*dis1)/(dis2*dis2),1.0/(m-1));
  47. }
  48. if (l!=classnum) {belong[lmageWidth*lmageHeight*k+nindex]=0;continue;}
  49. belong[lmageWidth*lmageHeight*k+nindex]=1/sumu;
  50. }
  51. }
  52. }
  53. //更新聚类中心
  54. for(k=0;k<classnum;k++)
  55. {
  56. suml=suma=sumb=sumu=0;
  57. for(j = 0;j <lmageHeight; j++)
  58. {
  59. for(i = 0; i <lmageWidth; i++)
  60. {
  61. nindex=((lmageHeight-j-1)*lmageWidth+i);
  62. suml+=pow(belong[lmageWidth*lmageHeight*k+nindex],m)*lpImageLab[nindex*3+0];
  63. suma+=pow(belong[lmageWidth*lmageHeight*k+nindex],m)*lpImageLab[nindex*3+1];
  64. sumb+=pow(belong[lmageWidth*lmageHeight*k+nindex],m)*lpImageLab[nindex*3+2];
  65. sumu+=pow(belong[lmageWidth*lmageHeight*k+nindex],m);
  66. }
  67. }
  68. center2[k*3+0]=suml/sumu;
  69. center2[k*3+1]=suma/sumu;
  70. center2[k*3+2]=sumb/sumu;
  71. }
  72. //判断循环终止条件
  73. for(k=0;k<classnum;k++)
  74. {
  75. if(DistanceLab(center[k*3+0],center[k*3+1],center[k*3+2],center2[k*3+0],center2[k*3+1],center2[k*3+2])>0.1) break;//限值e暂定0.1待优化
  76. }
  77. for(i=0;i<classnum*3;i++)
  78. {
  79. center[i]=center2[i];
  80. }
  81. }
  82. return TRUE;
  83. }

  1. double DistanceLab(double l1,double a1,double b1,double l2,double a2,double b2)
  2. {
  3. double lx=l1-l2;
  4. double ax=a1-a2;
  5. double bx=b1-b2;
  6. if (lx<0) lx=-lx;
  7. if (ax<0) ax=-ax;
  8. if (bx<0) bx=-bx;
  9. return lx+ax+bx;
  10. }

代码链接

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lyh03601/article/details/22896197

模糊聚类算法(FCM)的更多相关文章

  1. 机器学习笔记----Fuzzy c-means(FCM)模糊聚类详解及matlab实现

    前言:这几天一直都在研究模糊聚类.感觉网上的文档都没有一个详细而具体的讲解,正好今天有时间,就来聊一聊模糊聚类. 一:模糊数学 我们大家都知道计算机其实只认识两个数字0,1.我们平时写程序其实也是这样 ...

  2. 机器学习:weka中添加自己的分类和聚类算法

    不管是实验室研究机器学习算法或是公司研发,都有需要自己改进算法的时候,下面就说说怎么在weka里增加改进的机器学习算法. 一 添加分类算法的流程 1 编写的分类器必须继承 Classifier或是Cl ...

  3. FCM聚类算法介绍

    FCM算法是一种基于划分的聚类算法,它的思想就是使得被划分到同一簇的对象之间相似度最大,而不同簇之间的相似度最小.模糊C均值算法是普通C均值算法的改进,普通C均值算法对于数据的划分是硬性的,而FCM则 ...

  4. ML: 聚类算法R包-模糊聚类

    1965年美国加州大学柏克莱分校的扎德教授第一次提出了'集合'的概念.经过十多年的发展,模糊集合理论渐渐被应用到各个实际应用方面.为克服非此即彼的分类缺点,出现了以模糊集合论为数学基础的聚类分析.用模 ...

  5. 聚类(三)FUZZY C-MEANS 模糊c-均值聚类算法——本质和逻辑回归类似啊

    摘自:http://ramsey16.net/%E8%81%9A%E7%B1%BB%EF%BC%88%E4%B8%89%EF%BC%89fuzzy-c-means/ 经典k-均值聚类算法的每一步迭代中 ...

  6. 基于模糊聚类和最小割的层次化网格分割算法(Hierarchical Mesh Decomposition)

    网格分割算法是三维几何处理算法中的重要算法,具有许多实际应用.[Katz et al. 2003]提出了一种新型的层次化网格分割算法,该算法能够将几何模型沿着凹形区域分割成不同的几何部分,并且可以避免 ...

  7. 基于模糊聚类和最小割的层次化三维网格分割算法(Hierarchical Mesh Decomposition)

    网格分割算法是三维几何处理算法中的重要算法,具有许多实际应用.[Katz et al. 2003]提出了一种新型的层次化网格分割算法,该算法能够将几何模型沿着凹形区域分割成不同的几何部分,并且可以避免 ...

  8. ML: 聚类算法-K均值聚类

    基于划分方法聚类算法R包: K-均值聚类(K-means)                   stats::kmeans().fpc::kmeansruns() K-中心点聚类(K-Medoids) ...

  9. ML: 聚类算法-概论

    聚类分析是一种重要的人类行为,早在孩提时代,一个人就通过不断改进下意识中的聚类模式来学会如何区分猫狗.动物植物.目前在许多领域都得到了广泛的研究和成功的应用,如用于模式识别.数据分析.图像处理.市场研 ...

随机推荐

  1. Gradle 引入本地定制 jar 包,而不使用坐标下载 jar 包的方法

    第 1 步:创建文件夹,拷贝 jar 包 在自己的 Gradle 项目里建立一个名为 “libs” (这个名字可以自己定义,不一定非要叫这个名字)的文件夹,把自己本地的 jar 包拷贝到这个文件夹中. ...

  2. linux 进阶命令___0001

    查看指定目录下最大的文件 #查看/var目录下前10个最大的文件 #Find top 10 largest files in /var directory (subdirectories and hi ...

  3. jsp基础知识点——思维导图

    如图 思维导图图片链接 http://www.edrawsoft.cn/viewer/public/s/0b8cd083478732 有道云笔记图片链接 http://note.youdao.com/ ...

  4. JAVA集合类汇总 - 转载

    一.集合与数组 数组(可以存储基本数据类型)是用来存现对象的一种容器,但是数组的长度固定,不适合在对象数量未知的情况下使用. 集合(只能存储对象,对象类型可以不一样)的长度可变,可在多数情况下使用. ...

  5. Pandas分组(GroupBy)

    任何分组(groupby)操作都涉及原始对象的以下操作之一.它们是 - 分割对象 应用一个函数 结合的结果 在许多情况下,我们将数据分成多个集合,并在每个子集上应用一些函数.在应用函数中,可以执行以下 ...

  6. mysql数据库优化课程---11、mysql普通多表查询

    mysql数据库优化课程---11.mysql普通多表查询 一.总结 一句话总结:select user.username,user.age,class.name,class.ctime from u ...

  7. git下载别人的代码

    1. 打开别人github上的源码地址,点击Clone or download 2. 拷贝链接 3. 通过git clone URL来下载 此外,还可以通过pwd来查看当前目录的路径,一般都是下载到当 ...

  8. 新版appium绘制九宫格的一个注意点

    在用appium-desktop-setup-1.6.2进行app手势密码设置时,发现move_to(x, y)相对偏移量的方法用不了,绘制的手势也是乱跑 还会抛一个错误 selenium.commo ...

  9. os.path.abs()与os.path.realpath()的一点区别

    相同点 1. 两者都是返回绝对路径,如果参数path为空,则返回当前文件所在目录的绝对路径 当前py文件所在的目录是revise print(os.path.abspath("") ...

  10. poj1469

    题解: 二分图匹配 然后判断最大匹配是否是m 代码: #include<cstdio> #include<cmath> #include<algorithm> #i ...