GMM算法的matlab程序

在https://www.cnblogs.com/kailugaji/p/9648508.html文章中已经介绍了GMM算法，现在用matlab程序实现它。

作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/

1.采用iris数据库

iris_data.txt

  1. 5.1    3.5    1.4    0.2
  2. 4.9    3    1.4    0.2
  3. 4.7    3.2    1.3    0.2
  4. 4.6    3.1    1.5    0.2
  5. 5    3.6    1.4    0.2
  6. 5.4    3.9    1.7    0.4
  7. 4.6    3.4    1.4    0.3
  8. 5    3.4    1.5    0.2
  9. 4.4    2.9    1.4    0.2
  10. 4.9    3.1    1.5    0.1
  11. 5.4    3.7    1.5    0.2
  12. 4.8    3.4    1.6    0.2
  13. 4.8    3    1.4    0.1
  14. 4.3    3    1.1    0.1
  15. 5.8    4    1.2    0.2
  16. 5.7    4.4    1.5    0.4
  17. 5.4    3.9    1.3    0.4
  18. 5.1    3.5    1.4    0.3
  19. 5.7    3.8    1.7    0.3
  20. 5.1    3.8    1.5    0.3
  21. 5.4    3.4    1.7    0.2
  22. 5.1    3.7    1.5    0.4
  23. 4.6    3.6    1    0.2
  24. 5.1    3.3    1.7    0.5
  25. 4.8    3.4    1.9    0.2
  26. 5    3    1.6    0.2
  27. 5    3.4    1.6    0.4
  28. 5.2    3.5    1.5    0.2
  29. 5.2    3.4    1.4    0.2
  30. 4.7    3.2    1.6    0.2
  31. 4.8    3.1    1.6    0.2
  32. 5.4    3.4    1.5    0.4
  33. 5.2    4.1    1.5    0.1
  34. 5.5    4.2    1.4    0.2
  35. 4.9    3.1    1.5    0.2
  36. 5    3.2    1.2    0.2
  37. 5.5    3.5    1.3    0.2
  38. 4.9    3.6    1.4    0.1
  39. 4.4    3    1.3    0.2
  40. 5.1    3.4    1.5    0.2
  41. 5    3.5    1.3    0.3
  42. 4.5    2.3    1.3    0.3
  43. 4.4    3.2    1.3    0.2
  44. 5    3.5    1.6    0.6
  45. 5.1    3.8    1.9    0.4
  46. 4.8    3    1.4    0.3
  47. 5.1    3.8    1.6    0.2
  48. 4.6    3.2    1.4    0.2
  49. 5.3    3.7    1.5    0.2
  50. 5    3.3    1.4    0.2
  51. 7    3.2    4.7    1.4
  52. 6.4    3.2    4.5    1.5
  53. 6.9    3.1    4.9    1.5
  54. 5.5    2.3    4    1.3
  55. 6.5    2.8    4.6    1.5
  56. 5.7    2.8    4.5    1.3
  57. 6.3    3.3    4.7    1.6
  58. 4.9    2.4    3.3    1
  59. 6.6    2.9    4.6    1.3
  60. 5.2    2.7    3.9    1.4
  61. 5    2    3.5    1
  62. 5.9    3    4.2    1.5
  63. 6    2.2    4    1
  64. 6.1    2.9    4.7    1.4
  65. 5.6    2.9    3.6    1.3
  66. 6.7    3.1    4.4    1.4
  67. 5.6    3    4.5    1.5
  68. 5.8    2.7    4.1    1
  69. 6.2    2.2    4.5    1.5
  70. 5.6    2.5    3.9    1.1
  71. 5.9    3.2    4.8    1.8
  72. 6.1    2.8    4    1.3
  73. 6.3    2.5    4.9    1.5
  74. 6.1    2.8    4.7    1.2
  75. 6.4    2.9    4.3    1.3
  76. 6.6    3    4.4    1.4
  77. 6.8    2.8    4.8    1.4
  78. 6.7    3    5    1.7
  79. 6    2.9    4.5    1.5
  80. 5.7    2.6    3.5    1
  81. 5.5    2.4    3.8    1.1
  82. 5.5    2.4    3.7    1
  83. 5.8    2.7    3.9    1.2
  84. 6    2.7    5.1    1.6
  85. 5.4    3    4.5    1.5
  86. 6    3.4    4.5    1.6
  87. 6.7    3.1    4.7    1.5
  88. 6.3    2.3    4.4    1.3
  89. 5.6    3    4.1    1.3
  90. 5.5    2.5    4    1.3
  91. 5.5    2.6    4.4    1.2
  92. 6.1    3    4.6    1.4
  93. 5.8    2.6    4    1.2
  94. 5    2.3    3.3    1
  95. 5.6    2.7    4.2    1.3
  96. 5.7    3    4.2    1.2
  97. 5.7    2.9    4.2    1.3
  98. 6.2    2.9    4.3    1.3
  99. 5.1    2.5    3    1.1
  100. 5.7    2.8    4.1    1.3
  101. 6.3    3.3    6    2.5
  102. 5.8    2.7    5.1    1.9
  103. 7.1    3    5.9    2.1
  104. 6.3    2.9    5.6    1.8
  105. 6.5    3    5.8    2.2
  106. 7.6    3    6.6    2.1
  107. 4.9    2.5    4.5    1.7
  108. 7.3    2.9    6.3    1.8
  109. 6.7    2.5    5.8    1.8
  110. 7.2    3.6    6.1    2.5
  111. 6.5    3.2    5.1    2
  112. 6.4    2.7    5.3    1.9
  113. 6.8    3    5.5    2.1
  114. 5.7    2.5    5    2
  115. 5.8    2.8    5.1    2.4
  116. 6.4    3.2    5.3    2.3
  117. 6.5    3    5.5    1.8
  118. 7.7    3.8    6.7    2.2
  119. 7.7    2.6    6.9    2.3
  120. 6    2.2    5    1.5
  121. 6.9    3.2    5.7    2.3
  122. 5.6    2.8    4.9    2
  123. 7.7    2.8    6.7    2
  124. 6.3    2.7    4.9    1.8
  125. 6.7    3.3    5.7    2.1
  126. 7.2    3.2    6    1.8
  127. 6.2    2.8    4.8    1.8
  128. 6.1    3    4.9    1.8
  129. 6.4    2.8    5.6    2.1
  130. 7.2    3    5.8    1.6
  131. 7.4    2.8    6.1    1.9
  132. 7.9    3.8    6.4    2
  133. 6.4    2.8    5.6    2.2
  134. 6.3    2.8    5.1    1.5
  135. 6.1    2.6    5.6    1.4
  136. 7.7    3    6.1    2.3
  137. 6.3    3.4    5.6    2.4
  138. 6.4    3.1    5.5    1.8
  139. 6    3    4.8    1.8
  140. 6.9    3.1    5.4    2.1
  141. 6.7    3.1    5.6    2.4
  142. 6.9    3.1    5.1    2.3
  143. 5.8    2.7    5.1    1.9
  144. 6.8    3.2    5.9    2.3
  145. 6.7    3.3    5.7    2.5
  146. 6.7    3    5.2    2.3
  147. 6.3    2.5    5    1.9
  148. 6.5    3    5.2    2
  149. 6.2    3.4    5.4    2.3
  150. 5.9    3    5.1    1.8

2.matlab源程序

  1. function label_2=My_GMM(K)
  2. %输入K：聚类数，K个单高斯模型
  3. %输出label_2:聚的类，para_pi:单高斯权重，para_miu_new:高斯分布参数μ，para_sigma:高斯分布参数sigma
  4. format long
  5. eps=1e-15;  %定义迭代终止条件的eps
  6. data=dlmread('E:\www.cnblogs.comkailugaji\data\iris\iris_data.txt');
  7. %----------------------------------------------------------------------------------------------------
  8. %对data做最大-最小归一化处理
  9. [data_num,~]=size(data);
  10. X=(data-ones(data_num,1)*min(data))./(ones(data_num,1)*(max(data)-min(data)));
  11. [X_num,X_dim]=size(X);
  12. para_sigma=zeros(X_dim,X_dim,K);
  13. %----------------------------------------------------------------------------------------------------
  14. %随机初始化K个聚类中心
  15. rand_array=randperm(X_num);  %产生1~X_num之间整数的随机排列
  16. center=X(rand_array(1:K),:);  %随机排列取前K个数，在X矩阵中取这K行作为初始聚类中心
  17. %根据上述聚类中心初始化参数
  18. para_miu_new=center;  %初始化参数miu
  19. para_pi=ones(1,K)./K;  %K类单高斯模型的权重
  20. for k=1:K
  21.     para_sigma(:,:,k)=eye(X_dim);  %K类单高斯模型的协方差矩阵,初始化为单位阵
  22. end
  23. %欧氏距离，计算（X-para_miu）^2=X^2+para_miu^2-2*X*para_miu'，矩阵大小为X_num*K
  24. distant=repmat(sum(X.*X,2),1,K)+repmat(sum(para_miu_new.*para_miu_new,2)',X_num,1)-2*X*para_miu_new';
  25. %返回distant每行最小值所在的下标
  26. [~,label_1]=min(distant,[],2);
  27. for k=1:K
  28.     X_k=X(label_1==k,:);  %X_k是一个（X_num/K, X_dim）的矩阵,把X矩阵分为K类
  29.     para_pi(k)=size(X_k,1)/X_num;  %将（每一类数据的个数/X_num）作为para_pi的初始值
  30.     para_sigma(:,:,k)=cov(X_k);  %para_sigma是一个（X_dim, X_dim）的矩阵，cov(矩阵)求的是每一列之间的协方差
  31. end
  32. %----------------------------------------------------------------------------------------------------
  33. %EM算法
  34. N_pdf=zeros(X_num,K);
  35. while true
  36.     para_miu=para_miu_new;
  37.     %----------------------------------------------------------------------------------------------------
  38.     %E步
  39.     %单高斯分布的概率密度函数N_pdf
  40.     for k=1:K
  41.         X_miu=X-repmat(para_miu(k,:),X_num,1);  %X-miu,(X_num, X_dim)的矩阵
  42.         sigma_inv=inv(para_sigma(:,:,k));  %sigma的逆矩阵,(X_dim, X_dim)的矩阵//很可能出现奇异矩阵
  43.         exp_up=sum((X_miu*sigma_inv).*X_miu,2);  %指数的幂，(X-miu)'*sigma^(-1)*(X-miu)
  44.         coefficient=(2*pi)^(-X_dim/2)*sqrt(det(sigma_inv));  %高斯分布的概率密度函数e左边的系数
  45.         N_pdf(:,k)=coefficient*exp(-0.5*exp_up);
  46.     end
  47. %    N_pdf=guass_pdf(X,K,para_miu,para_sigma);
  48.     responsivity=N_pdf.*repmat(para_pi,X_num,1);  %响应度responsivity的分子，（X_num,K）的矩阵
  49.     responsivity=responsivity./repmat(sum(responsivity,2),1,K);  %responsivity:在当前模型下第n个观测数据来自第k个分模型的概率，即分模型k对观测数据Xn的响应度
  50.     %----------------------------------------------------------------------------------------------------
  51.     %M步
  52.     R_k=sum(responsivity,1);  %(1,K)的矩阵，把responsivity每一列求和
  53.     %更新参数miu
  54.     para_miu_new=diag(1./R_k)*responsivity'*X;
  55.     %更新k个参数sigma
  56.     for i=1:K
  57.         X_miu=X-repmat(para_miu_new(i,:),X_num,1);
  58.         para_sigma(:,:,i)=(X_miu'*(diag(responsivity(:,i))*X_miu))/R_k(i);
  59.     end
  60.     %更新参数pi
  61.     para_pi=R_k/sum(R_k);
  62.     %----------------------------------------------------------------------------------------------------
  63.     %迭代终止条件
  64.     if norm(para_miu_new-para_miu)<=eps
  65.         break;
  66.     end
  67. end
  68. %----------------------------------------------------------------------------------------------------
  69. %聚类
  70. [~,label_2]=max(responsivity,[],2);

3.结果

  1. >> label_1=My_GMM(3)
  2.  
  3. label_1 =
  4.  
  5.      2
  6.      2
  7.      2
  8.      2
  9.      2
  10.      2
  11.      2
  12.      2
  13.      2
  14.      2
  15.      2
  16.      2
  17.      2
  18.      2
  19.      2
  20.      2
  21.      2
  22.      2
  23.      2
  24.      2
  25.      2
  26.      2
  27.      2
  28.      2
  29.      2
  30.      2
  31.      2
  32.      2
  33.      2
  34.      2
  35.      2
  36.      2
  37.      2
  38.      2
  39.      2
  40.      2
  41.      2
  42.      2
  43.      2
  44.      2
  45.      2
  46.      2
  47.      2
  48.      2
  49.      2
  50.      2
  51.      2
  52.      2
  53.      2
  54.      2
  55.      1
  56.      1
  57.      1
  58.      1
  59.      1
  60.      1
  61.      1
  62.      1
  63.      1
  64.      1
  65.      1
  66.      1
  67.      1
  68.      1
  69.      1
  70.      1
  71.      1
  72.      1
  73.      3
  74.      1
  75.      3
  76.      1
  77.      3
  78.      1
  79.      1
  80.      1
  81.      1
  82.      3
  83.      1
  84.      1
  85.      1
  86.      1
  87.      1
  88.      3
  89.      1
  90.      1
  91.      1
  92.      1
  93.      1
  94.      1
  95.      1
  96.      1
  97.      1
  98.      1
  99.      1
  100.      1
  101.      1
  102.      1
  103.      1
  104.      1
  105.      3
  106.      3
  107.      3
  108.      3
  109.      3
  110.      3
  111.      3
  112.      3
  113.      3
  114.      3
  115.      3
  116.      3
  117.      3
  118.      3
  119.      3
  120.      3
  121.      3
  122.      3
  123.      3
  124.      3
  125.      3
  126.      3
  127.      3
  128.      3
  129.      3
  130.      3
  131.      3
  132.      3
  133.      3
  134.      3
  135.      3
  136.      3
  137.      3
  138.      3
  139.      3
  140.      3
  141.      3
  142.      3
  143.      3
  144.      3
  145.      3
  146.      3
  147.      3
  148.      3
  149.      3
  150.      3
  151.      3
  152.      3
  153.      3
  154.      3

4.注意

由于初始化聚类中心是随机的，所以每次出现的结果并不一样，如果答案与上述不一致，很正常，可以设置迭代次数，求精度。如有不对之处，望指正。

GMM算法的matlab程序（初步）的更多相关文章

  1. GMM算法的matlab程序

    GMM算法的matlab程序 在“GMM算法的matlab程序(初步)”这篇文章中已经用matlab程序对iris数据库进行简单的实现,下面的程序最终的目的是求准确度. 作者:凯鲁嘎吉 - 博客园 h ...

  2. FCM算法的matlab程序（初步）

    FCM算法的matlab程序 在https://www.cnblogs.com/kailugaji/p/9648430.html文章中已经介绍了FCM算法,现在用matlab程序实现它. 作者:凯鲁嘎 ...

  3. K-means算法的matlab程序（初步）

    K-means算法的matlab程序 在https://www.cnblogs.com/kailugaji/p/9648369.html 文章中已经介绍了K-means算法,现在用matlab程序实现 ...

  4. FCM算法的matlab程序

    FCM算法的matlab程序 在“FCM算法的matlab程序(初步)”这篇文章中已经用matlab程序对iris数据库进行简单的实现,下面的程序最终的目的是求准确度. 作者:凯鲁嘎吉 - 博客园 h ...

  5. K-means算法的matlab程序

    K-means算法的matlab程序 在“K-means算法的matlab程序(初步)”这篇文章中已经用matlab程序对iris数据库进行简单的实现,下面的程序最终的目的是求准确度. 作者:凯鲁嘎吉 ...

  6. mean shift聚类算法的MATLAB程序

    mean shift聚类算法的MATLAB程序 凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 1. mean shift 简介 mean shift, 写的 ...

  7. KFCM算法的matlab程序（用FCM初始化聚类中心）

    KFCM算法的matlab程序(用FCM初始化聚类中心) 在“聚类——KFCM”这篇文章中已经介绍了KFCM算法,现在用matlab程序对iris数据库进行实现,用FCM初始化聚类中心,并求其准确度与 ...

  8. KFCM算法的matlab程序

    KFCM算法的matlab程序 在“聚类——KFCM”这篇文章中已经介绍了KFCM算法,现在用matlab程序对iris数据库进行简单的实现,并求其准确度. 作者:凯鲁嘎吉 - 博客园 http:// ...

  9. FCM算法的matlab程序2

    FCM算法的matlab程序2 在“FCM算法的matlab程序”这篇文章中已经用matlab程序对iris数据库进行实现,并求解准确度.下面的程序是另一种方法,是最常用的方法:先初始化聚类中心,在进 ...

随机推荐

  1. MySQL系列详解十：MySQL多源复制演示-技术流ken

    前言 多源复制即多主一从结构,多个主服务器端的数据都会同步到后端一个从服务器上面.至于为什么要做多源复制下面的总结很到位. 1.灾备作用:将各个库汇总在一起,就算是其他库都挂了(整个机房都无法连接了) ...

  2. springMVC中的注解@RequestParam与@PathVariable的区别

    1.@PathVariable @PathVariable绑定URI模板变量值 @PathVariable是用来获得请求url中的动态参数的 @PathVariable用于将请求URL中的模板变量映射 ...

  3. 《c#图解教程》

    书名 <c#图解教程> 图片 时间 2017-10-12月 学习 第20章的异步编程很好,在项目里面很有用.东西有点多时间久了不用就忘了

  4. 线程 线程池 Task

    首先声明 这是读了 愉悦的绅士 文章 <菜鸟之旅——学习线程(线程和线程池)> <Task与线程> 的一些个人总结,还是那句话,如有不对,欢迎指正 文章以代码加注释的方法展示. ...

  5. [日常] MySQL数据库持久连接

    2018年5月18日 记录: 数据库持久连接: 1.持久的数据库连接是指在脚本结束运行时不关闭的连接.当收到一个持久连接的请求时.PHP 将检查是否已经存在一个(前面已经开启的)相同的持久连接.如果存 ...

  6. PHP stdClass类

    stdClass 是 PHP 的一个基类,几乎所有的类都继承了这个类,所以任何时候都可以被 new,让这个变量成为一个 Object.同时,实例化之后的 stdClass 是没有任何属性和方法的,也就 ...

  7. mybatis_02简单操作数据库

    模糊查询用户信息 <!-- [${}]:表示拼接SQL字符串 [${value}]:表示要拼接的是简单类型参数. 注意: 1.如果参数为简单类型时,${}里面的参数名称必须为value 2.${ ...

  8. 6.7 使用show profile 进行sql分析

    1. 查看是否开启 show variables like 'profiling'; 2. 开启功能 set profiling = on 3. 运行sql #写的尽量耗时的sql,利于分析 sele ...

  9. Java中枚举的使用

    Java中枚举其实就是静态常量,今天发现枚举里面其实还能加方法,学习了下, 代码如下: package org.pine.test; import java.util.HashMap; import ...

  10. Android view显示在软键盘上方

    给EditText外加一个ScrollView,将高度设置统一,并给ScrollView设置属性 android:fillViewport="true".  注:ScrollVie ...