Matlab实现K-Means聚类算法

人生如戏！！！！

一、理论准备

聚类算法，不是分类算法。分类算法是给一个数据，然后判断这个数据属于已分好的类中的具体哪一类。聚类算法是给一大堆原始数据，然后通过算法将其中具有相似特征的数据聚为一类。

K-Means算法的基本思想是初始随机给定K个簇中心，按照最邻近原则把待分类样本点分到各个簇。然后按平均法重新计算各个簇的质心，从而确定新的簇心。一直迭代，直到簇心的移动距离小于某个给定的值。

算法大致思路：
      1、从给定样本中任选几个点作为初始中心（我取k=2）
      2、计算其余点分别和初始中心点的距离，跟哪个初始中心近就跟那个中心点归为一类(欧式距离公式)，直到各自为“派别”
      3、在分好类的基础上按平均值的方法重新计算聚类中心点，再重复第二步...以此类推
      4、直到最后算法收敛（可以理解为中心点不再变动）则结束。

小知识点：

（1）s=size(A),
         当只有一个输出参数时，返回一个行向量，该行向量的第一个元素时矩阵的行数，第二个元素是矩阵的列数。
   （2）[r,c]=size(A),
         当有两个输出参数时，size函数将矩阵的行数返回到第一个输出变量r，将矩阵的列数返回到第二个输出变量c。
   （3）size(A,n)如果在size函数的输入参数中再添加一项n，并用1或2为n赋值，则 size将返回矩阵的行数或列数。其中r=size(A,1)该语句返回的时矩阵A的行数， c=size(A,2) 该语句返回的时矩阵A的列数。
另外，length()=max(size())。

二、算法实现

  1: %K-means算法主程序

  2: k=4;

  3: x =[ 1.2126   2.1338   0.5115   0.2044

  4:   -0.9316   0.7634   0.0125   -0.2752

  5:   -2.9593   0.1813   -0.8833   0.8505

  6:   3.1104   -2.5393   -0.0588   0.1808

  7:   -3.1141   -0.1244   -0.6811   0.9891

  8:   -3.2008   0.0024   -1.2901   0.9748

  9:   -1.0777   1.1438   0.1996   0.0139

 10:   -2.7213   -0.1909   0.1184   0.1013

 11:   -1.1467   1.3820   0.1427   -0.2239

 12:   1.1497   1.9414   -0.3035   0.3464

 13:   2.6993   -2.2556   0.1637   -0.0139

 14:   -3.0311   0.1417   0.0888   0.1791

 15:   -2.8403   -0.1809   -0.0965   0.0817

 16:   1.0118   2.0372   0.1638   -0.0349

 17:   -0.8968   1.0260   -0.1013   0.2369

 18:   1.1112   1.8802   -0.0291   -0.1506

 19:   1.1907   2.2041   -0.1060   0.2167

 20:   -1.0114   0.8029   -0.1317   0.0153

 21:   -3.1715   0.1041   -0.3338   0.0321

 22:   0.9718   1.9634   0.0305   -0.3259

 23:   -1.0377   0.8889   -0.2834   0.2301

 24:   -0.8989   1.0185   -0.0289   0.0213

 25:   -2.9815   -0.4798   0.2245   0.3085

 26:   -0.8576   0.9231   -0.2752   -0.0091

 27:   -3.1356   0.0026   -1.2138   0.7733

 28:   3.4470   -2.2418   0.2014   -0.1556

 29:   2.9143   -1.7951   0.1992   -0.2146

 30:   3.4961   -2.4969   -0.0121   0.1315

 31:   -2.9341   -0.1071   -0.7712   0.8911

 32:   -2.8105   -0.0884   -0.0287   -0.1279

 33:   3.1006   -2.0677   -0.2002   -0.1303

 34:   0.8209   2.1724   0.1548   0.3516

 35:   -2.8500   0.3196   0.1359   -0.1179

 36:   -2.8679   0.1365   -0.5702   0.7626

 37:   -2.8245   -0.1312   0.0881   -0.1305

 38:   -0.8322   1.3014   -0.3837   0.2400

 39:   -2.6063   0.1431   0.1880   0.0487

 40:   -3.1341   -0.0854   -0.0359   -0.2080

 41:   0.6893   2.0854   -0.3250   -0.1007

 42:   1.0894   1.7271   -0.0176   0.6553

 43:   -2.9851   -0.0113   0.0666   -0.0802

 44:   1.0371   2.2724   0.1044   0.3982

 45:   -2.8032   -0.2737   -0.7391   1.0277

 46:   -2.6856   0.0619   -1.1066   1.0485

 47:   -2.9445   -0.1602   -0.0019   0.0093

 48:   1.2004   2.1302   -0.1650   0.3413

 49:   3.2505   -1.9279   0.4462   -0.2405

 50:   -1.2080   0.8222   0.1671   0.1576

 51:   -2.8274   0.1515   -0.9636   1.0675

 52:   2.8190   -1.8626   0.2702   0.0026

 53:   1.0507   1.7776   -0.1421   0.0999

 54:   -2.8946   0.1446   -0.1645   0.3071

 55:   -1.0105   1.0973   0.0241   0.1628

 56:   -2.9138   -0.3404   0.0627   0.1286

 57:   -3.0646   -0.0008   0.3819   -0.1541

 58:   1.2531   1.9830   -0.0774   0.2413

 59:   1.1486   2.0440   -0.0582   -0.0650

 60:   -3.1401   -0.1447   -0.6580   0.9562

 61:   -2.9591   0.1598   -0.6581   1.1937

 62:   -2.9219   -0.3637   -0.1538   -0.2085

 63:   2.8948   -2.2745   0.2332   -0.0312

 64:   -3.2972   -0.0219   -0.0288   -0.1436

 65:   -1.2737   0.7648   0.0643   0.0858

 66:   -1.0690   0.8108   -0.2723   0.3231

 67:   -0.5908   0.7508   -0.5456   0.0190

 68:   0.5808   2.0573   -0.1658   0.1709

 69:   2.8227   -2.2461   0.2255   -0.3684

 70:   0.6174   1.7654   -0.3999   0.4125

 71:   3.2587   -1.9310   0.2021   0.0800

 72:   1.0999   1.8852   -0.0475   -0.0585

 73:   -2.7395   0.2585   -0.8441   0.9987

 74:   -1.2223   1.0542   -0.2480   -0.2795

 75:   -2.9212   -0.0605   -0.0259   0.2591

 76:   3.1598   -2.2631   0.1746   0.1485

 77:   0.8476   1.8760   -0.2894   -0.0354

 78:   2.9205   -2.2418   0.4137   -0.2499

 79:   2.7656   -2.1768   0.0719   -0.1848

 80:   -0.8698   1.0249   -0.2084   -0.0008

 81:   -1.1444   0.7787   -0.4958   0.3676

 82:   -1.0711   1.0450   -0.0477   -0.4030

 83:   0.5350   1.8110   -0.0377   0.1622

 84:   0.9076   1.8845   -0.1121   0.5700

 85:   -2.7887   -0.2119   0.0566   0.0120

 86:   -1.2567   0.9274   0.1104   0.1581

 87:   -2.9946   -0.2086   -0.8169   0.6662

 88:   1.0536   1.9818   -0.0631   0.2581

 89:   -2.8465   -0.2222   0.2745   0.1997

 90:   -2.8516   0.1649   -0.7566   0.8616

 91:   -3.2470   0.0770   0.1173   -0.1092

 92:   -2.9322   -0.0631   -0.0062   -0.0511

 93:   -2.7919   0.0438   -0.1935   -0.5023

 94:   0.9894   1.9475   -0.0146   -0.0390

 95:   -2.9659   -0.1300   0.1144   0.3410

 96:   -2.7322   -0.0427   -1.0758   0.9718

 97:   -1.4852   0.8592   -0.0503   -0.1373

 98:   2.8845   -2.1465   -0.0533   -0.1044

 99:   -3.1470   0.0536   0.1073   0.3323

100:   2.9423   -2.1572   0.0505   0.1180

101:   -3.0683   0.3434   -0.6563   0.8960

102:   1.3215   2.0951   -0.1557   0.3994

103:   -0.7681   1.2075   -0.2781   0.2372

104:   -0.6964   1.2360   -0.3342   0.1662

105:   -0.6382   0.8204   -0.2587   0.3344

106:   -3.0233   -0.1496   -0.2607   -0.0400

107:   -0.8952   0.9872   0.0019   0.3138

108:   -0.8172   0.6814   -0.0691   0.1009

109:   -3.3032   0.0571   -0.0243   -0.1405

110:   0.7810   1.9013   -0.3996   0.7374

111:   -0.9030   0.8646   -0.1498   0.1112

112:   -0.8461   0.9261   -0.1295   -0.0727

113:   2.8182   -2.0818   -0.1430   -0.0547

114:   2.9295   -2.3846   -0.0244   -0.1400

115:   1.0587   2.2227   -0.1250   0.0957

116:   3.0755   -1.7365   -0.0511   0.1500

117:   -1.3076   0.8791   -0.3720   0.0331

118:   -2.8252   -0.0366   -0.6790   0.7374

119:   -2.6551   -0.1875   0.3222   0.0483

120:   -2.9659   -0.1585   0.4013   -0.1402

121:   -3.2859   -0.1546   0.0104   -0.1781

122:   -0.6679   1.1999   0.1396   -0.3195

123:   -1.0205   1.2226   0.1850   0.0050

124:   -3.0091   -0.0186   -0.9111   0.9663

125:   -3.0339   0.1377   -0.9662   1.0664

126:   0.8952   1.9594   -0.3221   0.3579

127:   -2.8481   0.1963   -0.1428   0.0382

128:   1.0796   2.1353   -0.0792   0.6491

129:   -0.8732   0.8985   -0.0049   0.0068

130:   1.0620   2.1478   -0.1275   0.3553

131:   3.4509   -1.9975   0.1285   -0.1575

132:   -3.2280   -0.0640   -1.1513   0.8235

133:   -0.6654   0.9402   0.0577   -0.0175

134:   -3.2100   0.2762   -0.1053   0.0626

135:   3.0793   -2.0043   0.2948   0.0411

136:   1.3596   1.9481   -0.0167   0.3958

137:   -3.1267   0.1801   0.2228   0.1179

138:   -0.7979   0.9892   -0.2673   0.4734

139:   2.5580   -1.7623   -0.1049   -0.0521

140:   -0.9172   1.0621   -0.0826   0.1501

141:   -0.7817   1.1658   0.1922   0.0803

142:   3.1747   -2.1442   0.1472   -0.3411

143:   2.8476   -1.8056   -0.0680   0.1536

144:   -0.6175   1.4349   -0.1970   -0.1085

145:   0.7308   1.9656   0.2602   0.2801

146:   -1.0310   1.0553   -0.2928   -0.1647

147:   -2.9251   -0.2095   0.0582   -0.1813

148:   -0.9827   1.2720   -0.2225   0.2563

149:   -1.0830   1.1158   -0.0405   -0.1181

150:   -2.8744   0.0195   -0.3811   0.1455

151:   3.1663   -1.9241   0.0455   0.1684

152:   -1.0734   0.7681   -0.4725   -0.1976];

153: [n,d] = size(x);

154: bn=round(n/k*rand);%第一个随机数在前1/K的范围内

155: %；表示按列显示，都好表示按行显示

156: nc=[x(bn,:);x(2*bn,:);x(3*bn,:);x(4*bn,:)];%初始聚类中心

157: %x(bn,:) 选择某一行数据作为聚类中心，其列值为全部

158:

159: %x数据源，k聚类数目，nc表示k个初始化聚类中心

160: %cid表示每个数据属于哪一类，nr表示每一类的个数，centers表示聚类中心

161: [cid,nr,centers] = kmeans(x,k,nc)%调用kmeans函数

162: %认为不该是150，或者说不该是个确定值，该是size(x,1)就是x行数

163: for i=1:150

164:   if cid(i)==1,

165:      plot(x(i,1),x(i,2),'r*') % 显示第一类

166:     %plot(x(i,2),'r*') % 显示第一类

167:     hold on

168:   else

169:       if cid(i)==2,

170:         plot(x(i,1),x(i,2),'b*') %显示第二类

171:         %  plot(x(i,2),'b*') % 显示第一类

172:           hold on

173:       else

174:               if cid(i)==3,

175:                     plot(x(i,1),x(i,2),'g*') %显示第三类

176:                    % plot(x(i,2),'g*') % 显示第一类

177:                     hold on

178:                   else

179:                       if cid(i)==4,

180:                        plot(x(i,1),x(i,2),'k*') %显示第四类

181:                         % plot(x(i,2),'k*') % 显示第一类

182:                         hold on

183:                       end

184:               end

185:         end

186:   end

187: end

188: strt=['红色*为第一类；蓝色*为第二类；绿色*为第三类；黑色*为第四类' ];

189: text(-4,-3.6,strt); 

  1: %BasicKMeans.m主类

  2: %x数据源，k聚类数目，nc表示k个初始化聚类中心

  3: %cid表示每个数据属于哪一类，nr表示每一类的个数，centers表示聚类中心

  4: function [cid,nr,centers] = kmeans(x,k,nc)

  5:     [n,d] = size(x);

  6:     % 设置cid为分类结果显示矩阵

  7:     cid = zeros(1,n);

  8:     % Make this different to get the loop started.

  9:     oldcid = ones(1,n);

 10:     % The number in each cluster.

 11:     nr = zeros(1,k);

 12:     % Set up maximum number of iterations.

 13:     maxgn= 100;

 14:     iter = 1;

 15:     %计算每个数据到聚类中心的距离 ,选择最小的值得位置到cid

 16:     %我记得是聚类中心近乎不再变化迭代停止

 17:     while iter < maxgn

 18:         for i = 1:n

 19:             %repmat 即 Replicate Matrix ，复制和平铺矩阵，是 MATLAB 里面的一个函数。

 20:             %B = repmat(A,m,n)将矩阵 A 复制 m×n 块，即把 A 作为 B 的元素，B 由 m×n 个 A 平铺而成。B 的维数是 [size(A,1)*m, size(A,2)*n] 。

 21:             %点乘方a.^b,矩阵a中每个元素按b中对应元素乘方或者b是常数

 22:             %sum(x,2)表示矩阵x的横向相加，求每行的和，结果是列向量。 而缺省的sum(x)就是竖向相加，求每列的和，结果是行向量。

 23:             dist = sum((repmat(x(i,:),k,1)-nc).^2,2);

 24:             [m,ind] = min(dist); % 将当前聚类结果存入cid中

 25:             cid(i) = ind;

 26:         end

 27:          %找到每一类的所有数据，计算他们的平均值，作为下次计算的聚类中心

 28:         for i = 1:k

 29:             %find（A>m,4）返回矩阵A中前四个数值大于m的元素所在位置

 30:             ind = find(cid==i);

 31:             %mean(a,1)=mean(a)纵向;mean(a,2)横向

 32:             nc(i,:) = mean(x(ind,:));

 33:             %统计每一类的数据个数

 34:             nr(i) = length(ind);

 35:         end

 36:         iter = iter + 1;

 37:     end

 38:

 39:     % Now check each observation to see if the error can be minimized some more.

 40:     % Loop through all points.

 41:

 42:     maxiter = 2;

 43:     iter = 1;

 44:     move = 1;

 45:     %j~=k这是一个逻辑表达式，j不等于k，如果j不等于k，返回值为1，否则为0

 46:     while iter < maxiter & move ~= 0

 47:         move = 0;

 48:         %对所有的数据进行再次判断，寻求最佳聚类结果

 49:         for i = 1:n

 50:             dist = sum((repmat(x(i,:),k,1)-nc).^2,2);

 51:             r = cid(i); % 将当前数据属于的类给r

 52:             %点除，a.\b表示矩阵b的每个元素除以a中对应元素或者除以常数a，a./b表示常数a除以矩阵b中每个元素或者矩阵a除以矩阵b对应元素或者常数b

 53:             %nr是没一类的的个数

 54:

 55:

 56:

 57:             %这个调整看不懂

 58:             %点乘(对应元素相乘),必须同维或者其中一个是标量，a.*b

 59:             dadj = nr./(nr+1).*dist'; % 计算调整后的距离

 60:

 61:             [m,ind] = min(dadj); % 找到该数据距哪个聚类中心最近

 62:             if ind ~= r % 如果不等则聚类中心移动

 63:                   cid(i) = ind;%将新的聚类结果送给cid

 64:                   ic = find(cid == ind);%重新计算调整当前类别的聚类中心

 65:                   nc(ind,:) = mean(x(ic,:));

 66:                   move = 1;

 67:             end

 68:         end

 69:         iter = iter+1;

 70:     end

 71:     centers = nc;

 72:     if move == 0

 73:         disp('No points were moved after the initial clustering procedure.')

 74:     else

 75:         disp('Some points were moved after the initial clustering procedure.')

 76:     end

三、算法结果

控制台自动输出的结果如下，我很奇怪怎么自己输出了。

  1: >> main

  2: No points were moved after the initial clustering procedure.

  3: cid =

  4:   Columns 1 through 22

  5:      2     3     1     4     1     1     3     1     3     2     4     1     1     2     3     2     2     3     1     2     3     3

  6:   Columns 23 through 44

  7:      1     3     1     4     4     4     1     1     4     2     1     1     1     3     1     1     2     2     1     2     1     1

  8:   Columns 45 through 66

  9:      1     2     4     3     1     4     2     1     3     1     1     2     2     1     1     1     4     1     3     3     3     2

 10:   Columns 67 through 88

 11:      4     2     4     2     1     3     1     4     2     4     4     3     3     3     2     2     1     3     1     2     1     1

 12:   Columns 89 through 110

 13:      1     1     1     2     1     1     3     4     1     4     1     2     3     3     3     1     3     3     1     2     3     3

 14:   Columns 111 through 132

 15:      4     4     2     4     3     1     1     1     1     3     3     1     1     2     1     2     3     2     4     1     3     1

 16:   Columns 133 through 150

 17:      4     2     1     3     4     3     3     4     4     3     2     3     1     3     3     1     4     3

 18: nr =

 19:     55    30    40    25

 20: centers =

 21:   -2.962918181818183  -0.023009090909091  -0.297021818181818   0.341136363636364

 22:    0.995233333333333   1.997873333333334  -0.078486666666667   0.229650000000000

 23:   -0.956882500000000   0.997800000000000  -0.123667500000000   0.049320000000000

 24:    3.023444000000000  -2.098592000000001   0.102096000000000  -0.050580000000000

每次运行结果得到的图片都不一样，最奇怪的是第二个图片竟然重叠类别。

   

四、结果分析

不适合处理离散型属性，但是对于连续型具有较好的聚类效果。

对于不同的初始值，可能会导致不同结果：多设置一些不同的初值，但比较耗时和浪费资源。

分类数目K不确定：通过类的自动合并和分裂，得到较为合理的类型数目K，例如ISODATA算法。相同点：聚类中心都是通过样本均值的迭代运算来决定的；不同点：主要是在选代过程中可将一类一分为二，亦可能二类合二为一，即“自组织”，这种算法具有启发式的特点。由于算法有自我调整的能力，因而需要设置若干个控制用参数，如聚类数期望值K、最小类内样本数、类间中心距离参数、每次迭代允许合并的最大聚类对数L及允许迭代次数I等。

参考了老王的课件。