最近在看《机器学习实战》这本书，书中的机器学习算法都很经典，写的也很详细，是一本不错的书，适合夯实基础，不过有一点缺陷就是书中使用的Python2的编译器代码，多多少少会与当前主流的Python3有些出入，所以小编在看书之余也准备将本书中的代码重新敲一遍到Python3，一起学习，一起进步，本栏目持续更新，知道本博主看完敲完这本书。

K-均值聚类算法

K-均值聚类算法是一种无监督的学习算法，首先通过随机生成簇来进行聚类，然后每一次更新簇中的质心，从而重新对更新的簇进行重新聚类，周而复始，迭代足够的次数后，得到最合适的簇。下图为K-均值聚类算法的基本流程：

算法代码详解

1.K-均值聚类的一般流程

(1)收集和处理数据：将数据进行结构化，变成代码可处理的数据结构

(2)分析数据：通过算法进行数据分析，本文使用的是k-均值算法

(3)训练算法：由于K-均值算法属于无监督学习，所以不需要训练算法，即无监督学习没有训练过程

(4)测试算法：用来测试准确度

2.收集和处理数据

本部分代码包括:(1).载入文件中的数据 (2).两向量矩阵计算函数 (3).簇的随机生成函数

import numpy as np
import matplotlib.pyplot as plt#无监督学习 无标签
def LoadDataSet(filename):    #将文件数据存入内存with open(filename) as fr:rowdata = fr.readlines()length = len(rowdata)dataset = np.zeros((length,2))index = 0for line in rowdata:line = line.strip()curline = line.split('\t')dataset[index,:] = curline #type of dataset is arrayindex += 1return dataset#距离计算函数
def ArrayDistance(VecA,VecB):return np.sqrt(np.sum(np.power((VecA-VecB),2)))#随机生成簇，维度要与数据集一致
def SetCluster(dataset,k):      #随机生成k个簇Dimension = dataset.shape[1]print(Dimension)cluster = np.mat(np.zeros((k,Dimension))) #create clusterfor i in range(Dimension):  #生成簇 不过要在所有数据的区域内datarange = float(max(dataset[:,i]) - min(dataset[:,i])) #最大值与最小值的差距cluster[:,i] =  datarange * np.random.rand(k,1) + min(dataset[:,i])return cluster

3.分析数据

def KMeans(dataset,k):  #k为簇的个数datalength = len(dataset) #获取数据集样本个数cluster = SetCluster(dataset,k) #随机生成簇 SampleToCluster = np.mat(np.zeros((datalength,2))) #此矩阵用标记向量属于哪一个簇中clusterIsChange = True #标记最新的变化while clusterIsChange:clusterIsChange = Falsefor i in range(datalength): #遍历每个数据样本判断此数据样本应该属于哪个簇mindis = np.inf ; minindex = -1for j in range(k):distance = ArrayDistance(dataset[i,:],cluster[j,:])if mindis > distance: mindis = distance; minindex = jif(SampleToCluster[i,0] != minindex): clusterIsChange = True ; #最新的分配是否有变化SampleToCluster[i, :] = minindex, mindis #更新分配矩阵print(cluster)for i in range(k):ptsInClust = dataset[np.nonzero(SampleToCluster[:,0].A == i)[0]] #获取第i个簇中的所有的向量cluster[i,:] = np.mean(ptsInClust,axis=0) #按列求平均得到全新的第i个簇return cluster , SampleToCluster

4.测试数据

a = LoadDataSet('testSet.txt') #载入数据
aa , bb = KMeans(a,4) #K-均值算法
print(aa)
#进行绘图 数据可视化
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(a[:,0].tolist(),a[:,1].tolist(),20,15.0*bb[:,0].reshape(1,80).A[0])
ax.scatter(aa[:,0].tolist(),aa[:,1].tolist(),marker='x',color='r')
plt.show()

总结

本书第十章的实验代码和数据在下面的链接供读者下载：https://github.com/JeremyRen95/DataAnalysis/tree/master/K%E5%9D%87%E5%80%BC%E8%81%9A%E7%B1%BB%E7%AE%97%E6%B3%95