聚类分析(C均值-K均值)知识讲解

五.结果分析
ww4 = 1至6列 1739.9 1756.8 1675.2 1652 2396 1515 1 3 7 至 12 列 1680.7 1651.5 1575.8 1713.3 1725.1 1570.4 21 26 13 至 18 列 1597 1598.9 1921.5 1921.1 2126.8 1623.3 40 41 19 至 20 列 1817.4 1860.5 1927.4 1782.9 2328.8 1875.1 58 59
四.matlab算法程序介绍
x=[x(1:3,:);x(5,:)]; xx=[mean(x1,2),mean(x2,2),mean(x3,2),mean(x4,2)]; xxx=ones(3,4); j=0; while xx～=xxx xx=xxx; %迭代求解聚类中心 d1=[]; d2=[]; d3=[]; d4=[]; for i=1:size(z,2) d1=[d1,round(1000*sum((x(1:3,i)mean(x1,2)).^2))/1000]; d2=[d2,round(1000*sum((x(1:3,i)-mean(x2,2)).^2))/1000]; d3=[d3,round(1000*sum((x(1:3,i)-mean(x3,2)).^2))/1000]; d4=[d4,round(1000*sum((x(1:3,i)-mean(x4,2)).^2))/1000]; end d1,d2,d3,d4 %d1,d2,d3,d4 %这四组数据分别存储了49个点分别与四个聚类中心的距 离
四.matlab算法程序介绍
ww1=[];ww2=[];ww3=[];ww4=[]; %取与聚类中心最近的那个点，并将其归入相应类 for i =1:size(z,2) if min([d1(i),d2(i),d3(i),d4(i)])==d1(i) ww1=[ww1,x(:,i)]; elseif min([d1(i),d2(i),d3(i),d4(i)])==d2(i) ww2=[ww2,x(:,i)]; elseif min([d1(i),d2(i),d3(i),d4(i)])==d3(i) ww3=[ww3,x(:,i)]; else ww4=[ww4,x(:,i)]; end end x1=ww1(1:3,:); x2=ww2(1:3,:); x3=ww3(1:3,:);

有关k-均值聚类算法的理解1.K-均值聚类算法的历史：聚类分析作为一种非监督学习方法，是机器学习领域中的一个重要的研究方向，同时，聚类技术也是数据挖掘中进行数据处理的重要分析工具和方法。

1967 年MacQueen 首次提出了K 均值聚类算法（K-means算法）。

到目前为止用于科学和工业应用的诸多聚类算法中一种极有影响的技术。

它是聚类方法中一个基本的划分方法，常常采用误差平方和准则函数作为聚类准则函数迄今为止，很多聚类任务都选择该经典算法，K-means算法虽然有能对大型数据集进行高效分类的优点，但K-means算法必须事先确定类的数目k，而实际应用过程中，k 值是很难确定的，并且初始聚类中心选择得不恰当会使算法迭代次数增加，并在获得一个局部最优值时终止，因此在实际应用中有一定的局限性。

半监督学习是近年来机器学习领域的一个研究热点，已经出现了很多半监督学习算法，在很多实际应用中，获取大量的无标号样本非常容易，而获取有标签的样本通常需要出较大的代价。

因而，相对大量的无标签样本，有标签的样本通常会很少。

传统的监督学习只能利用少量的有标签样本学习，而无监督学习只利用无标签样本学习。

半监督学习的优越性则体现在能同时利用有标签样本和无标签样本学习。

针对这种情况，引入半监督学习的思想，对部分已知分类样本运用图论知识迭代确定K-means 算法的K值和初始聚类中心，然后在全体样本集上进行K-均值聚类算法。

2. K-算法在遥感多光谱分类中的应用基于K-均值聚类的多光谱分类算法近年来对高光谱与多光谱进行分类去混的研究方法很多，K-均值聚类算法与光谱相似度计算算法都属于成熟的分类算法.这类算法的聚类原则是以数据的均值作为对象集的聚类中心。

均值体现的是数据集的整体特征，而掩盖了数据本身的特性。

无论是对高光谱还是对多光谱进行分类的方法很多，K-均值算法属于聚类方法中一种成熟的方法。

使用ENVI将多光谱图像合成一幅伪彩色图像见图1，图中可以看出它由标有数字1 的背景与标有数字2 和3的两种不同的气泡及标有数字4的两个气泡重叠处构成。

常见各种距离定义及性质
方法二： 用两元素相似性定义两类相似度量 (1)最短距离法
常见各种相似性度量定义
聚类的应用领域
经济领域：
帮助市场分析人员从客户数据库中发现不同的客户群，并且用购买模式 来刻画不同的客户群的特征。 谁喜欢打国际长途，在什么时间，打到哪里？ 对住宅区进行聚类，确定自动提款机ATM的安放位置。 股票市场板块分析，找出最具活力的板块龙头股。 企业信用等级分类„
例4：假设给定如下要进行聚类的元组：{2,4,10,12,3,20,3
0,11,25}，并假设k=2.初始时用前两个数值作为类的均值： m=2 和 m=4.利用欧几里德距离，可得K1={2,3}和K2={4,10, 12,20,30,11,25}。数值3与两个均值的距离相等，所以任意 地选择K1作为其所属类。在这种情况下，可以进行任意指 派。计算均值可得m1=2.5 和 m2=16。重新对类中的成员 进行分配，不断重复上述过程，直至均值不再变化。
Moveca ll
161.90 143.20 70.60 281.80 93.50 248.60 147.50 56.10 73.00 16.30 8.20 9.80 5.00 6.50 49.40 88.40 27.80 .30 42.90 122.50
Fee
0.36 3.57 2.18 1.40 1.98 2.56 2.50 3.68 3.36 3.02 1.40 2.61 5.12 3.68 2.66 4.19 4.95 6.28 1.27 0.98
Net
35.34 6.26 9.48 29.39 22.68 21.84 13.49 1.72 1.66 0.52 1.28 0.35 0.48 1.45 3.09 1.25 0.11 0.01 4.76 11.91

K均值算法是一种常用的聚类分析方法，它通过将数据点划分为K个簇，使得同一簇内的数据点相似度较高，不同簇之间的数据点相似度较低。

然而，K均值算法在使用过程中需要注意初始化方法和一些注意事项，以确保算法的有效性和准确性。

初始化方法：K均值算法的初始化方法对聚类结果具有重要影响，常见的初始化方法包括随机初始化、K-means++初始化和Forgy初始化。

随机初始化是最简单的方法，它随机选取K个数据点作为初始的簇中心。

然而，随机初始化容易导致算法收敛到局部最优解，因此通常不推荐使用。

K-means++初始化是一种改进的初始化方法，它首先随机选择一个数据点作为第一个簇中心，然后以概率分布的方式选择剩余的簇中心，使得距离已选择簇中心较远的数据点更有可能被选为下一个簇中心。

这样可以有效地提高算法收敛到全局最优解的概率。

Forgy初始化是另一种常见的初始化方法，它直接随机选择K个数据点作为初始的簇中心，与随机初始化相比，Forgy 初始化能够更好地避免陷入局部最优解。

注意事项：在使用K均值算法时，还需要注意一些事项，以确保聚类结果的准确性。

首先，在选择K值时，需要根据具体的数据特点和分析目的来确定。

通常可以通过肘部法则（elbow method）或者轮廓系数（silhouette coefficient）来选择最优的K值。

其次，在进行聚类之前，需要对数据进行预处理，例如标准化、归一化等，以确保不同特征对聚类结果的影响相对均衡。

另外，K均值算法对初始簇中心位置较为敏感，因此需要进行多次运行，并选择最优的聚类结果。

此外，K均值算法对异常值比较敏感，因此在进行聚类分析前需要对异常值进行处理。

总结：K均值算法是一种常用的聚类分析方法，通过将数据点划分为K个簇，使得同一簇内的数据点相似度较高，不同簇之间的数据点相似度较低。

在使用K均值算法时，初始化方法和注意事项对聚类结果具有重要影响。

合适的初始化方法能够提高算法收敛到全局最优解的概率，而合理的注意事项能够确保聚类结果的准确性。