判别分析及聚类分析

第十一章聚类分析与判别分析聚类分析与判别分析是两类常用多元分析方法。

聚类分析可以将个体或对象分类，使得同一类中的对象之间的相似性比与其他类的对象的相似性更强；而判别分析则可以根据已掌握的样本信息建立判别函数，当遇到新的样本点时根据判别函数可以判断该样本点所属的类别。

第一节聚类分析一、聚类分析的基本思想“物以类聚，人以群分”。

分类处理，在现实中极为普遍。

在生物、经济、社会、人口等领域的研究中，存在着大量量化分类研究。

例如：在生物学中，为了研究生物的演变，生物学家需要根据各种生物不同的特征对生物进行分类；在经济研究中，为了研究不同地区城镇居民生活中的收入和消费情况，往往需要划分不同的类型去研究；在人口学研究中，需要构造人口生育分类模式、人口死亡分类状况，以此来研究人口的生育和死亡规律。

历史上，这些分类方法多半是人们主要依靠经验作定性分类，致使许多分类带有主观性和任意性，特别是对于多因素、多指标的分类问题，定性分类的准确性不好把握。

为了克服定性分类存在的不足，人们把数学方法引入分类中，形成了数值分类学，进而产生了聚类分析这一最常用的技巧。

聚类分析将个体或对象分类，使得同一类中的对象之间的相似性比与其他类的对象的相似性更强。

其目的在于：使类内对象的同质性最大化和类间对象的异质性最大化。

聚类分析通常可以分为两种：Q型聚类和R型聚类。

Q型聚类是对观测个体的分类，R 型聚类是对变量的分类。

二者在数学上是对称的，没有本质区别。

二、符号说明多元统计分析中要注意区分样本和变量。

每个样品有p个指标（变量）从不同方面描述其性质，形成一个p维的向量，可以把n 个样品看成p维空间中的n个点。

X表示第k个变量第j次观测值（或称第j个项目的测量值），即：我们用记号jkX=第k个变量第j次观测值jkp个变量的n个观测值可表示如下：11121121222212121212k p k pj j jk jp n n nknpkp X X X X X X X X j X X X X nX X XX 变量变量变量变量观测观测观测观测记为：1112112122221212k p k p j j jk jp n n nknp X X X X X X X X X X X X X X X X ⎛⎫⎪ ⎪⎪=⎪ ⎪⎪ ⎪ ⎪⎝⎭X 记12(,,,)'jp j j jp X X X X R =∈,表示第j 个样品，它表示p 维空间的一个点。

「聚类分析与判别分析」聚类分析和判别分析是数据挖掘和统计学中常用的两种分析方法。

聚类分析是一种无监督学习方法，通过对数据进行聚类，将相似的样本归为一类，不同的样本归入不同的类别。

判别分析是一种有监督学习方法，通过学习已知类别的样本，构建分类模型，然后应用模型对未知样本进行分类预测。

本文将对聚类分析和判别分析进行详细介绍。

聚类分析是一种数据探索技术，其目标是在没有任何先验知识的情况下，将相似的样本聚集在一起，形成互相区别较大的样本群。

聚类算法根据样本的特征，将样本分为若干个簇。

常见的聚类算法有层次聚类、k-means聚类和密度聚类。

层次聚类是一种自下而上或自上而下的层次聚合方法，通过测量样本间的距离或相似性，不断合并或分裂簇，最终形成一个聚类树状结构。

k-means聚类将样本划分为k个簇，通过优化目标函数最小化每个样本点与其所在簇中心点的距离来确定簇中心。

密度聚类基于样本点的密度来判断是否属于同一簇，通过划定一个密度阈值来确定簇的分界。

聚类分析在很多领域中都有广泛的应用，例如市场分割、医学研究和社交网络分析。

在市场分割中，聚类分析可以将消费者按照其购买行为和偏好进行分组，有助于企业制定更精准的营销策略。

在医学研究中，聚类分析可以将不同患者分为不同的亚型，有助于个性化的治疗和药物开发。

在社交网络分析中，聚类分析可以将用户按照其兴趣和行为进行分组，有助于推荐系统和社交媒体分析。

相比之下，判别分析是一种有监督学习方法，其目标是通过学习已知类别的样本，构建分类模型，然后应用模型对未知样本进行分类预测。

判别分析的目标是找到一个决策边界，使得同一类别内的样本尽可能接近，不同类别之间的样本尽可能远离。

常见的判别分析算法有线性判别分析（LDA）和逻辑回归（Logistic Regression）。

LDA是一种经典的线性分类方法，它通过对数据进行投影，使得同类样本在投影空间中的方差最小，不同类样本的中心距离最大。

逻辑回归是一种常用的分类算法，通过构建一个概率模型，将未知样本划分为不同的类别。

判别分析与聚类分析的基本原理数据分析是在如今信息时代中，越来越重要的一项技能。

在数据分析的过程中，判别分析和聚类分析是两个非常重要的方法。

本文将介绍判别分析和聚类分析的基本原理，以及它们在数据分析中的应用。

一、判别分析的基本原理判别分析是一种用于分类问题的统计方法，其目的是通过学习已知类别的样本数据，来构建一个分类器，从而对未知样本进行分类。

判别分析的基本原理可以简单概括为以下几个步骤：1. 数据预处理：首先需要对数据进行预处理，包括数据清洗、缺失值处理、特征选择等，以获得更好的数据质量。

2. 特征提取：在进行判别分析之前，需要将原始数据转化为有效的特征。

特征提取的方法有很多种，常用的包括主成分分析、线性判别分析等。

3. 训练分类器：利用判别分析算法对已知类别的样本数据进行训练，建立分类模型。

常用的判别分析方法有线性判别分析、二次判别分析等。

4. 分类预测：通过训练好的分类器，对未知样本进行分类预测。

分类预测的结果可以是离散的类标签，也可以是概率值。

判别分析广泛应用于医学、金融、市场营销等领域。

例如，在医学领域，可以利用判别分析来预测疾病的状态，辅助医生做出诊断决策。

二、聚类分析的基本原理聚类分析是一种无监督学习方法，其目的是将相似的数据对象分组，使得同一组内的对象相似度较高，不同组间的相似度较低。

聚类分析的基本原理可以概括为以下几个步骤：1. 选择相似性度量：首先需要选择一个合适的相似性度量，用于评估数据对象之间的相似程度。

常用的相似性度量包括欧氏距离、曼哈顿距离等。

2. 选择聚类算法：根据具体的问题需求，选择合适的聚类算法。

常用的聚类算法有K-means、层次聚类等。

3. 确定聚类数目：根据实际问题，确定聚类的数目。

有些情况下，聚类数目事先是已知的，有些情况下需要通过评价指标进行确定。

4. 根据聚类结果进行分析：将数据对象划分到各个聚类中，并对聚类结果进行可视化和解释。

聚类分析被广泛应用于市场分析、图像处理、社交网络等领域。

第一节聚类分析统计思想一、聚类分析的基本思想1．什么是聚类分析俗语说，物以类聚、人以群分。

当有一个分类指标时，分类比较容易。

但是当有多个指标，要进行分类就不是很容易了。

比如，要想把中国的县分成若干类，可以按照自然条件来分：考虑降水、土地、日照、湿度等各方面；也可以考虑收入、教育水准、医疗条件、基础设施等指标；对于多指标分类，由于不同的指标项对重要程度或依赖关系是相互不同的，所以也不能用平均的方法，因为这样会忽视相对重要程度的问题。

所以需要进行多元分类，即聚类分析。

最早的聚类分析是由考古学家在对考古分类中研究中发展起来的，同时又应用于昆虫的分类中，此后又广泛地应用在天气、生物等方面。

对于一个数据，人们既可以对变量（指标）进行分类(相当于对数据中的列分类)，也可以对观测值（事件，样品）来分类（相当于对数据中的行分类）。

2．R型聚类和Q型聚类对变量的聚类称为R型聚类，而对观测值聚类称为Q型聚类。

这两种聚类在数学上是对称的，没有什么不同。

聚类分析就是要找出具有相近程度的点或类聚为一类；如何衡量这个“相近程度”？就是要根据“距离”来确定。

这里的距离含义很广，凡是满足4个条件（后面讲）的都是距离，如欧氏距离、马氏距离…，相似系数也可看作为距离。

二、如何度量距离的远近：统计距离和相似系数1．统计距离距离有点间距离好和类间距离2．常用距离统计距离有多种，常用的是明氏距离。

3．相似系数当对个指标变量进行聚类时，用相似系数来衡量变量间的关联程度，一般地称为变量和间的相似系数。

常用的相似系数有夹角余弦、相关系数等。

夹角余弦：相关系数：对于分类变量的研究对象的相似性测度，一般称为关联测度。

第二节如何进行聚类分析一、系统聚类1．系统聚类的基本步骤2．最短距离法3．最长距离法4．重心法和类平均法5．离差平方和法二、SPSS中的聚类分析1、事先要确定分多少类：K均值聚类法；2、事先不用确定分多少类：分层聚类；分层聚类由两种方法：分解法和凝聚法。

判别分析与聚类分析判别分析与聚类分析是数据分析领域中常用的两种分析方法。

它们都在大量数据的基础上通过统计方法进行数据分类和归纳，从而帮助分析师或决策者提取有用信息并作出相应决策。

一、判别分析：判别分析是一种有监督学习的方法，常用于分类问题。

它通过寻找最佳的分类边界，将不同类别的样本数据分开。

判别分析可以帮助我们理解和解释不同变量之间的关系，并利用这些关系进行预测和决策。

判别分析的基本原理是根据已知分类的数据样本，建立一个判别函数，用来判断未知样本属于哪个分类。

常见的判别分析方法包括线性判别分析（LDA）和二次判别分析（QDA）。

线性判别分析假设各类别样本的协方差矩阵相同，而二次判别分析则放宽了这个假设。

判别分析的应用广泛，比如在医学领域可以通过患者的各种特征数据（如生理指标、疾病症状等）来预测患者是否患有某种疾病；在金融领域可以用来判断客户是否会违约等。

二、聚类分析：聚类分析是一种无监督学习的方法，常用于对数据进行分类和归纳。

相对于判别分析，聚类分析不需要预先知道样本的分类，而是根据数据之间的相似性进行聚类。

聚类分析的基本思想是将具有相似特征的个体归为一类，不同类别之间的个体则具有明显的差异。

聚类分析可以帮助我们发现数据中的潜在结构，识别相似的群组，并进一步进行深入分析。

常见的聚类分析方法包括层次聚类分析（HCA）和k-means聚类分析等。

层次聚类分析基于样本间的相似性，通过逐步合并或分割样本来构建聚类树。

而k-means聚类分析则是通过设定k个初始聚类中心，迭代更新样本的分类，直至达到最优状态。

聚类分析在市场细分、社交网络分析、图像处理等领域具有广泛应用。

例如，可以将客户按照他们的消费喜好进行分组，以便为不同群体提供有针对性的营销活动。

总结：判别分析和聚类分析是两种常用的数据分析方法。

判别分析适用于已知分类的问题，通过建立判别函数对未知样本进行分类；聚类分析适用于未知分类的问题，通过数据的相似性进行样本聚类。

第九章 聚类分析与判别分析在实际工作中, 我们经常遇到分类问题.若事先已经建立类别, 则使用判别分析, 若事先没有建立类别, 则使用聚类分析.聚类分析主要是研究在事先没有分类的情况下，如何将样本归类的方法.聚类分析的内容包含十分广泛，有系统聚类法、动态聚类法、分裂法、最优分割法、模糊聚类法、图论聚类法、聚类预报等多种方法.聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。

它是一种重要的人类行为。

聚类分析的目标就是在相似的基础上收集数据来分类。

聚类源于很多领域, 包括数学, 计算机科学, 统计学, 生物学和经济学。

在不同的应用领域, 很多聚类技术都得到了发展, 这些技术方法被用作描述数据, 衡量不同数据源间的相似性, 以及把数据源分类到不同的簇中。

聚类与分类的不同在于, 聚类所要求划分的类是未知的。

聚类是将数据分类到不同的类或者簇这样的一个过程, 所以同一个簇中的对象有很大的相似性, 而不同簇间的对象有很大的相异性。

从统计学的观点看, 聚类分析是通过数据建模简化数据的一种方法。

§9.1 聚类分析基本知识介绍在MA TLAB 软件包中, 主要使用的是系统聚类法.系统聚类法是聚类分析中应用最为广泛的一种方法.它的基本原理是：首先将一定数量的样品(或指标)各自看成一类, 然后根据样品(或指标)的亲疏程度, 将亲疏程度最高的两类合并, 然后重复进行, 直到所有的样品都合成一类.衡量亲疏程度的指标有两类：距离、相似系数.一、常用距离1）欧氏距离假设有两个 维样本 和 , 则它们的欧氏距离为∑=-=nj j jx xx x d 122121)(),(2）标准化欧氏距离假设有两个 维样本 和 , 则它们的标准化欧氏距离为T x x D x x x x sd )()(),(2112121--=-其中: 表示 个样本的方差矩阵, , 表示第 列的方差. 3）马氏距离假设共有 个指标, 第 个指标共测得 个数据(要求 ):⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=im i i i x x x x 21， 11211122121212(,,,)n n n mmnn x x x xx x X x x x x x x ⎛⎫ ⎪ ⎪== ⎪ ⎪⎝⎭于是, 我们得到 阶的数据矩阵 , 每一行是一个样本数据. 阶数据矩阵 的 阶协方差矩阵记做.两个 维样本 和 的马氏距离如下:T x x X Cov x x x x mahal )())()((),(2112121--=-马氏距离考虑了各个指标量纲的标准化, 是对其它几种距离的改进.马氏距离不仅排除了量纲的影响, 而且合理考虑了指标的相关性.4）布洛克距离两个 维样本 和 的布洛克距离如下:∑=-=nj j j x x x x b 12121||),(5）闵可夫斯基距离两个 维样本 和 的闵可夫斯基距离如下:pn j p j j x x x x m 112121||),(⎪⎪⎭⎫ ⎝⎛-=∑= 注: 时是布洛克距离； 时是欧氏距离.6）余弦距离⎪⎪⎭⎫⎝⎛-=TT T x x x x x x x x d 221121211),( 这是受相似性几何原理启发而产生的一种标准, 在识别图像和文字时, 常用夹角余弦为标准. 7）相似距离TTTx x x x x x x x x x x x x x d ))(())(())((1),(22221111221121-------=二、MATLAB 中常用的计算距离的函数假设我们有 阶数据矩阵 , 每一行是一个样本数据.在MATLAB 中计算样本点之间距离的内部函数为y=pdist(x) 计算样本点之间的欧氏距离y=pdist(x,'seuclid') 计算样本点之间的标准化欧氏距离 y=pdist(x,'mahal') 计算样本点之间的马氏距离 y=pdist(x,'cityblock') 计算样本点之间的布洛克距离 y=pdist(x,'minkowski') 计算样本点之间的闵可夫斯基距离y=pdist(x,'minkowski',p) 计算样本点之间的参数为p 的闵可夫斯基距离 y=pdist(x,'cosine') 计算样本点之间的余弦距离 y=pdist(x,'correlation') 计算样本点之间的相似距离另外, 内部函数yy=squareform(y)表示将样本点之间的距离用矩阵的形式输出.三、常用的聚类方法常用的聚类方法主要有以下几种: 最短距离法、最长距离法、中间距离法、重心法、平方和递增法等等.四、创建系统聚类树假设已经得到样本点之间的距离y, 可以用linkage函数创建系统聚类树, 格式为z=linkage(y).其中: z为一个包含聚类树信息的(m-1) 3的矩阵.例如:z=2.000 5.000 0.23.0004.000 1.28则z的第一行表示第2.第5样本点连接为一个类, 它们距离为0.2；则z的第二行表示第3.第4样本点连接为一个类, 它们距离为1.28.在MA TLAB中创建系统聚类树的函数为z=linkage(y) 表示用最短距离法创建系统聚类树z=linkage(y,'complete') 表示用最长距离法创建系统聚类树z=linkage(y,'average') 表示用平均距离法创建系统聚类树z=linkage(y,'centroid') 表示用重心距离法创建系统聚类树z=linkage(y,'ward') 表示用平方和递增法创建系统聚类树§9.2 聚类分析示例例1 在MA TLAB中写一个名为opt_linkage_1的M文件:x=[3 1.7;1 1;2 3; 2 2.5; 1.2 1; 1.1 1.5; 3 1];y=pdist(x,'mahal');yy=squareform(y)%Reformat a distance matrix between upper triangular and square form z=linkage(y,'centroid')h=dendrogram(z) %Plot dendrogram graphs 画树状图存盘后按F5键执行, 得到结果如下:yy =0 2.3879 2.1983 1.6946 2.1684 2.2284 0.88952.3879 0 2.6097 2.0616 0.2378 0.6255 2.37782.1983 2.6097 0 0.6353 2.5522 2.0153 2.98901.69462.0616 0.6353 0 1.9750 1.5106 2.41722.1684 0.2378 2.5522 1.9750 0 0.6666 2.14002.2284 0.6255 2.0153 1.5106 0.6666 0 2.45170.8895 2.3778 2.9890 2.4172 2.1400 2.4517 0z =2.0000 5.0000 0.23786.0000 8.0000 0.63533.00004.0000 0.63531.0000 7.0000 0.88959.0000 10.0000 2.106311.0000 12.0000 2.0117按重心距离法得到的系统聚类树为其中: h=dendrogram(z)表示输出聚类树形图的冰状图.一、根据系统聚类树创建聚类假设已经求出系统聚类树z, 我们根据z来创建聚类, 使用cluster函数.例2 在MA TLAB中写一个名为opt_cluster_1的M文件:x=[3 1.7;1 1;2 3; 2 2.5; 1.2 1; 1.1 1.5; 3 1];y=pdist(x,'mahal');yy=squareform(y)z=linkage(y,'centroid')h=dendrogram(z)t=cluster(z,3)其中: “t=cluster(z,3)”表示分成3个聚类, 需要分成几个由人工选择.存盘后按F5键执行, 得到结果如下:t =3122113即第1.第7样本点为第3类, 第2.第5.第6样本点为第1类, 第3.第4样本点为第2类.二、根据原始数据创建分类在MA TLAB软件包中, 内部函数clusterdata对原始数据创建分类, 格式有两种:1）clusterdata(x,a), 其中0<a<1, 表示在系统聚类树中距离小于a的样本点归结为一类；2）clusterdata(x,b), 其中b>1是整数, 表示将原始数据x分为b类.例3 在MA TLAB中写一个名为opt_clusterdata_1的M文件:x=[3 1.7;1 1;2 3; 2 2.5; 1.2 1; 1.1 1.5; 3 1];t= clusterdata(x,0.5)z= clusterdata(x,3)存盘后按F5键执行, 得到结果如下:t =4322314z =2311332其中: t的结果表示距离小于0.5的样本点归结为一类, 这样, 共有四类, 第1类: 样本点6；第2类: 样本点3.4；第3类: 样本点2.5；第4类: 样本点1.7.而z的结果表示首先约定将原始数据x分为3类, 然后计算, 结果如下: 第1类: 样本点3.4；第2类: 样本点1.7；第3类: 样本点2.5.6.利用内部函数clusterdata对原始数据创建分类, 其缺点是不能更改距离的计算法.比较好的方法是分步聚类法.三、分步聚类法假设有样本数据矩阵x,第一步对于不同的距离, 利用pdist函数计算样本点之间的距离：y1=pdist(x)y2=pdist(x,'seuclid')y3=pdist(x,'mahal')y4=pdist(x,'cityblock')第二步计算系统聚类树以及相关信息:z1=linkage(y1)z2=linkage(y2)z3=linkage(y3)z4=linkage(y4)第三步利用cophenet函数计算聚类树信息与原始数据的距离之间的相关性, 这个值越大越好: %cophenet Cophenetic correlation coefficient 同表象相关系数, 同型相关系数, 共性分类相关系数CPCCt1=cophenet(z1,y1)t2=cophenet(z2,y2)t3=cophenet(z3,y3)t4=cophenet(z4,y4)注: z在前, y在后, 顺序不能颠倒.第四步选择具有最大的cophenet值的距离进行分类.利用函数clusterdata(x,a)对数据x进行分类, 其中0<a<1, 表示在系统聚类树中距离小于a的样本点归结为一类.例4 在MA TLAB中写一个名为opt_cluster_2的M文件:x=[3 1.7;1 1;2 3; 2 2.5; 1.2 1; 1.1 1.5; 3 1];y1=pdist(x);y2=pdist(x,'seuclid');y3=pdist(x,'mahal');y4=pdist(x,'cityblock');z1=linkage(y1);z2=linkage(y2);z3=linkage(y3);z4=linkage(y4);t1=cophenet(z1,y1)t2=cophenet(z2,y2)t3=cophenet(z3,y3)t4=cophenet(z4,y4)存盘后按F5键执行, 得到结果如下:t1 =0.9291t2 =0.9238t3 =0.9191t4 =0.9242结果中t1=0.9291最大, 可见此例利用欧式距离最合适.于是, 在MA TLAB中另写一个名为opt_cluster_3的M文件:x=[3 1.7;1 1;2 3; 2 2.5; 1.2 1; 1.1 1.5; 3 1];y1=pdist(x);z1=linkage(y1)存盘后按F5键执行, 得到结果如下:z1 =2.0000 5.0000 0.20003.00004.0000 0.50006.0000 8.0000 0.50991.0000 7.0000 0.70009.0000 11.0000 1.280610.0000 12.0000 1.3454矩阵z1的第1行表示样本点2.5为一类, 在系统聚类树上的距离为0.2, 其它类推.考察矩阵z1的第3列, 系统聚类树上的6个距离, 可以选择0.5作为聚类分界值.在MATLAB中另写一个名为opt_cluster_4的M文件:x=[3 1.7;1 1;2 3; 2 2.5; 1.2 1; 1.1 1.5; 3 1];y1=pdist(x);z1=linkage(y1)b1=cluster(z1,0.5)存盘后按F5键执行, 得到结果如下:b1 =4322314结果表示将原始数据x分为4类, 第1类: 样本点6；第2类: 样本点3.4；第3类: 样本点2.5；第4类: 样本点1.7.主要应用商业聚类分析被用来发现不同的客户群, 并且通过购买模式刻画不同的客户群的特征。

判别分析（Discriminant Analysis）一、概述：判别问题又称识别问题，或者归类问题。

判别分析是由Pearson于1921年提出，1936年由Fisher首先提出根据不同类别所提取的特征变量来定量的建立待判样品归属于哪一个已知类别的数学模型。

根据对训练样本的观测值建立判别函数，借助判别函数式判断未知类别的个体。

所谓训练样本由已知明确类别的个体组成，并且都完整准确地测量个体的有关的判别变量。

训练样本的要求：类别明确，测量指标完整准确。

一般样本含量不宜过小，但不能为追求样本含量而牺牲类别的准确，如果类别不可靠、测量值不准确，即使样本含量再大，任何统计方法语法弥补这一缺陷。

判别分析的类别很多，常用的有：适用于定性指标或计数资料的有最大似然法、训练迭代法；适用于定量指标或计量资料的有：Fisher二类判别、Bayers多类判别以及逐步判别。

半定量指标界于二者之间，可根据不同情况分别采用以上方法。

类别（有的称之为总体，但应与population的区别）的含义——具有相同属性或者特征指标的个体（有的人称之为样品）的集合。

如何来表征相同属性、相同的特征指标呢？同一类别的个体之间距离小，不同总体的样本之间距离大。

距离是一个原则性的定义，只要满足对称性、非负性和三角不等式的函数就可以称为距绝对距离马氏距离：（Manhattan distance）设有两个个体（点）X与Y（假定为一维数据，即在数轴上）是来自均数为μ，协方差阵为∑的总体（类别）A的两个个体（点），则个体X与Y的马氏距离为（，）X与总体（类别）A的距离D X Y=（，）为D X A=明考斯基距离（Minkowski distance）:明科夫斯基距离欧几里德距离（欧氏距离）二、Fisher两类判别一、训练样本的测量值A类训练样本编号 1x 2xm x1 11A x 12A x 1A m x 221A x22A x2A m xA n1A An x 2A An xA An m x 均数1A x2A xAm xB 类训练样本编号 1x 2x m x1 11B x 12B x 1B m x 221B x22B x2B m xB n1B Bn x 2B Bn x B Bn m x 均数1B x2B xBm x二、建立判别函数(Discriminant Analysis Function)为：1122m m Y C X C X C X =+++其中：1C 、2C 和m C 为判别系数（Discriminant Coefficient ） 可解如下方程组得判别系数。