判别分析-距离判别法
- 格式:pptx
- 大小:1.48 MB
- 文档页数:35
第二节距离判别距离判别本节内容距离判别的R 实现3两个总体的距离判别问题2距离最小判别准则1距离最小判别准则距离判别的基本思想:样品和哪个总体距离最近,就判断它属于哪个总体。
距离判别也称为直观判别法如何定义观测到一个总体的距离?问题A设p 维欧式空间中的两点12(,,,)'= p X X X X 12(,,,)'= p Y Y Y Y 则欧式距离的定义为22211(,)()()=-++- p p d X Y X Y X Y用欧式距离衡量点到总体的距离会出现一定偏差。
例如,量纲的变化就有可能影响欧式距离的计算结果马氏距离在企业评估中,根据企业的生产经营情况把企业分为优秀企业和一般企业两个类别。
关于企业生产经营状况的指标有3个:资金利润率=利润总额/资金占用总额劳动生产率=总产值/职工平均人数产品净值率=净产值/总产值三个指标的均值向量和协方差矩阵见下页表格。
现有两个企业,观测值分别为(7.8,39.1,9.6)和(8.1,34.2,6.9),问这两个企业应该属于哪一类?“优秀”的企业,其经营状况和协方差矩阵如下:变量优秀企业的均值向量协方差矩阵资金利润率13.568.3940.2421.41劳动生产率40.740.2454.5811.67产品净值率10.721.4111.677.90现在有一个新的企业,其三个指标的值分别为(7.8,39.1,9.6),计算该企业到“优秀”企业这一总体的马氏距离7.813.539.140.79.610.7X μ-⎡⎤⎢⎥-=-⎢⎥⎢⎥-⎣⎦[]1(,)(μ)(μ)68.3940.2421.41 5.75.7 1.6 1.140.2454.5811.67 1.63414.81221.4111.677.9 1.1D X G X X -'=-∑--⎡⎤⎡⎤⎢⎥⎢⎥=----=⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦这个判别规则的等价描述为:求新样品X 到G 1的距离与到G 2的距离之差,如果其值为正,X 属于G 2;否则X 属于G 1。
判别分析判别分析又称“分辨法”,是在分类确定的条件下,根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。
其基本原理是按照一定的判别准则,建立一个或多个判别函数,用研究对象的大量资料确定判别函数中的待定系数,并计算判别指标。
据此即可确定某一样本属于何类。
1:距离判别的判别准则和判别函数:设总体A 和B 的均值向量分别为1μ和2μ,协方差阵分别为1∑和2∑,今给一个样本x 要判断x 来自哪一个总体。
若协方差相同,即1212μμ∑∑∑≠==,计算x 到总体A 和B 的Mahalanobis 距离(,)d x A 和(,)d x B ,Mahalanobis 的计算有以下定义:定义5.1 设x 是从均值为μ,协方差为∑的总体A 中抽取的样本,则总体A 内两点x 与y 的Mahalanobis 距离(简称马氏距离)定义为:(,)d x y =定义样本x 与总体A 的Mahalanobis 距离为:(,)d x A =然后进行比较,若(,)(,)d x A d x B ≤,则判定x 属于A ;否则判定x 来自B 。
由此得到如下判别准则:,(,)(,),(,)(,)A d x A d x B x B d x A d x B ≤⎧∈⎨≥⎩令T 112()()()w x x μ∑μμ-=-- 称()w x 为两总体距离的判别函数,由此判别准则变为,()0,,()0.A w x x B w x ≥⎧∈⎨≤⎩在实际计算中,总体的均值和协方差阵都是未知的,由此总体的均值与协方差需要用样本的均值和协方差来代替,设1(1)(1)(1)12,,,nx x x ⋅⋅⋅是来自总体A 的1n 个样本点,2(2)(2)(2)12,,,n x x x ⋅⋅⋅是来自总体B 的2n 个样本,则样本的均值和协方差为 11ˆ,1,2in ii i j j iux x i n ====∑2()()()()T1211121211ˆ=()()()22in i i i i j ji j x x x x S S n n n n ==∑---++-+-∑∑ 其中()()()()T 1()(),1,2in i i i i i j j j S x x x x i ==--=∑对于待测样本x ,其判别函数定义为T 1(1)(2)ˆˆˆˆ()()()wx x x x x ∑-=-- 其中(1)(2)ˆˆˆ2x x x +=其判别准则为ˆ,()0,ˆ,()0.A wx x B wx ≥⎧∈⎨≤⎩ 2:若协方差不同,即1212μμ∑∑≠≠,对于样本x ,在方差不同的情况下,判别函数为 T -1T -1222111ˆˆ()()()()()W x x x x x μ∑μμ∑μ=----- 在实际计算中,总体的均值和协方差阵都是未知的,由此总体的均值与协方差需要用样本的均值和协方差来代替。
判别分析判别分析是用以判别个体所属群体的一种统计方法。
最常用的判别方法:距离判别法、Bayes 判别法、Fisher 判别法。
1、距离判别法最为直观,其想法简单自然,就是计算新样品x 到各组的距离,然后将该样品判为离它距离最近的那一组。
定义:设组π的均值为μ,协方差矩阵为∑,x 是一个样品(样本),称()()μμπ-∑'-=-x x x d 1),(为x 到总体π的马氏距离或统计距离。
判别准则:不妨假设有k 组,记为k ππ...1,,均值分别为k μμ...1,,协方差矩阵分别为k ∑∑...,1,,若),(min ),(212i ki l x d x d ππ≤≤=,则判断x 来自第l 组。
注1:若k ∑==∑...1,上述准则可以化简,如果不确定是否相等,可两种情况都试试,那种规则误判概率小选哪种。
注2:实际中k μμ...1,以及k ∑∑...,1,均未知,用估计量代替。
2、Bayes 判别法(1)最大后验概率准则设有k 个组k ππ...1,,且组i π的概率密度为()x f i ,样品x 来自组i π的先验概率为,,...,1,k i p i =且.11=∑=ki i p 利用Bayes 理论,x 属于i π的后验概率(即当样品x 已知时,它属于i π的先验概率)为()().,...,2,1,)(1k i x f p x f p x P k j j j i i i ==∑=π最大后验概率法是采用如下的判别规则:()x P x P x l ji l l πππ≤≤=∈1max )(,若. (2)最小平均误判代价准则()()()()∑∑≠=≤≤≠==∈ki j j j j k i j k l j j j l j i c x f p j l c x f p x 111m i n ,若π,其中)(j i c 表示将来自j π的x 判为i π的代价。
例:设有321,,πππ三个组,欲判别某样品0x 属于何组,已知()()().4.2,63.0,10.0,30.0,65.0,05.0030201321======x f x f x f p p p 计算:()()004.04.230.063.065.010.005.010.005.0)(1111=⨯+⨯+⨯⨯==∑=k j j j x f p x f p x P π ()361.02=x P π()635.03=x P π假定误判代价矩阵为95.4110063.065.020010.005.0:305.36504.230.01010.005.0:239.51604.230.02063.065.0:1=⨯⨯+⨯⨯==⨯⨯+⨯⨯==⨯⨯+⨯⨯=l l l 3、Fisher 判别基本思想:先对原始数据进行降维,然后对新数据使用距离判别法进行判别。
判别分析距离判别分析距离判别的最直观的想法是计算样品到第i类总体的平均数的距离,哪个跖离最小就将它判归哪个总体,所以,我们首先考虑的是是否能够构造一个恰当的距离函数,通过样本与某类别之间距离的大小,判别其所属类别。
设X=(s……以n)'和Y = O1,……,%)'是从期望为|1=(血,……川Q '和方差阵Y= (Ou)>0的总体G抽得的两个观测值,则称X与Y之间的马氏距离为:y mxmd2 =(X-Y)样本X与G,之间的马氏距离定义为X与类重心间的距离,即:9护=(乂一地)丫7(乂一&)i = 1,2・・.・・.,k附注:1、马氏距离与欧式距离的关联:为=1,马氏距离转换为欧式距离;2、马氏距离与欧式距离的差异:马氏距离不受计暈单位的影响,马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况,设有两个协差阵E相同的p维正态总体,对给定的样本Y,判别一个样本Y到底是来自哪一个总体,一个最直观的想法是计算Y到两个总体的距离。
故我们用马氏距离来给定判别规则,有:如/(y, J2(y, G2),<yeGp 如〃2(y, G2)<d2(y9 Gj待判,如=〃2(y,G2)沪(y,Gj=(y 2)' "(y 2)(y J' L(y J=y- 2y为一1角 + “;賞“2 -(y^1y-2y^1 + 冲?如) =2y 0一1 (" - 角)-("i + “2)尸(“i - “2)= 2[y —丫》-“2)2令"=1虽« = Z_1(//1-//2) = (a1,a2,-.-,a p yW(y) = (y - p)U = a f(y一p.)= a1(y1-/z1) + --- + a p(y p-/7p)= a'y _a'ji则前面的判别法则表示为y w Gp 如W (y) > 0,y e G2,如FT (y ) < 0o待判,如W(Y) = 0当忙“2和刀已知时, "1 2)是一个已知的P维向量,W (y)是y的线性函数,称为线性判别函数。
距离判别法及其应用一、什么是距离判别(一)定义距离判别分析方法是判别样品所属类别的一应用性很强的多因素决策方法,根据已掌握的、历史上每个类别的若干样本数据信息,总结出客观事物分类的规律性,建立判别准则,当遇到新的样本点,只需根据总结得出的判别公式和判别准则,就能判别该样本点所属的类别。
距离判别分析的基本思想是:样本和哪个总体的距离最近,就判它属于哪个总体。
(二)作用判别个体所属类型。
例如在经济学中,可根据各国的人均国人民收入、人均工农业产值和人均消费水平等多种指标来判定一个国家经济发展程度的怕属类型医学上根据口才的体温、白血球数目以及其他病理指标来判断患者所患何病等。
二、距离判别分析原理(一)欧氏距离欧氏距离(Euclidean distance )是一个通常采用的距离定义,最多的应用是对距离的测度。
大多情况下,人们谈到距离的时候,都会很自然的想到欧氏距离。
从数学的角度来讲,它是在m 维空间中两个点之间的真实距离。
在二维空间中其公式为:221221)()(y y x x d -+-=推广到n 维空间其公式为:21)(1i n i i y x d -=∑=(二)马氏距离在判别分析中,考虑到欧氏距离没有考虑总体分布的分散性信息,印度统计学家马哈诺必斯(Mahalanobis )于1936年提出了马氏距离的概念。
设总体T m X X X G },...,,{21=为m 维总体(考察m 个指标),样本T m i x x x X },...,,{21=。
令μ=E(i X )(i=1,2, …,m),则总体均值向量为T m },,{21μμμμ⋅⋅⋅=。
总体G 的协方差矩阵为:]))([()(T G G E G COV μμ--==∑。
设X ,Y 是从总体G 中抽取的两个样本,则X 与Y 之间的平方马氏距离为:)()(),(12Y X Y X Y X d T -∑-=-样本X 与总体G 的马氏距离的平方定义为:)()(),(12μμ-∑-=-X X G X d T1.两总体距离判别。