当前位置：文档之家 › 模式识别与机器学习期末总结

模式识别与机器学习期末总结

  • 格式：pdf
  • 大小：1.03 MB
  • 文档页数：3

下载文档原格式

  / 3

合集下载

哈工大模式识别课程期末总结分解

哈工大模式识别课程期末总结分解
一元参数
【最大似然估计】
多元参数
【最大似然估计】
例子（梯度法不适合）：
1 p( x | ) 2 1 0
,1 x 2 其它
1 p ( x , x ,..., x | , ) N 1 2 N 1 2 l ( ) 2 1 0
p( | x)
p( x | ) p( )
p( x | ) p( )d
p( , x) p( | x) p( x) p( x | ) p( )
R
E
d


ˆ, ) p ( | x) p ( x)d dx (

ˆ, ) p( | x)d dx d p( x) (
h( x) ln l ( x) ln p( x | 1 ) ln p( x | 2 ) ln P(1 ) P(2 )
x 1
x 2
【基于最小错误率的贝叶斯决策】
【基于最小错误率的贝叶斯决策】
【基于最小风险的贝叶斯决策】
概念
决策 决策空间 前面所讲的错误率达到最小。在某些实际应用中，最小错 误率的贝叶斯准则并不适合。以癌细胞识别为例，诊断中如 果把正常细胞判为癌症细胞，固然会给病人精神造成伤害， 但伤害有限；相反地，若把癌症细胞误判为正常细胞，将会 使早期的癌症患者失去治疗的最佳时机，造成验证的后果。
【基于最小风险的贝叶斯决策】
数学描述
【基于最小风险的贝叶斯决策】
条件期望损失：
R(i | x) EP( j | x), i 1, 2,..., a
j 1 c
期望风险：
R R ( ( x) | x) p ( x)dx
目的：期望风险最小化

模式识别考试总结

模式识别考试总结

1.对一个染色体分别用一下两种方法描述：(1)计算其面积、周长、面积/周长、面积与其外接矩形面积之比可以得到一些特征描述，如何利用这四个值？属于特征向量法，还是结构表示法？(2)按其轮廓线的形状分成几种类型，表示成a、b、c等如图表示，如何利用这些量？属哪种描述方法？（3）设想其他的描述方法。

（1）这是一种特征描述方法，其中面积周长可以体现染色体大小，面积周长比值越小，说明染色体越粗，面积占外接矩形的比例也体现了染色体的粗细。

把这四个值组成特征向量可以描述染色体的一些重要特征，可以按照特征向量匹配方法计算样本间的相似度。

可以区分染色体和其它圆形、椭圆细胞结构。

（2）a形曲线表示水平方向的凹陷，b形表示竖直方向的凹陷，c形指两个凹陷之间的突起，把这些值从左上角开始，按顺时针方向绕一圈，可以得到一个序列描述染色体的边界。

它可以很好的体现染色体的形状，用于区分X和Y染色体很合适。

这是结构表示法。

（3）可以先提取待识别形状的骨架，在图中用蓝色表示，然后，用树形表示骨架图像。

2. 设在一维特征空间中两类样本服从正态分布，，两类先验概率之比，试求按基于最小错误率贝叶斯决策原则的决策分界面的x值。

答：由于按基于最小错误率的贝叶斯决策，则分界面上的点服从3、设两类样本的类内离散矩阵分别为，试用fisher准则求其决策面方程，并与第二章习题二的结构相比较。

答：由于两类样本分布形状是相同的（只是方向不同），因此应为两类均值的中点。

4，设在一个二维空间，A类有三个训练样本，图中用红点表示，B类四个样本，图中用蓝点表示。

试问：（1）按近邻法分类，这两类最多有多少个分界面（2）画出实际用到的分界面（3） A1与B4之间的分界面没有用到下图中的绿线为最佳线性分界面。

答：(1)按近邻法，对任意两个由不同类别的训练样本构成的样本对，如果它们有可能成为测试样本的近邻，则它们构成一组最小距离分类器，它们之间的中垂面就是分界面，因此由三个A类与四个B类训练样本可能构成的分界面最大数量为3×4＝12。

模式识别总结

模式识别总结

例2.1 假设在某个地区细胞识别中正常（1w ）和异常（2w ）两类的先验概率分别为：正常状态： P （1w ）=0.9；异常状态： P （2w ）=0.1；现有一待识别的细胞，其观察值为X ，从类条件概率密度分布曲线上查的P （1|w x ）=0.2，P （2|w x ）=0.4。

试对该细胞X 进行分类。

解：利用贝叶斯公式，分别计算出及的后验概率：P （1w ）=∑=2111)()|()()|(j jj w P w x P w P w x P =818.01.04.09.02.09.02.0=⨯+⨯⨯； 182.0818.01)|(1)|(12=-=-=x w P x w P ；根据贝叶斯决策式)|(max )|(2,1x w P x w P j j i ==，则i w x ∈；有182.0)|(818.0)|(21=>=x w P x w P 所以合理的决策是把X 归类于正常状态。

例2.2 在例2.1的基础上，利用下表的决策表，按最小风险贝叶斯决策进行分类。

解：已知条件：9.0)(1=w P1.0)(2=w P2.0)|(1=w x P 4.0)|(2=w x P 011=λ，612=λ， 121=λ，022=λ 根据例 2.1的计算结果可知后验概率：818.0)|(1=x w P182.0)|(2=x w P 再按式子∑===cj j j i j i i x w P w w E x R 1)|(),()],([)|(αλαλα，其中i=1,2,…a ，计算出条件风险：092.1)|()|()|(2122111===∑=x w P x w P x R j j j λλα818.0)|()|(1212==x w P x R λα 由于)|()|(21x R x R αα> 即决策为2w 的条件风险小于决策为1w 的条件风险，判断待识别的细胞X 为类—异常细胞。

决 策 损失 状态1w 2w 1α 2α 0 6 1 0。

模式识别学习心得体会

模式识别学习心得体会

模式识别学习心得体会篇一：最新模式识别与智能系统专业毕业自我总结最模式识别与智能系统专业大学生毕业自我总结优秀范文个人原创欢迎下载模式识别与智能系统专业毕业论文答辩完成之际，四年大学生活也即将划上一个句号，而我的人生却仅仅是个逗号，我即将开始人生的又一次征程。

作为×××大学（改成自己模式识别与智能系统专业所在的大学）毕业生的我即将告别大学生活，告别亲爱的模式识别与智能系统专业的同学和敬爱的老师，告别我的母校——×××大学。

回顾在×××大学模式识别与智能系统专业的求学生涯，感慨颇多，有酸甜苦辣，有欢笑和泪水，有成功和挫折！大学——是我由幼稚走向成熟的地方，在此，我们认真学习模式识别与智能系统专业知识，拓展自己的知识面，培养自己的模式识别与智能系统实践活动能力。

在思想道德上，×××大学（改成自己就读模式识别与智能系统专业所在的大学）学习期间我系统全面地学习了思政课程的重要思想，不断用先进的理论武装自己的头脑，热爱祖国，热爱人民，坚持四项基本原则，树立了正确的人生观、价值观、世界观，使自己成为思想上过硬的模式识别与智能系统专业合格毕业生。

在模式识别与智能系统专业学习上，我严格要求自己，刻苦钻研篇二：最新模式识别与智能系统专业毕业自我个人小结优秀范文原创最模式识别与智能系统专业大学生毕业个人总结优秀范文个人原创欢迎下载在×××（改成自己模式识别与智能系统就读的大学）模式识别与智能系统专业就读四年青春年华时光，匆匆而过。

四年的时间足以证明了，我爱上了×××（改成自己模式识别与智能系统就读的大学）的一草一木，一人一事。

回想四年里有过多少酸甜苦辣、曾经模式识别与智能系统班级里的欢声笑语，曾经期末考试备战中的辛勤汗水……所有的一切都历历在目。

模式识别期末复习总结

模式识别期末复习总结

1、贝叶斯分类器贝叶斯分类器的定义：在具有模式的完整统计知识的条件下，按照贝叶斯决策理论进行设计的一种最优分类器。

贝叶斯分类器的分类原理：通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。

贝叶斯分类器是各种分类器中分类错误概率最小或者在预先给定代价的情况下平均风险最小的分类器。

贝叶斯的公式：什么情况下使用贝叶斯分类器：对先验概率和类概率密度有充分的先验知识，或者有足够多的样本，可以较好的进行概率密度估计，如果这些条件不满足，则采用最优方法设计出的分类器往往不具有最优性质。

2、K近邻法kNN算法的核心思想:如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。

假设有N个已知样本分属c个类,考察新样本x在这些样本中的前K个近邻，设其中有个属于类，则类的判别函数就是决策规则:若则∈什么情况下使用K近邻法:kNN只是确定一种决策原则，在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别,并不需要利用已知数据事先训练出一个判别函数，这种方法不需要太多的先验知识。

在样本数量不足时，KNN法通常也可以得到不错的结果。

但是这种决策算法需要始终存储所有的已知样本，并将每一个新样本与所有已知样本进行比较和排序，其计算和存储的成本都很大。

对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。

3、PCA和LDA的区别Principal Components Analysis(PCA)：uses a signal representation criterionLinear Discriminant Analysis(LDA)：uses a signal classification criterionLDA：线性判别分析，一种分类方法。

它寻找线性分类器最佳的法线向量方向，将高维数据投影到一维空间，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。

模式识别学习心得

模式识别学习心得
在这种情况下，为了推导出数据性质的一些假说，对数据集进行聚类 分析。因此，这里使用聚类作为建立假说的方法，然后用其他数据集验证 这些假说。 三、假说检验
用聚类分析来验证指定假说的有效性。 四、基于分组的预测
对现有数据进行聚类分析，形成模式的特征，并用特征表示聚类，接 下来，对于一个未知模式，就可以用前面的聚类来确定是哪一类？
模式识别学习心得
作者：白静 2012.9.8
模式识别定义
模式识别(Pattern Recognition)是指对表征事物或现象的各种形式的(数值 的、文字的和逻辑关系的)信息进行处理和分析,以对事物或现象进行描述、 辨认、分类和解释的过程,是信息科学和人工智能的重要组成部分。
模式识别又常称作模式分类，从处理问题的性质和解决问题的方法等角度， 模式识别分为有监督的分类（Supervised Classification）和无监督的分类 (Unsupervised Classification)两种。二者的主要差别在于各实验样本所属 的类别是否预先已知。一般说来，有监督的分类往往需要提供大量已知类别 的样本，但在实际问题中，这是存在一定困难的，因此研究无监督的分类就 变得十分有必要了。
常用pretation of the results）
由专家用其他方法判定结果的正确性
聚类应用的四个基本方向
一、减少数据 许多时候，当数据量N很大时，会使数据处理变得很费力。因此可使
用聚类分析的方法将数据分成几组可判断的聚类m（m<<N）来处理， 每一个类可当作独立实体来对待。从这个角度看，数据被压缩了。 二、假说生成
聚类的算法
简单聚类方法 针对具体问题确定相似性阈值，将模式到各聚类中心间的距离与阈
值比较，当大于阈值时该模式就作为另一类的类心，小于阈值时按最小距 离原则将其分划到某一类中。

模式识别期末复习笔记

模式识别期末复习笔记模式识别ch2 贝叶斯决策1.贝叶斯公式2.贝叶斯决策的特例a)先验概率相同（均匀先验概率）：决策仅依赖于类条件概率密度b)类条件概率密度相同：决策仅依赖于先验概率3.计算题（医学测试⽅法）4.计算题（车⾝⾼低）5.贝叶斯决策的最优性a)最⼩化误差概率的⾓度i.每次均选择概率⼤的类做判断结果，因此错误概率永远是最⼩的b)最⼩化风险的⾓度i.每次均选择条件风险最⼩的结果，因此总风险最⼩6.对于两类分类问题，最⼩风险贝叶斯决策a)可以基于似然⽐进⾏决策b)p(x|ω1)p(x|ω2)≥λ12?λ22λ21?λ11p(ω2)p(ω1)则判断为1类，否则为2类c)似然⽐超过某个阈值（θ），那么可判决为ω1类7.0-1损失（误判是等价的）：最⼩化风险就是最⼤化后验，也就是选择后验最⼤的a)最⼩化误差概率与最⼩化风险等价，即选择最⼤后验的分类，即满⾜最⼩误差概率，也满⾜最⼩风险8.先验概率未知时如何设计风险最⼩的分类器？a)使先验概率取任意值时的总风险的最坏情况尽可能⼩b)极⼩化极⼤准则：i.极⼩化指的是贝叶斯风险，因为它是总风险的最⼩值ii.极⼤化指的是使贝叶斯风险达到最⼤iii.贝叶斯风险是和先验有关的，其最⼤也就是其极值，就是导数等于0 的时候c)极⼩化极⼤风险是最坏的贝叶斯风险9.从最⼩化误差概率的意义上讲，贝叶斯是最优的；贝叶斯决策得到的总风险也是最⼩的10.判别函数a)对于两类分类，根据判别函数的正负进⾏类的判断；对于多类问题，两两组成两类问题b)两类问题下：g(x)=g1(x)?g2(x)i.若g(x)≥0，即g1(x)≥g2(x)，则判断为1类，否则为2类c)g1(x)，g2(x)的设计i.最⼩总风险贝叶斯分类器1.g1(x)=?R(α1|x)，风险的相反数ii.最⼩误差概率贝叶斯分类器1. g 1(x )=p (ω1|x )2. g 1(x )=p (x|ω1)p (ω1)3. g 1(x )=log(p (x|ω1))+log(p (ω1))11.12. 计算题（决策边界为何下偏）ch3 参数估计1. 模式分类的途径（截图）2. 当可⽤数据很多以⾄于减轻了先验知识的作⽤时，贝叶斯估计可退化为最⼤似然估计。

模式识别复习重点总结

模式识别复习重点总结(总16页)-CAL-FENGHAI.-(YICAI)-Company One1-CAL-本页仅作为文档封面，使用请直接删除1.什么是模式及模式识别模式识别的应用领域主要有哪些模式：存在于时间，空间中可观察的事物，具有时间或空间分布的信息； 模式识别：用计算机实现人对各种事物或现象的分析,描述,判断,识别。

模式识别的应用领域：（1）字符识别；（2） 医疗诊断；（3）遥感； (4）指纹识别 脸形识别；（5）检测污染分析，大气，水源，环境监测； （6）自动检测；（7 ）语声识别，机器翻译，电话号码自动查询，侦听，机器故障判断；（8）军事应用。

2.模式识别系统的基本组成是什么（1） 信息的获取：是通过传感器，将光或声音等信息转化为电信息；（2） 预处理：包括A\D,二值化，图象的平滑，变换，增强，恢复，滤波等, 主要指图象处理；（3） 特征抽取和选择：在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征；（4） 分类器设计：分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。

把这些判决规则建成标准库；（5） 分类决策：在特征空间中对被识别对象进行分类。

3.模式识别的基本问题有哪些（1）模式(样本)表示方法：（a ）向量表示；（b ）矩阵表示；（c ）几何表示；（4）基元(链码)表示；（2）模式类的紧致性：模式识别的要求:满足紧致集，才能很好地分类；如果不满足紧致集，就要采取变换的方法,满足紧致集（3）相似与分类；(a)两个样本x i ，x j 之间的相似度量满足以下要求： ① 应为非负值② 样本本身相似性度量应最大 ③ 度量应满足对称性④ 在满足紧致性的条件下，相似性应该是点间距离的 单调函数(b)用各种距离表示相似性（4）特征的生成:特征包括：(a)低层特征;(b)中层特征;(c)高层特征 （5） 数据的标准化:(a)极差标准化；(b)方差标准化4．线性判别方法（1）两类：二维及多维判别函数，判别边界，判别规则二维情况：（a ）判别函数： ( ) （b ）判别边界：（c ）判别规则：n 维情况：（a ）判别函数： 也可表示为： 32211)(w x w x w x g ++=为坐标向量为参数，21,x x w 12211......)(+++++=n n n w x w x w x w x g X W x g T =)(为增值模式向量。

模式识别学习心得

模式识别学习心得模式识别学习心得1.什么是模式呢?广义地说，存在于时刻和空间中可观察的事物，若是咱们能够区别它们是不是相同或是不是相似，都能够称之为模式。

模式识别就是按照观察到的事物的模式对事物进行分类的进程。

在图像识别技术中，模式识别占有核心的地位。

所以的图像处置技术都是为了更好地进行模式识别做预备。

模式识别是图像识别的实质性阶段。

2。

有两种大体的模式识别方式，即统计模式识别方式和结构(句法)模式识别方式，与此相应的模式识别系统都由两个进程所组成，即设计和实现。

设计是指用必然数量的样本(叫做训练集或学习集)进行分类器的设计。

实现是指用所设计的分类器对待识别的样本进行分类决策。

模式识别系统(如图6-2)中，信息获取和预处置部份大致能够与图像的获取与处置对应。

一般情形下，模式识别技术主要包括"特征提取和选择"和"分类器的设计"。

近几十年来，模式识别技术进展专门快。

但是，进展较成熟、应用较普遍的主如果统计模式识别技术。

3.统计模式识别从一个广义的角度看，模式识别能够看成是一种机械学习的进程。

依照机械学习进程的性质，能够将模式识别方式分成有监督的模式识别方式和非监督的模式识别方式，后者又称为聚类分析方式。

这两种方式在图像识别中都有普遍的应用。

(1)有监督的模式识别方式从识别技术的大体思路和方式看，有监督的模式识别能够分成两类：基于模型的方式和直接分类的方式。

基于模型的方式的基础是贝叶斯(Bayes)决策理论方式，它对模式分析和分类器的设计有实在际的指导意义，是统计模式识别中的一个大体方式，用那个方式进行分类时要求：①各类别整体的概率散布(即所谓的先验概率和类条件概率)是已知的；②要决策分类的类别数是必然的。

假设要研究的分类问题有c个类别，各类别状态用ωi来表示，i=1，2，…，c；对应于各个类别ωi出现的先验概率P(ωi)和类条件概率密度函数p(x|ωi)是已知的。

模式识别总结

模式识别总结第一章1、 定义模式识别：对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程。

2、 模式识别的主要方法解决模式识别问题的主要方法可以归纳为基于知识的方法和基于数据的方法。

所谓基于知识的方法，主要是指专家系统为代表的方法，一般归在人工智能的范畴中，其基本思想是，根据人们已知的（从专家那里收集整理的）关于研究对象的知识，整理出若干描述特征与类别间关系的准则，建立一定的计算机推理系统，对未知样本通过这些知识推理决策其类别。

基于数据的方法是模式识别最主要的方法，在无特殊说明的情况下，人们说模式识别通常就是指这一类方法，其任务可以描述为：在类别标号y 与特征向量x 存在一定的未知依赖关系、但已知的信息只有一组训练数据对{（x,y ）}的情况下，求解定义在x 上的某一函数y’=f(x),对未知样本进行预测。

这一函数就叫做分类器。

3、 模式识别的分类模式识别可分为监督模式识别与非监督模式识别。

监督模式识别：已知要划分的类别，并且能够获得一定数量的类别已知的训练样本，这种情况下建立分类器的问题属于监督学习的问题。

非监督模式识别：事先不知道要划分的是什么类别，更没有类别已知的样本用作训练，很多情况下我们甚至不知道有多少类别。

我们要做的是根据样本特征讲样本聚成几个类，是属于同一类的样本在一定意义上是相似的，而不同类之间的样本则有较大差异。

这种学校过程称作非监督模式识别，在统计中通常被称为聚类，所得到的类别也称为聚类。

● 分类和聚类的概念分类（监督学习）：通过给定的已知类别标号的样本、训练某种学习机器，使他能够对未知泪别进行分类。

聚类（无监督学习）：是将数据分类到不同的类或者簇的过程，是探索学习的分析，在分类过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。

简单来说，分类就是按照某种标准给对象标签，再根据标签来分类，对未知数据的预测。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.1.样本(sample, object)：一类事物的一个具体体现，对具体的个别事物进行观测所得到的某 种形式的信号。模式(pattern)：表示一类事物，如印刷体 A 与手写体 A 属同一模式。B 与 A 则属于不同模式。样本是具体的事物，而模式是对同一类事物概念性的概括。模式类与模式 联合使用时，模式表示具体的事物，而模式类则是对这一类事物的概念性描述。模式识别是 从样本到类别的映射。样本模式识别类别。 1.2.数据获取 .测量采样-预处理.去噪复原-特征提取与选择.寻找有利于分类的本质特征-分类 器设计-分类决策.做出关于样本类别的判断。 1.3.先验概率 :根据大量统计确定某类事物出现的比例,类条件概率密度函数 :同一类事物的各 个属性都有一定的变化范围，在其变化范围内的分布概率用一种函数形式表示 ,后验概率:一 个具体事物属于某种类别的概率。 1 exp( 1 (x μ)T 1 (x μ)) 2.1.最小错误率准则即最大后验准则， ， p ( x) 1/ 2 2 (2 )n / 2 计 算 两 类 后 验 。 最 小 风 险 准 则 ， x ( x1 , x2 ,..., xn )T ， 通过保证每个观测之下的条件风险最小，使得它的期望 μ E (x) ( 1 , 2 ,..., n )T , i E ( xi ) 风险最小。 E (x μ)(x μ)T ( ij2 )n*n 2.2.多元正态分布的 pdf、均值、协方差矩阵如下。等概 率密度轨迹为超椭球面，主轴方向由协方差矩阵的特征 ij2 E ( xi i )( x j j ) 向量决定，轴长度由其特征值决定。 1 T T 2.3.最小距离分类器，线性分类器 g i ( x) (2μT i x μ i μ i ) w i x wi 0 2 2 2.4.医生判断病人是否有病：先验，似然，后验。Bayes 决 1 1 T w i 2 μi , wi 0 2 μi μi 策的三个前提： 类别数确定,各类的先验概率 P(ωi)已知,各类 2 的条件概率密度函数 p(x|ωi)已知.问题的转换 :基于样本估 p(x) c (x μ)T 1 (x μ) 2 计概率密度,基于样本直接确定判别函数. 3.1.一元正态分布的最大似然估计：假设样本 x 服从正态分布 N(μ,σ2)；已获得一组样本 x1 , x2 , … , xN 。解：似然函数：l(θ) = p(K|θ) = p(x1 , x2 , … , xN |θ) = ∏N k=1 p(xk |θ)，其对数似然 函数：H(θ) = ∑N 。样本服从正 k=1 ln⁡p(xk |θ).最大似然估计 N 态 分 布 N(μ,σ2) ， 则 n 2 p(xk ; μ, σ2 ) = 1/√2πσ2 exp⁡ *−(xk − μ)2 /2σ2 + , ⁡H(μ, σ2 ) = ∑N k=1 ln p(xk ; μ, σ ) = − ln(2π) −
;
] 0
2
地减少，以同时达到既减少计算量，又减少存储量的双重效果。 5.4.剪辑近邻法：其基本思想是，利用现有样本集对其自身进行剪辑，将不同类别交界处的 样本以适当方式筛选， 可以实现既减少样本数又提高正确识别率的双重目的。 剪辑的过程是： 将样本集 KN 分成两个互相独立的子集：test 集 KT 和 reference 集 KR。首先对 KT 中每一个 Xi 在 KR 中找到其最近邻的样本 Yi(Xi) 。 如果 Yi 与 Xi 不属于同一类别， 则将 Xi 从 KT 中删除， 最后得到一个剪辑的样本集 KTE（剪辑样本集） ，以取代原样本集，对待识别样本进行分类。 5.5.压缩近邻法：利用现有样本集，逐渐生成一个新的样本集，使该样本集在保留最少量样 本的条件下，仍能对原有样本的全部用最近邻法正确分类，那末该样本集也就能对待识别样 本进行分类，并保持正常识别率。压缩近邻算法：定义两个存储器，一个用来存放即将生成 的样本集，称为 Store；另一存储器则存放原样本集，称为 Grabbag。其算法是：1.初始化。 Store 是空集，原样本集存入 Grabbag；从 Grabbag 中任意选择一样本放入 Store 中作为新样 本集的第一个样本。2.样本集生成。在 Grabbag 中取出第 i 个样本用 Store 中的当前样本集按 最近邻法分类。若分类错误，则将该样本从 Grabbag 转入 Store 中，若分类正确，则将该样 本放回 Grabbag 中。3.结束过程。若 Grabbag 中所有样本在执行第二步时没有发 19.5 9.5 C 7.5 生转入 Store 的现象，或 Grabbag 已成空集，则算法终止，否则转入第二步。 9.5 6.1. 设一样本集的协方差矩阵是： ，求最优 2x1 特征提取器 U。 0.875 0.482 V 解答：计算特征值及特征向量[V, D]=eig(C);特征值 D=[24.736, 2.263]T,特征向量: 0.482 0.875 。由于λ1>λ2，故最优 2x1 特征提取器，此时的 K-L 变换式为： 。 0.875 x 6.2.用 K-L 变换降维至 d 维 y U T x uT x 0.875 0.482 1 U u1 0.482 K-L 变换的产生矩阵可以有多种选择： x2 c x 的相关函数矩阵 R=E[xxT] S P , E (x μ )(x μ )T , x w i i i i i i x 的协方差矩阵 C=E[(x-μ) (x-μ)T+样本总类 i 1 内离散度矩阵：求出产生矩阵的特征值、特征 函数，选取最大的 d 个特征值对应的特征向量组成变换矩阵 U。7.1.有监督学习（supervised learning)：用已知类 别的样本训练分类器，以求对训练集数据达到某种最优，并能推广到对新数据的分类，标记 了两类样本的标号，需要人手工干预训练过程， 。非监督学习（unsupervised learning) ：样 本数据类别未知，需要根据样本间的相似性对样本集进行分类(聚类，clustering)，依照数据 的自然分布，把它们划分成两类， 。监督学习方法的目的是识别事物，给待识别数据加上标 号(label)。因此训练样本集必须由带标号的样本组成。而非监督学习方法只有要分析的数据 集本身，没有标号。如果发现数据集呈现某种聚集性，则可按自然的聚集性分类，但不以与 某种预先的分类标号对上号为目的。监督学习方法必须要有训练集与测试样本。在训练集中 找规律，而对测试样本使用这种规律；而非监督学习只有一组数据，在该组数据集内寻找规 律. 主要的非监督学习方法:基于概率密度函数估计的直接方法： 设法找到各类别在特征空间 的分布参数再进行分类。直方图方法。 基于样本间相似性度量的间接聚类方法：设法定出 不同类别的核心或初始类核， 然后依据样本与这些核心之间的相似性度量将样本聚集成不同 类别。 7.2.设 x1=(4 5)T,x2=(1 4)T,x3=(0 1)T,x4=(5 0)T。 现有下列三种划分： (1) f1={x1,x2},f2={x3,x4}. (2) f1={x1,x4},f2={x2,x3}; (3) f1={x1,x2,x3},f2={x4}. 证明对于平方误差和准则，第三种划分最好， 而若用|Sw|准则，前两种划分好。 解: f1:m1=1/2(x1+x2)=1/2(5 9)T,m2=1/2(x3+x4)=1/2(5 1)T,J1=||x1-m1||2+…+||x4-m2||2=18; f2: ……..f3: m1=1/3(x1+x2+x3)=1/3(5 10)T,m2=(5 0)T,J3=52/3;J3 最小,第三种划分好。 |Sw|准则： S (x m )(x m )T , i 1,2， 3 S S S
i
n n 2 (x ) 0 i 2( 2 )2 i 1
则
， ， 对μ是无偏估计， 对σ n n ˆ (1 / n) x ˆ 2 (1 / n) ( x )2 i i i 1 i 1
Hale Waihona Puke 1 n ln H [ x n 2 i 1 i
n 2
ˆ argmax l (θ) argmax ln p( x | ) θ k k 1 θ θ
ln σ2 −

1 2σ2
2 2 ∑n i=1(xi − μ) 。 对 μ，σ 的 最 大 似 然 估 计 ：
2
2
ln H
n 2 2

是有偏估计。 3.2.类条件概率密度函数的估计：两大类方法,参数估计：概率密度函数的形式已知，而表征 函数的参数未知，需要通过训练数据来估计,(最大似然估计,Bayes 估计).非参数估计：概率密 度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计(Parzen 窗法和 kn近邻法,神经网络方法). N x xi k N ( ) 3.3.估计量的评价标准：无偏性:E()=θ 有效性:D()小，估 1 hN i 1 1 u j , j 1,2,..., d 计更有效;一致性：样本数趋于无穷时，依概率趋于 θ. (u ) 2 3.4. 贝叶斯决策问题:样本 x,决策 ai,真实状态 wj,状态空间 A 是离散空间, w 1 2 0 otherwise i i i x 先验概率 P(wj).贝叶斯参数估计问题：样本集 K,估计量^s,真实参数 s,参数空间 i S 是连续空间,参数的先验分布 p(s). 7.3.使用流程图描述 C-Means 算法 3.5.Parzen 窗:样本集 KN= ,x1, x2,…, xN-,区域 RN 是一个 d 维超立方体， 棱长 hN， 体积 VN= hNd, 答：1）初始化：选择 c 个初始聚类 K1, K2, …,Kc；2）建立 c 个空聚类列表： L1, L2, …,Lc；3） 定义窗核函数.落入超立方体内样本数 Kn，某点概率密度 p(x)的估计。核函数需满足归一化 条件， 常用的核函数： 均匀核、 正态核。 Hn 控制窗宽， 按照最小距离法则逐个对样本 x 进行分类： j argmin ( x, K i ), add( x, L j ) ；4）计 1 N 1 x xi ˆ N (x) p 根据样本的数量选择。太大，平均化，分辨力低，太 ( h ) i N i 1 VN N 小，统计变动大。kN-近邻估计：把窗扩大到刚好覆盖 算 J 及用各 聚 类列 表 (Ki) 计算 聚类 均 值 (pi) ， 作 为各 聚类 新 的代 表 点（ 更新 代 表 点） kN 个点。落在窗内的样本点的数目固定，窗宽是变化的。kN 根据样本总数 N 选择。 c ；6）若 J 不变或代表点未发生变化，则停止。否则转 2。 3.6.未设计好的分类器的错误率估计：需要把样本集分为训练集和测试集。C-法：利用 N 个 J (x, K ) i 样本设计，也利用这 N 个样本测试，得到乐观估计。U-法：把样本集分为训练集和测试集， i 1y K i 得到保守估计。U-法可以划分成两类，样本划分法：样本数需要比较多，测试样本数越多越 7.4.试小结一下下列相似性度量：1）样本 x 与样本 y 之间的相似性度量；2）样本 x 与聚类 K 有效。留一法：样本较少 K / N 时，N-1 个样本设计，另一样本测试，遍历 N 个样 之间的相似性度量；3）聚类 Ki 与聚类 Kj 之间的相似性度量。 ( K , K ) (m , m ) 本。假设错分样本数为 K，则错误率估计为。 i j i j (xi , x j ) (xi x j )T (xi x j )2） (x , K )3）聚类 Ki 与 Kj 间的距离度量： 答：1） 4.1. 设在三维空间中一个类别分类问题拟采用二次曲面。如欲采用广义线性方程求解，试问 i j i> 最近距离 ;ii> 最远距离 ;iii> 均值距离 。 其广义样本向量与广义权向量 的表达式，其维数是多少？二 次曲面 ( K , K ) min (x, y) ( K , K ) max (x, y) i j xKiyK j i j xKi yK j 2 2 ax12 bx2 cx3 dx1x2 ex1x3 fx2 x3 gx1 hx2 lx3 m 0.广义权向量为 a (a, b, c, d , e, f , g , h, l , m)T广义 为： 2 2 2 T T 8.1.解释 Hebb 学习规则的基本思想。 答： Hebb 学习规则的物理解释： 输入输出同时兴奋时， 样本向量为 y ( x1 , x2 , x3 , x1x2 , x1x3 , x2 x3 , x1, x2 , x3 ,1,) 维数为 10，广义线性判别函数为 z g (x) h(y) a y 相应的权值得到加强。 4.2. Fisher 准则的基本原理：找到一个最合适的投影轴，使两类样本在该轴上投影之间的距 w ap 离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。用投影后数据的统 8.2. 写出 C-Means 算法双层神经网络实现的算法描述或画出流程图.答： i i 计性质(均值和离散度的函数)作为判别优劣的标准。各类样本的均值 mi,i=1,2，类内离散度矩 1)初始化：选择前 c 个样本 x1, x2, …,xc 初始化 w1, w2, …,wc，并建立 c 个空 (n 1) (n) T T w w ap 阵: Si (x mi )(x mi ) , i 1,2 总类内离散度矩阵 Sw S1 S2 ,类间离散度矩阵 Sb (m1 m2 )(m1 m2 ) 聚类列表：K1, K2, …,Kc 2)依次把样本 x 馈入网络并计算输出 l（即按照最小 i i i T x S w S w b 4.3. Fisher 准则函数的定义 w* argmax J F (w) J F ( w) T b Fisher 最佳投影方向的求解。