模式识别-作业4

模式识别习题及答案第⼀章绪论1.什么是模式具体事物所具有的信息。

模式所指的不是事物本⾝，⽽是我们从事物中获得的___信息__。

2.模式识别的定义让计算机来判断事物。

3.模式识别系统主要由哪些部分组成数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。

第⼆章贝叶斯决策理论1.最⼩错误率贝叶斯决策过程答：已知先验概率，类条件概率。

利⽤贝叶斯公式得到后验概率。

根据后验概率⼤⼩进⾏决策分析。

2.最⼩错误率贝叶斯分类器设计过程答：根据训练数据求出先验概率类条件概率分布利⽤贝叶斯公式得到后验概率如果输⼊待测样本X ，计算X 的后验概率根据后验概率⼤⼩进⾏分类决策分析。

3.最⼩错误率贝叶斯决策规则有哪⼏种常⽤的表⽰形式答：4.贝叶斯决策为什么称为最⼩错误率贝叶斯决策答：最⼩错误率Bayes 决策使得每个观测值下的条件错误率最⼩因⽽保证了（平均）错误率最⼩。

Bayes 决策是最优决策：即，能使决策错误率最⼩。

5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利⽤这个概率进⾏决策。

6.利⽤乘法法则和全概率公式证明贝叶斯公式答：∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1)()|()()()|()()|()(所以推出贝叶斯公式7.朴素贝叶斯⽅法的条件独⽴假设是（P(x| ωi) =P(x1, x2, …, xn | ωi)= P(x1| ωi) P(x2| ωi)… P(xn| ωi)）8.怎样利⽤朴素贝叶斯⽅法获得各个属性的类条件概率分布答：假设各属性独⽴，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi)后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi)类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值⽅差，最后得到类条件概率分布。

《模式识别》课程2019年度大作业注意事项：（请务必详细阅读所有注意事项）1.本作业发布时间2019.5.5，交作业时间：2018.5.30日第一节课下课后，第二节课上课前（即上午9点整）。

与平时作业不同，不允许迟交，迟交则成绩以0分计。

2.与平时作业不同，大作业只有研究生同学完成，保送本系的本科同学也需要完成，但其他本科生无需完成。

请在作业的开始部分写上姓名、学号，缺少该信息的，本次作业总分扣除10分。

如果是已经完成保送手续，先修研究生课程的本校本科生，请一定每次作业在姓名后加注“（本科保送）”，否则无法拿到学分。

3.与平时作业不同，作业评分以电子版为准。

需要提交代码，具体的提交要求请仔细阅读作业说明。

总体文件大小不超过5MB（可以提交压缩文件）。

上传地址为/。

初始用户名和密码为学号。

研究生学号以MP18开头的暂时无法登陆，可将电子版email给助教（wangguohua@, yik@），其余同学务必使用网站系统上传。

是否迟交以cslabcms系统的时间戳或电子邮件的时间戳为准。

大作业：1.仔细阅读以下网页的内容（/weixs/project/DDT/DDT.html），包括其中提供链接的英文论文，理解DDT方法的运行步骤。

2.自行实现DDT算法。

实现时可以参考上述网页提供的Matlab代码以加深对DDT方法的理解，但是不可以使用MatConvNet这一深度学习框架，除此以外的其余任意深度学习软件框架都可以使用。

3.如尚未有深度学习、CNN的编程经验，请搜索网络资源完成自学。

4.如有可供使用的GPU加速卡资源，可以自由使用。

如无这种资源，可在编程中指定使用CPU（即，不使用GPU）来完成计算。

DDT方法的计算量很小，使用CPU也可完成计算。

5.在上述网页提供下载的代码链接里有少量图片可供使用，利用这些图片完成DDT方法的学习，利用可视化技术（参考论文和代码）直观考察DDT方法的效果。

6.请提交完成上述任务的文档和代码，需提交的内容如下：a.说明文档：自行组织文档的格式，保证文档的内容能让助教清晰地理解你的代码运行环境、实现的主要思路、你通过实现并运行代码后对DDT方法的理解等。

模式识别答案模式识别试题⼆答案问答第1题答：在模式识别学科中，就“模式”与“模式类”⽽⾔，模式类是⼀类事物的代表，概念或典型，⽽“模式”则是某⼀事物的具体体现，如“⽼头”是模式类，⽽王先⽣则是“模式”，是“⽼头”的具体化。

问答第2题答：Mahalanobis距离的平⽅定义为：其中x，u为两个数据，是⼀个正定对称矩阵（⼀般为协⽅差矩阵）。

根据定义，距某⼀点的Mahalanobis距离相等点的轨迹是超椭球，如果是单位矩阵Σ，则Mahalanobis距离就是通常的欧⽒距离。

问答第3题答：监督学习⽅法⽤来对数据实现分类，分类规则通过训练获得。

该训练集由带分类号的数据集组成，因此监督学习⽅法的训练过程是离线的。

⾮监督学习⽅法不需要单独的离线训练过程，也没有带分类号（标号）的训练数据集，⼀般⽤来对数据集进⾏分析，如聚类，确定其分布的主分量等。

就道路图像的分割⽽⾔，监督学习⽅法则先在训练⽤图像中获取道路象素与⾮道路象素集，进⾏分类器设计，然后⽤所设计的分类器对道路图像进⾏分割。

使⽤⾮监督学习⽅法，则依据道路路⾯象素与⾮道路象素之间的聚类分析进⾏聚类运算，以实现道路图像的分割。

问答第4题答：动态聚类是指对当前聚类通过迭代运算改善聚类；分级聚类则是将样本个体，按相似度标准合并，随着相似度要求的降低实现合并。

问答第5题答：在给定观察序列条件下分析它由某个状态序列S产⽣的概率似后验概率，写成P(S|O)，⽽通过O求对状态序列的最⼤似然估计,与贝叶斯决策的最⼩错误率决策相当。

问答第6题答：协⽅差矩阵为，则1）对⾓元素是各分量的⽅差，⾮对⾓元素是各分量之间的协⽅差。

2）主分量，通过求协⽅差矩阵的特征值，⽤得，则，相应的特征向量为：，对应特征向量为，对应。

这两个特征向量即为主分量。

3） K-L变换的最佳准则为：对⼀组数据进⾏按⼀组正交基分解，在只取相同数量分量的条件下，以均⽅误差计算截尾误差最⼩。

4）在经主分量分解后，协⽅差矩阵成为对⾓矩阵，因⽽各主分量间相关消除。

模式识别大作业模糊聚类算法模糊聚类算法概述模糊聚类算法是一种基于函数最优方法的聚类算法，使用微积分计算技术求最优代价函数。

在基于概率算法的聚类方法中将使用概率密度函数，为此要假定合适的模型，模糊聚类算法的向量可以同时属于多个聚类，从而摆脱上述问题。

在模糊聚类算法中，定义了向量与聚类之间的近邻函数，并且聚类中向量的隶属度由隶属函数集合提供。

对模糊方法而言，在不同聚类中的向量隶属函数值是相互关联的。

硬聚类可以看成是模糊聚类方法的一个特例。

模糊聚类算法的分类模糊聚类分析算法大致可分为三类[4]：1）分类数不定，根据不同要求对事物进行动态聚类，此类方法是基于模糊等价矩阵聚类的，称为模糊等价矩阵动态聚类分析法。

2）分类数给定，寻找出对事物的最佳分析方案，此类方法是基于目标函数聚类的，称为模c均值聚类。

3）在摄动有意义的情况下，根据模糊相似矩阵聚类，此类方法称为基于摄动的模糊聚类分析法。

模糊c均值（FCM）聚类算法算法描述模糊c均值聚类算法的步骤还是比较简单的，模糊c均值聚类（FCM），即众所周知的模糊ISODATA，是用隶属度确定每个数据点属于某个聚类的程度的一种聚类算法。

1973年，Bezdek提出了该算法，作为早期硬c均值聚类（HCM）方法的一种改进。

FCM把n个向量x i（i=1,2,…,n）分为c个模糊组，并求每组的聚类中心，使得非相似性指标的价值函数达到最小。

FCM与HCM的主要区别在于FCM用模糊划分，使得每个给定数据点用值在0，1间的隶属度来确定其属于各个组的程度。

与引入模糊划分相适应，隶属矩阵U允许有取值在0，1间的元素。

不过，加上归一化规定，一个数据集的隶属度的和总等于1：∑==∀=ciijnju1,...,1,1(3.1)那么，FCM的价值函数（或目标函数）就是：∑∑∑====c i njijm ij c i i c d u J c c U J 1211),...,,(， (3.2)这里u ij 介于0，1间；c i 为模糊组I 的聚类中心，d ij =||c i -x j ||为第I 个聚类中心与第j 个数据点间的欧几里德距离；且[)∞∈,1m 是一个加权指数。

模式识别习题及答案模式识别习题及答案模式识别是人类智能的重要组成部分，也是机器学习和人工智能领域的核心内容。

通过模式识别，我们可以从大量的数据中发现规律和趋势，进而做出预测和判断。

本文将介绍一些模式识别的习题，并给出相应的答案，帮助读者更好地理解和应用模式识别。

习题一：给定一组数字序列，如何判断其中的模式？答案：判断数字序列中的模式可以通过观察数字之间的关系和规律来实现。

首先，我们可以计算相邻数字之间的差值或比值，看是否存在一定的规律。

其次，我们可以将数字序列进行分组，观察每组数字之间的关系，看是否存在某种模式。

最后，我们还可以利用统计学方法，如频率分析、自相关分析等，来发现数字序列中的模式。

习题二：如何利用模式识别进行图像分类？答案：图像分类是模式识别的一个重要应用领域。

在图像分类中，我们需要将输入的图像分为不同的类别。

为了实现图像分类，我们可以采用以下步骤：首先，将图像转换为数字表示，如灰度图像或彩色图像的像素矩阵。

然后，利用特征提取算法，提取图像中的关键特征。

接下来，选择合适的分类算法，如支持向量机、神经网络等，训练模型并进行分类。

最后，评估分类结果的准确性和性能。

习题三：如何利用模式识别进行语音识别？答案：语音识别是模式识别在语音信号处理中的应用。

为了实现语音识别，我们可以采用以下步骤：首先，将语音信号进行预处理，包括去除噪声、降低维度等。

然后，利用特征提取算法，提取语音信号中的关键特征，如梅尔频率倒谱系数（MFCC）。

接下来，选择合适的分类算法，如隐马尔可夫模型（HMM）、深度神经网络（DNN）等，训练模型并进行语音识别。

最后，评估识别结果的准确性和性能。

习题四：如何利用模式识别进行时间序列预测？答案：时间序列预测是模式识别在时间序列分析中的应用。

为了实现时间序列预测，我们可以采用以下步骤：首先，对时间序列进行平稳性检验，确保序列的均值和方差不随时间变化。

然后，利用滑动窗口或滚动平均等方法，将时间序列划分为训练集和测试集。

第4章 基于统计决策的概率分类法习题解答4.1 分别写出以下两种情况下，最小错误率贝叶斯决策规则：（1）两类情况，且)|()|(21ωωX X p p =。

（2）两类情况，且)()(21ωωP P =。

解：最小错误率贝叶斯决策规则为：若(){}M j P p P p j j i i ,,2,1),()|(max )|( ==ωωωωX X ，则i ω∈X两类情况时为：若())()|()|(2211ωωωωP p P p X X >，则1ω∈X 若())()|()|(2211ωωωωP p P p X X <，则2ω∈X(1)当)|()|(21ωωX X p p =，变为：若())(21ωωP P >，则1ω∈X 若())(21ωωP P <，则2ω∈X(2)当)()(21ωωP P =时，变为：若)|()|(21ωωX X p p >，则1ω∈X 若)|()|(21ωωX X p p <，则2ω∈X4.2 假设在某个地区的疾病普查中，正常细胞（1ω）和异常细胞（2ω）的先验概率分别为9.0)(1=ωP ，1.0)(2=ωP 。

现有一待识别细胞，其观察值为X ，从类概率密度分布曲线上查得2.0)|(1=ωX p ，4.0)|(2=ωX p ，试对该细胞利用最小错误率贝叶斯决策规则进行分类。

解1： ∑=1)(=2111)(|)()|()|(i iiP X p P X p X P ωωωωω818.01.04.09.02.09.02.0≈⨯+⨯⨯=182.01.04.09.02.01.04.0)|(2≈⨯+⨯⨯=X P ω)|()|(21X P X P ωω> 1ω∈∴X （正常）解2：()18.09.02.0)|(11=⨯=ωωP X p ，()04.01.04.0)|(22=⨯=ωωP X p())()|()|(2211ωωωωP X p P X p > 1ω∈∴X （正常）4.3 设以下模式类具有正态概率密度函数：1ω：T 1]0,0[=X ，T 2]0,2[=X ，[]T 32,2=X ，T 4]2,0[=X 2ω：[]T 54,4=X ，[]T 64,6=X ，[]T 76,6=X ，[]T 86,4=X（1）设5.0)()(21==ωωP P ，求两类模式之间贝叶斯判别界面的方程式。

第五章作业： 作业一：设有如下三类模式样本集ω1，ω2和ω3，其先验概率相等，求S w 和S bω1：{(1 0)T , (2 0) T , (1 1) T } ω2：{(-1 0)T , (0 1) T , (-1 1) T }ω3：{(-1 -1)T , (0 -1) T , (0 -2) T }答案：由于三类样本集的先验概率相等，则概率均为1/3。

多类情况的类内散布矩阵，可写成各类的类内散布矩阵的先验概率的加权和，即：∑∑===--=cii i Ti i cii w C m x m x E P S 11}|))(({)(ωω 其中C i 是第i 类的协方差矩阵。

其中1m =,2m =则=++=321S w w w w S S S 1/3++=类间散布矩阵常写成：Ti i cii b m m m m P S ))(()(001--=∑=ω其中，m 0为多类模式（如共有c 类）分布的总体均值向量，即：c i m P x E m i cii i ,,2,1,,)(}{10 =∀==∑=ωω0m ==则Ti i cii b m m m m P S ))(()(001--=∑=ω=++=作业二：设有如下两类样本集，其出现的概率相等：ω1：{(0 0 0)T , (1 0 0) T ,(1 0 1) T , (1 1 0) T }ω2：{(0 0 1)T , (0 1 0) T ,(0 1 1) T , (1 1 1) T }用K-L 变换，分别把特征空间维数降到二维和一维，并画出样本在该空间中的位置。

答案：=+=∑∑==iiN jj N jj x x m 1211）4141（21将所有这些样本的各分量都减去0.5，便可以将所有这些样本的均值移到原点，即(0,0,0)点。

新得到的两类样本集为：ω1：{(-0.5-0.5-0.5)T , (0.5-0.5-0.5) T ,(0.5-0.50.5) T , (0.50.5-0.5) T }ω2：{(-0.5-0.50.5)T , (-0.50.5-0.5) T ,(-0.50.50.5) T , (0.50.50.5) T }I 25.041214121}{)(4122411121=⎥⎦⎤⎢⎣⎡+⎥⎦⎤⎢⎣⎡==∑∑∑===j T j j j Tjj i Ti x x x x xx E P R ω解特征值方程|R-λI|=0，求R 的特征值。