·在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多少？ 应该是252142 6 *74132 7=+=+ =++C 其中加一是分别3类 和 7类 ·一个三类问题，其判别函数如下： d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1 (1)设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域。 (2)设为多类情况2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。绘出其判别界面和多类情况2的区域。
(3)设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。 ·两类模式，每类包括5个3维不同的模式，且良好分布。如果它们是线性可分的，问权向量至少需要几个系数分量？假如要建立二次的多项式判别函数，又至少需要几个系数分量？（设模式的良好分布不因模式变化而改变。） 如果线性可分，则4个 建立二次的多项式判别函数，则102 5 C 个 ·(1)用感知器算法求下列模式分类的解向量w: ω1: {(0 0 0)T , (1 0 0)T , (1 0 1)T , (1 1 0)T } ω2: {(0 0 1)T , (0 1 1)T , (0 1 0)T , (1 1 1)T } 将属于ω2的训练样本乘以（-1），并写成增广向量的形式。 x ①=(0 0 0 1)T , x ②=(1 0 0 1)T , x ③=(1 0 1 1)T , x ④=(1 1 0 1)T x ⑤=(0 0 -1 -1)T , x ⑥=(0 -1 -1 -1)T , x ⑦=(0 -1 0 -1)T , x ⑧=(-1 -1 -1 -1)T 第一轮迭代：取C=1，w(1)=(0 0 0 0) T 因w T (1) x ① =(0 0 0 0)(0 0 0 1) T =0 ≯0，故w(2)=w(1)+ x ① =(0 0 0 1) 因w T (2) x ② =(0 0 0 1)(1 0 0 1) T =1>0，故w(3)=w(2)=(0 0 0 1)T 因w T (3)x ③=(0 0 0 1)(1 0 1 1)T =1>0，故w(4)=w(3) =(0 0 0 1)T 因w T (4)x ④=(0 0 0 1)(1 1 0 1)T =1>0，故w(5)=w(4)=(0 0 0 1)T 因w T (5)x ⑤=(0 0 0 1)(0 0 -1 -1)T =-1≯0，故w(6)=w(5)+ x ⑤=(0 0 -1 0)T 因w T (6)x ⑥=(0 0 -1 0)(0 -1 -1 -1)T =1>0，故w(7)=w(6)=(0 0 -1 0)T 因w T (7)x ⑦=(0 0 -1 0)(0 -1 0 -1)T =0≯0，故w(8)=w(7)+ x ⑦=(0 -1 -1 -1)T 因w T (8)x ⑧=(0 -1 -1 -1)(-1 -1 -1 -1)T =3>0，故w(9)=w(8) =(0 -1 -1 -1)T 因为只有对全部模式都能正确判别的权向量才是正确的解，因此需进行第二轮迭代。 第二轮迭代： 因w T (9)x ①=(0 -1 -1 -1)(0 0 0 1)T =-1≯0，故w(10)=w(9)+ x ① =(0 -1 -1 0)T
模式识别大作业 班级 021252 姓名 谭红光 学号 02125128 1.线性投影与Fisher 准则函数 各类在d 维特征空间里的样本均值向量： ∑∈= i k X x k i i x n M 1 ，2,1=i (1) 通过变换w 映射到一维特征空间后，各类的平均值为： ∑∈= i k Y y k i i y n m 1，2,1=i (2) 映射后，各类样本“类内离散度”定义为： 22 ()k i i k i y Y S y m ∈= -∑，2,1=i (3) 显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离 散度越小越好。因此，定义Fisher 准则函数： 2 1222 12||()F m m J w s s -= + (4) 使F J 最大的解* w 就是最佳解向量，也就是Fisher 的线性判别式. 从 )(w J F 的表达式可知，它并非w 的显函数，必须进一步变换。 已知： ∑∈= i k Y y k i i y n m 1，2,1=i , 依次代入上两式，有： i T X x k i T k X x T i i M w x n w x w n m i k i k === ∑∑∈∈)1 (1 ，2,1=i (5) 所以：2 21221221||)(||||||||M M w M w M w m m T T T -=-=- w S w w M M M M w b T T T =--=))((2121 (6)
其中：T b M M M M S ))((2121--= (7) b S 是原d 维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大 小，因此，b S 越大越容易区分。 将(4.5-6) i T i M w m =和(4.5-2) ∑∈= i k X x k i i x n M 1代入(4.5-4)2i S 式中： ∑∈-= i k X x i T k T i M w x w S 22)( ∑∈?--? =i k X x T i k i k T w M x M x w ))(( w S w i T = (8) 其中：T i X x k i k i M x M x S i k ))((--= ∑=，2,1=i (9) 因此：w S w w S S w S S w T T =+=+)(212221 (10) 显然： 21S S S w += (11) w S 称为原d 维特征空间里，样本“类内离散度”矩阵。 w S 是样本“类内总离散度”矩阵。 为了便于分类，显然 i S 越小越好，也就是 w S 越小越好。
网络教育学院 《数据挖掘》课程大作业 题目：题目一：Knn算法原理以及python实现 姓名： XXX 报名编号： XXX 学习中心：奥鹏XXX 层次：专升本 专业：计算机科学与技术 第一大题：讲述自己在完成大作业过程中遇到的困难，解决问题的思路，以及相关感想，或者对这个项目的认识，或者对Python与数据挖掘的认识等等，300-500字。 答： 数据挖掘是指从大量的数据中通过一些算法寻找隐藏于其中重要实用信息的过程。这些算法包括神经网络法、决策树法、遗传算法、粗糙集法、模糊集法、关联规则法等。在商务管理，股市分析，公司重要信息决策，以及科学研究方面都有十分重要的意义。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术，从大量数据中寻找其肉眼难以发现的规律，和大数据联系密切。如今，数据挖掘已经应用在很多行业里，对人们的生产生活以及未来大数据时代起到了重要影响。
第二大题：完成下面一项大作业题目。 2019秋《数据挖掘》课程大作业 注意：从以下5个题目中任选其一作答。 题目一：Knn算法原理以及python实现 要求：文档用使用word撰写即可。 主要内容必须包括： （1）算法介绍。 （2）算法流程。 （3）python实现算法以及预测。 （4）整个word文件名为 [姓名奥鹏卡号学习中心]（如 戴卫东101410013979浙江台州奥鹏学习中心[1]VIP ） 答： KNN算法介绍 KNN是一种监督学习算法，通过计算新数据与训练数据特征值之间的距离，然后选取K(K>=1)个距离最近的邻居进行分类判(投票法)或者回归。若K=1，新数据被简单分配给其近邻的类。 KNN算法实现过程 (1)选择一种距离计算方式, 通过数据所有的特征计算新数据与
第5章：线性判别函数 第一部分：计算与证明 1． 有四个来自于两个类别的二维空间中的样本，其中第一类的两个样本为(1,4)T 和(2,3)T ，第二类的两个样本为(4,1)T 和(3,2)T 。这里，上标T 表示向量转置。假设初始的权向量a=(0,1)T ，且梯度更新步长ηk 固定为1。试利用批处理感知器算法求解线性判别函数g(y)=a T y 的权向量。 解： 首先对样本进行规范化处理。将第二类样本更改为(4,1)T 和(3,2)T .然后计算错分样本集： g(y 1)=(0,1)(1,4)T = 4 > 0 (正确) g(y 2)=(0,1)(2,3)T = 3 > 0 (正确) g(y 3)=(0,1)(-4,-1)T = -1 < 0 (错分) g(y 4)=(0,1)(-3,-2)T = -2 < 0 (错分) 所以错分样本集为Y={(-4,-1)T ,(-3,-2)T }. 接着，对错分样本集求和：(-4,-1)T +(-3,-2)T = (-7,-3)T 第一次修正权向量a ，以完成一次梯度下降更新：a=(0,1)T + (-7,-3)T =(-7,-2)T 再次计算错分样本集： g(y 1)=(-7,-2)(1,4)T = -15 <0 (错分) g(y 2)=(-7,-2)(2,3)T = -20 < 0 (错分) g(y 3)=(-7,-2)(-4,-1)T = 30 > 0 (正确) g(y 4)=(-7,-2)(-3,-2)T = 25 > 0 (正确) 所以错分样本集为Y={(1,4)T ,(2,3)T }. 接着，对错分样本集求和：(1,4)T +(2,3)T = (3,7)T 第二次修正权向量a ，以完成二次梯度下降更新：a=(-7,-2)T + (3,7)T =(-4,5)T 再次计算错分样本集： g(y 1) = (-4,5)(1,4)T = 16 > 0 (正确) g(y 2) =(-4,5)(2,3)T = 7 > 0 (正确) g(y 3) =(-4,5)(-4,-1)T = 11 > 0 (正确) g(y 4) =(-4,5)(-3,-2)T = 2 > 0 (正确) 此时，全部样本均被正确分类，算法结束，所得权向量a=(-4,5)T 。 2． 在线性感知算法中，试证明引入正余量b 以后的解区(a T y i ≥b)位于原来的解区之中(a T y i >0)，且与原解区边界之间的距离为b/||y i ||。 证明：设a*满足a T y i ≥b,则它一定也满足a T y i >0，所以引入余量后的解区位于原来的解区a T y i >0之中。 注意，a T y i ≥b 的解区的边界为a T y i =b,而a T y i >0的解区边界为a T y i =0。a T y i =b 与a T y i =0两个边界之间的距离为b/||y i ||。（因为a T y i =0过坐标原点，相关于坐标原点到a T y i =b 的距离。） 3． 试证明感知器准则函数正比于被错分样本到决策面的距离之和。 证明：感知器准则函数为： ()() T Y J ∈=-∑y a a y 决策面方程为a T y=0。当y 为错分样本时，有a T y ≤0。此时，错分样本到决策面的
第五章作业： 作业一： 设有如下三类模式样本集ω1，ω2和ω3，其先验概率相等，求S w 和S b ω1：{(1 0)T , (2 0) T , (1 1) T } ω2：{(-1 0)T , (0 1) T , (-1 1) T } ω3：{(-1 -1)T , (0 -1) T , (0 -2) T } 答案： 由于三类样本集的先验概率相等，则概率均为1/3。 多类情况的类内散布矩阵，可写成各类的类内散布矩阵的先验概率的加权和，即： ∑∑=== --= c i i i T i i c i i w C m x m x E P S 1 1 }|))(({)(ωω 其中C i 是第i 类的协方差矩阵。 其中1m = ,2m = 则=++=321S w w w w S S S 1/3 + + = 类间散布矩阵常写成： T i i c i i b m m m m P S ))(()(001 --= ∑=ω 其中，m 0为多类模式（如共有c 类）分布的总体均值向量，即：
c i m P x E m i c i i i ,,2,1,,)(}{1 0K =?= =∑=ωω 0m = = 则 T i i c i i b m m m m P S ))(()(001 --= ∑=ω=++ = 作业二： 设有如下两类样本集，其出现的概率相等： ω1：{(0 0 0)T , (1 0 0) T , (1 0 1) T , (1 1 0) T } ω2：{(0 0 1)T , (0 1 0) T , (0 1 1) T , (1 1 1) T } 用K-L 变换，分别把特征空间维数降到二维和一维，并画出样本在该空间中的位置。 答案： =+=∑∑==i i N j j N j j x x m 1 21 1）4 1 4 1 （ 21 将所有这些样本的各分量都减去0.5，便可以将所有这些样本 的均值移到原点，即(0,0,0)点。 新得到的两类样本集为：
模式识别大作业 一．K均值聚类（必做，40分） 1.K均值聚类的基本思想以及K均值聚类过程的流程图； 2.利用K均值聚类对Iris数据进行分类，已知类别总数为3。给出具体的C语言代码， 并加注释。例如，对于每一个子函数，标注其主要作用，及其所用参数的意义，对程序中定义的一些主要变量，标注其意义； 3.给出函数调用关系图，并分析算法的时间复杂度； 4.给出程序运行结果，包括分类结果（只要给出相对应的数据的编号即可）以及循环 迭代的次数； 5.分析K均值聚类的优缺点。 二．贝叶斯分类（必做，40分） 1.什么是贝叶斯分类器，其分类的基本思想是什么； 2.两类情况下，贝叶斯分类器的判别函数是什么，如何计算得到其判别函数； 3.在Matlab下，利用mvnrnd()函数随机生成60个二维样本，分别属于两个类别（一 类30个样本点），将这些样本描绘在二维坐标系下，注意特征值取值控制在（-5，5）范围以内； 4.用样本的第一个特征作为分类依据将这60个样本进行分类，统计正确分类的百分 比，并在二维坐标系下将正确分类的样本点与错误分类的样本点用不同标志（正确分类的样本点用“O”，错误分类的样本点用“X”）画出来； 5.用样本的第二个特征作为分类依据将这60个样本再进行分类，统计正确分类的百分 比，并在二维坐标系下将正确分类的样本点与错误分类的样本点用不同标志画出来； 6.用样本的两个特征作为分类依据将这60个样本进行分类，统计正确分类的百分比， 并在二维坐标系下将正确分类的样本点与错误分类的样本点用不同标志画出来； 7.分析上述实验的结果。 8.60个随即样本是如何产生的的；给出上述三种情况下的两类均值、方差、协方差矩 阵以及判别函数； 三．特征选择（选作，15分） 1.经过K均值聚类后，Iris数据被分作3类。从这三类中各选择10个样本点； 2.通过特征选择将选出的30个样本点从4维降低为3维，并将它们在三维的坐标系中
题目：遗传算法在图像处理中的应用研究课程: 计算智能 姓名： 学号： 专业：模式识别与智能系统
遗传算法在图像处理中的应用 摘要 遗传算法是一种基于生物自然选择与遗传机理的随机搜索与优化方法。近年来，由于遗传算法求解复杂优化问题的巨大潜力，广泛应用在生物信息学、系统发生学、计算科学、工程学、经济学、化学、制造、数学、物理、药物测量学和其他领域之中，这种算法受到了国内外学者的广泛关注，尤其是在计算机科学人工智能领域中。本文介绍了遗传算法基本理论，描述了它的主要特点和基本性质；重点综述遗传算法在图像处理中的主要应用，特别是在图像分割、图像压缩、图像增强等方面的作用；深入研究目前遗传算法在图像处理领域中存在的问题，并结合自己的研究方向，对这些问题提出了一些深刻的见解，展望了今后遗传算法在图像处理应用的发展方向。 关键词：遗传算法，数字图像处理
1.背景介绍 遗传算法(Genetic Algorithm,GA)是一种自适应启发式群体型概率性迭代式的全局收敛搜索算法,其基本思想来源于生物进化论和群体遗传学,体现了适者生存、优胜劣汰的进化原则。使用遗传算法求解科学研究工作和工程技术中各种组合搜索和优化计算问题这一基本思想早在20世纪60年代初期就由美国Michigan大学的Holland教授提出,其数学框架也于20世纪60年代中期形成。由于GA的整体搜索策略和优化计算不依赖于梯度信息,所以它的应用范围非常广泛,尤其适合于处理传统方法难以解决的高度复杂的非线性问题。它在自适应控制、组合优化、模式识别、机器学习、规划策略、信息处理和人工生命等领域的应用中越来越展示出优越性。 图像处理(image processing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。图像处理一般指数字图像处理。图像处理是计算机视觉中德一个重要研究领域，然而，在图像处理过程中，如扫描、特征提取、图像分割等不可避免地会存在一些误差，从而影响图像的效果。于是，研究者就开始探索怎么样才能使这些误差最小从而使计算机视觉达到实用化的重要要求，最终，遗传算法凭借其在这些图像处理中的优化计算方面独特的优势成为各种算法的佼佼者，得到了广泛的应用。 2.遗传算法的原理和基本步骤 遗传算法是一个不断迭代过程的搜索算法，它的基本处理流程如下图所示。
作业1 用身高和/或体重数据进行性别分类（一） 基本要求： 用FAMALE.TXT和MALE.TXT的数据作为训练样本集，建立Bayes分类器，用测试样本数据对该分类器进行测试。调整特征、分类器等方面的一些因素，考察它们对分类器性能的影响，从而加深对所学内容的理解和感性认识。 具体做法： 1．应用单个特征进行实验：以（a）身高或者（b）体重数据作为特征，在正态分布假设下利用最大似然法或者贝叶斯估计法估计分布密度参数，建立最小错误率Bayes分类器，写出得到的决策规则，将该分类器应用到测试样本，考察测试错误情况。在分类器设计时可以考察采用不同先验概率（如0.5对0.5, 0.75对0.25, 0.9对0.1等）进行实验，考察对决策规则和错误率的影响。 图1-先验概率0.5:0.5分布曲线图2-先验概率0.75:0.25分布曲线 图3--先验概率0.9:0.1分布曲线图4不同先验概率的曲线 有图可以看出先验概率对决策规则和错误率有很大的影响。 程序：bayesflq1.m和bayeszcx.m
关（在正态分布下一定独立），在正态分布假设下估计概率密度，建立最小错误率Bayes 分类器，写出得到的决策规则，将该分类器应用到训练/测试样本，考察训练/测试错误情况。比较相关假设和不相关假设下结果的差异。在分类器设计时可以考察采用不同先验概率（如0.5 vs. 0.5, 0.75 vs. 0.25, 0.9 vs. 0.1等）进行实验，考察对决策和错误率的影响。 训练样本female来测试 图1先验概率0.5 vs. 0.5 图2先验概率0.75 vs. 0.25 图3先验概率0.9 vs. 0.1 图4不同先验概率 对测试样本1进行试验得图
Homework #2 Note:In some problem (this is true for the entire quarter) you will need to make some assumptions since the problem statement may not fully specify the problem space. Make sure that you make reasonable assumptions and clearly state them. Work alone: You are expected to do your own work on all assignments; there are no group assignments in this course. You may (and are encouraged to) engage in general discussions with your classmates regarding the assignments, but specific details of a solution, including the solution itself, must always be your own work. Problem: In this problem we will investigate the importance of having the correct model for classification. Load file hw2.mat and open it in Matlab using command load hw2. Using command whos, you should see six array c1, c2, c3 and t1, t2, t3, each has size 500 by 2. Arrays c1, c2, c3 hold the training data, and arrays t1, t2, t3 hold the testing data. That is arrays c1, c2, c3 should be used to train your classifier, and arrays t1, t2, t3 should be used to test how the classifier performs on the data it hasn’t seen. Arrays c1 holds training data for the first class, c2 for the second class, c3 for the third class. Arrays t1, t2, t3 hold the test data, where the true class of data in t1, t2, t3 comes from the first, second, third classed respectively. Of course, array ci and ti were drawn from the same distribution for each i. Each training and testing example has 2 features. Thus all arrays are two dimensional, the number of rows is equal to the number of examples, and there are 2 columns, column 1 has the first feature, column 2 has the second feature. (a)Visualize the examples by using Matlab scatter command a plotting each class in different color. For example, for class 1 use scatter(c1(:,1),c1(:,2),’r’);. Other possible colors can be found by typing help plot. (b)From the scatter plot in (a), for which classes the multivariate normal distribution looks like a possible model, and for which classes it is grossly wrong? If you are not sure how to answer this part, do parts (c-d) first. (c)Suppose we make an erroneous assumption that all classed have multivariate normal Nμ. Compute the Maximum Likelihood estimates for the means and distributions()∑, covariance matrices (remember you have to do it separately for each class). Make sure you use only the training data; this is the data in arrays c1, c2, and c3. (d)You can visualize what the estimated distributions look like using Matlab contour(). Recall that the data should be denser along the smaller ellipse, because these are closer to the estimated mean. (e)Use the ML estimates from the step (c) to design the ML classifier (this is the Bayes classifier under zero-one loss function with equal priors). Thus we are assuming that priors are the same for each class. Now classify the test example (that is only those
模式识别miniproject 实验报告 报告人：李南云 学号：SA16173027 日期：2016.12.23
数据分析 在此简要的说明一下数据情况，给定数据集分为train和test 两个data文件， train.data是11列8285行，意味着有8285个样本，矩阵的最后一列是该列所对应的样本类别。根据统计，train数据前466个样本均为1类，而后7819个样本均为-1类，所以该分类器为二分类问题。MATLAB中用importdata（）读取数据，并将样本和其所属类别分开来，样本为trnset，所属类别为trnclass，train数据用于训练分类器。 Test.data是11列2072行，同样也意味着有2072个样本，最后一列为该列所对应样本类别，test数据前117为1类，后1955个数据为-1类。同样读取数据后，分为tstset和tstclass两个矩阵，前者代表2072个样本，后者代表所对应样本的类别，我们需要将train所训练好的分类器应用在tstset样本上，输出分类结果tstclass1，将其与tstclass相比较，计算每个类别的正确率和总的正确率。 算法介绍 本次实验采用了SVM（support vector machines）分类模型，由于数据线性不可分而且在实际问题中数据也大都线性不可分，所以本次试验采取的线性不可分SVM方法，即将数据向高维空间映射，使其变得线性可分。 本实验选取的二分类算法，SVC_C。
下面先以线性分类器为例，来引入SVM算法的一些概念和处理流程，如图1所示，假设C1和C2是需要区分的类别，而在二维平面中它们的样本如图，中间的一条直线就是一个线性分类函数，由图中可以看出，这个线性分类函数可以完全的将两类样本区分开来，我们就称这样的数据是线性可分的，否则则为线性不可分，本实验中所采用的数据在二维空间里分布如图2和图3所示（红色标注分类为1的样本，蓝色标注为分类为-1的样本），明显线性不可分。 图1
模式识别第三章 感知器算法 一．用感知器算法求下列模式分类的解向量w ： })0,1,1(,)1,0,1(,)0,0,1(,)0,0,0{(:1T T T T ω })1,1,1(,)0,1,0(,)1,1,0(,)1,0,0{(:2T T T T ω 将属于2ω的训练样本乘以（-1），并写成增广向量的形式： T x )1,0,0,0(1 =，T x )1,0,0,1(2=，T x )1,1,0,1(3=，T x )1,0,1,1(4 = T x )1,1-,0,0(5-=，T x )1,1-,1-,0(6-=，T x )1,0,1-,0(7-=，T x )1,1-,1-,1-(8-= 第一轮迭代：取1=C ，T )0,0,0,0()1(=ω 因0)1,0,0,0)(0,0,0,0()1(1==T T x ω不大于0，故T x )1,0,0,0()1()2(1=+=ωω 因1)1,0,0,1)(1,0,0,0()2(2==T T x ω大于0，故T )1,0,0,0()2()3(==ωω 因1)1,1,0,1)(1,0,0,0()3(3==T T x ω大于0，故T )1,0,0,0()3()4(==ωω 因1)1,0,1,1)(1,0,0,0()4(4==T T x ω大于0，故T )1,0,0,0()4()5(==ωω 因1)1,1-,0,0)(1,0,0,0()5(5-=-=T T x ω不大于0，故T x )0,1-,0,0()5()6(5 =+=ωω 因1)1,1-,1-,0)(0,1-,0,0()6(6=-=T T x ω大于0，故T )0,1-,0,0()6()7(==ωω 因0)1,0,1-,0)(0,1-,0,0()7(7=-=T T x ω不大于0，故T x )1-,1-,1,0()7()8(7-=+=ωω 因3)1,1-,1-,1-)(1-,1-,1,0()8(8=--=T T x ω大于0，故T )1-,1-,1,0()8()9(-==ωω 第二轮迭代： 因1)1,0,0,0)(1-,1-,1,0()9(1-=-=T T x ω不大于0，故T x )0,1-,1,0()9()10(1-=+=ωω 因0)1,0,0,1)(0,1-,1-,0()10(2==T T x ω不大于0，故T x )1,1,1,1()10()11(2--=+=ωω 因1)1,1,0,1)(1,1,1,1()11(3=--=T T x ω大于0，故T )1,1,1,1()11()12(--==ωω 因1)1,0,1,1)(1,1,1,1()12(4=--=T T x ω大于0，故T )1,1,1,1()12()13(--==ωω
题1：在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多少？ 答：将10类问题可看作4类满足多类情况1的问题，可将3类单独满足多类情况1的类找出来，剩下的7类全部划到4类中剩下的一个子类中。再在此子类中，运用多类情况2的判别法则进行分类，此时需要7*（7-1）/2=21个判别函数。故共需要4+21=25个判别函数。 题2：一个三类问题，其判别函数如下： d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1 1.设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类 别的区域。 2.设为多类情况2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。绘出其 判别界面和多类情况2的区域。 3.设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和 每类的区域。 答：三种情况分别如下图所示： 1． 2．
3． 题3：两类模式，每类包括5个3维不同的模式，且良好分布。如果它们是线性可分的，问权向量至少需要几个系数分量？假如要建立二次的多项式判别函数，又至少需要几个系数分量？（设模式的良好分布不因模式变化而改变。） 答：（1）若是线性可分的，则权向量至少需要14N n =+=个系数分量； （2）若要建立二次的多项式判别函数，则至少需要5! 102!3! N = =个系数分量。 题4：用感知器算法求下列模式分类的解向量w : ω1: {(0 0 0)T, (1 0 0)T, (1 0 1)T, (1 1 0)T} ω2: {(0 0 1)T, (0 1 1)T, (0 1 0)T, (1 1 1)T} 解：将属于2w 的训练样本乘以(1)-，并写成增广向量的形式 x1=[0 0 0 1]',x2=[1 0 0 1]',x3=[1 0 1 1]',x4=[1 1 0 1]'; x5=[0 0 -1 -1]',x6=[0 -1 -1 -1]',x7=[0 -1 0 -1]',x8=[-1 -1 -1 -1]'; 迭代选取1C =，(1)(0,0,0,0)w '=，则迭代过程中权向量w 变化如下： (2)(0 0 0 1)w '=；(3)(0 0 -1 0)w '=；(4)(0 -1 -1 -1)w '=；(5)(0 -1 -1 0)w '=；(6)(1 -1 -1 1)w '=；(7)(1 -1 -2 0)w '=；(8)(1 -1 -2 1)w '=；(9)(2 -1 -1 2)w '=； (10)(2 -1 -2 1)w '=；(11)(2 -2 -2 0)w '=；(12)(2 -2 -2 1)w '=；收敛 所以最终得到解向量(2 -2 -2 1)w '=，相应的判别函数为123()2221d x x x x =--+。 题5：用多类感知器算法求下列模式的判别函数： ω1: (-1 -1)T ，ω2: (0 0)T ，ω3: (1 1)T
模式识别作业 班级： 学号： 姓名：
一、实验内容 （1）了解与熟悉模式识别系统的基本组成和系统识别原理。 （2）使用增添特征法对特征进行提取与选择。 （3）编写MATLAB程序，对原始数据特征进行提取与选择，并选择适当的分类器对样本进行训练和分类，得出最后的分类结果以及识别正确率。二、实验原理 模式识别系统的原理图如下： 图1.模式识别系统原理图 对原始样本数据进行一些预处理，使用增添特征法进行特征提取与选择。增添特征法也称为顺序前进法（SFS），每次从未选择的特征中选择一个，使得它与已选特征组合后判据值J最大，直到选择的特征数目达到d。特征选取后用SVM分类器对随机选取的训练样本和测试样本进行分类，最后得出不同特征维数下的最高SVM分类正确率，以及不同特征维数下的最大类别可分性判据。 三、实验方法及程序 clear; clc; load('C:\Users\Administrator\Desktop\homework\ionosphere.mat'); m1=225;m2=126; p1=m1/(m1+m2);p2=m2/(m1+m2); chosen=[]; for j=1:34 [m,n]=size(chosen);n=n+1; J1=zeros(1,33); for i=1:34 Sw=zeros(n,n);Sb=zeros(n,n); S1=zeros(n,n);S2=zeros(n,n); p=any(chosen==i); if p==0 temp_pattern1=data(1:225,[chosen i]); temp_pattern2=data(226:351,[chosen i]);
第一章 绪论 1.什么是模式？具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的___信息__。 2.模式识别的定义？让计算机来判断事物。 3.模式识别系统主要由哪些部分组成？数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。 第二章 贝叶斯决策理论 1.最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后验概率。根据后验概率大小进行决策分析。 2.最小错误率贝叶斯分类器设计过程？ 答：根据训练数据求出先验概率 类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式？ 答： 4.贝叶斯决策为什么称为最小错误率贝叶斯决策？ 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。 6.利用乘法法则和全概率公式证明贝叶斯公式 答：∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1) ()|()() ()|()()|()(所以推出贝叶斯公式 7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi)） 8.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？ 答：假设各属性独立，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi) 后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi) 类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。 均值：∑==m i xi m x mean 11)( 方差：2)^(11)var(1∑=--=m i x xi m x 9.计算属性Marital Status 的类条件概率分布 给表格计算，婚姻状况几个类别和分类几个就求出多少个类条件概率。 ???∈>=<2 11221_,)(/)(_)|()|()(w w x w p w p w x p w x p x l 则如果∑==21 )()|()()|()|(j j j i i i w P w x P w P w x P x w P 2,1),(=i w P i 2,1),|(=i w x p i ∑==2 1)()|()()|()|(j j j i i i w P w x P w P w x P x w P ∑=== M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1) ()| ()()|()()()|()|(
2.6给出K-均值算法的程序框图，编写程序，自选一组分别属于三类的三维模式样本，并对它们进行聚类分析。 开始输入样本矩阵绘制样本数据的散点图输入聚类数目k 得到样本矩阵的大小聚类数目大于样本个数随机选取k 个样本作为初始聚类中心N 迭代次数=1计算各点到聚类中心的距离输出迭代次数，聚类中心，聚类结果按最短距离原则分配各点迭代次数+1计算各聚类中心的新向量值判断前后两次聚类中心是否变化结束 N Y 输入错误，要求重新输入k Y
MATLAB程序代码 clear all; clc; data=input('请输入样本数据矩阵：'); X=data(:,1); Y=data(:,2); figure(1); plot(X,Y,'r*','LineWidth',3); axis([0 9 0 8]) xlabel('x');ylabel('y'); hold on; grid on; m=size(data,1); n=size(data,2); counter=0; k=input('请输入聚类数目：'); if k>m disp('输入的聚类数目过大，请输入正确的k值'); k=input('请输入聚类数目：'); end M=cell(1,m); for i=1:k M{1,i}=zeros(1,n); end Mold=cell(1,m); for i=1:k Mold{1,i}=zeros(1,n); end %随机选取k个样本作为初始聚类中心 %第一次聚类,使用初始聚类中心 p=randperm(m);%产生m个不同的随机数 for i=1:k M{1,i}=data(p(i),:);
第一章 绪论 1.什么是模式具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的___信息__。 2.模式识别的定义让计算机来判断事物。 3.模式识别系统主要由哪些部分组成数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。 第二章 贝叶斯决策理论 1.最小错误率贝叶斯决策过程 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后验概率。根据后验概率大小进行决策分析。 2.最小错误率贝叶斯分类器设计过程 答：根据训练数据求出先验概率 类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式 答： 4.贝叶斯决策为什么称为最小错误率贝叶斯决策 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。 6.利用乘法法则和全概率公式证明贝叶斯公式 答：∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1) ()|()() ()|()()|()(所以推出贝叶斯公式 7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi) ???∈>=<2 11221_,)(/)(_)|()|()(w w x w p w p w x p w x p x l 则如果∑==21 )()|()()|()|(j j j i i i w P w x P w P w x P x w P 2,1),(=i w P i 2,1),|(=i w x p i ∑==21)()|()()|()|(j j j i i i w P w x P w P w x P x w P ∑=== M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1) ()| ()()|()()()|()|(