下载文档原格式
实验一、二维随机数的产生1、实验目的（1） 学习采用Matlab 程序产生正态分布的二维随机数 （2） 掌握估计类均值向量和协方差矩阵的方法（3） 掌握类间离散度矩阵、类内离散度矩阵的计算方法（4） 熟悉matlab 中运用mvnrnd 函数产生二维随机数等matlab 语言2、实验原理多元正态分布概率密度函数：11()()2/21/21()(2)||T X X d p X eμμπ---∑-=∑其中：μ是d 维均值向量：Td E X μμμμ=={}[,,...,]12Σ是d ×d 维协方差矩阵：TE X X μμ∑=--[()()]（1）估计类均值向量和协方差矩阵的估计 各类均值向量1ii X im X N ω∈=∑ 各类协方差矩阵1()()iTi iiX iX X N ωμμ∈∑=--∑（2）类间离散度矩阵、类内离散度矩阵的计算类内离散度矩阵：()()iTi iiX S X m X m ω∈=--∑， i=1,2总的类内离散度矩阵：12W S S S =+类间离散度矩阵：1212()()Tb S m m m m =--3、实验内容及要求产生两类均值向量、协方差矩阵如下的样本数据，每类样本各50个。
1[2,2]μ=--，11001⎡⎤∑=⎢⎥⎣⎦，2[2,2]μ=，21004⎡⎤∑=⎢⎥⎣⎦ （1）画出样本的分布图；（2） 编写程序，估计类均值向量和协方差矩阵；（3） 编写程序，计算类间离散度矩阵、类内离散度矩阵； （4）每类样本数增加到500个，重复（1）-（3）4、实验结果(1)、样本的分布图(2)、类均值向量、类协方差矩阵根据matlab 程序得出的类均值向量为：N=50 : m1=[-1.7160 -2.0374] m2=[2.1485 1.7678] N=500: m1=[-2.0379 -2.0352] m2=[2.0428 2.1270] 根据matlab 程序得出的类协方差矩阵为：N=50: ]0628.11354.01354.06428.1[1=∑ ∑--2]5687.40624.00624.08800.0[N=500：∑--1]0344.10162.00162.09187.0[∑2]9038.30211.00211.09939.0[(3)、类间离散度矩阵、类内离散度矩阵根据matlab 程序得出的类间离散度矩阵为：N=50： ]4828.147068.147068.149343.14[=bS N=500： ]3233.179843.169843.166519.16[b =S根据matlab 程序得出的类内离散度矩阵为：N=50：]0703.533088.73088.71052.78[1=S ]7397.2253966.13966.18975.42[2--=S ]8100.2789123.59123.50026.121[=W SN=500: ]5964.5167490.87490.86203.458[1--=S ]8.19438420.78420.70178.496[2=S ]4.24609071.09071.06381.954[--=W S5、结论由mvnrnd 函数产生的结果是一个N*D 的一个矩阵，在本实验中D 是2，N 是50和500.根据实验数据可以看出，当样本容量变多的时候，两个变量的总体误差变小，观测变量各个取值之间的差异程度减小。
模式识别实验报告————————————————————————————————作者：————————————————————————————————日期：实验报告实验课程名称：模式识别姓名：王宇班级： 20110813 学号： 2011081325实验名称规范程度原理叙述实验过程实验结果实验成绩图像的贝叶斯分类K均值聚类算法神经网络模式识别平均成绩折合成绩注：1、每个实验中各项成绩按照5分制评定，实验成绩为各项总和2、平均成绩取各项实验平均成绩3、折合成绩按照教学大纲要求的百分比进行折合2014年 6月实验一、 图像的贝叶斯分类一、实验目的将模式识别方法与图像处理技术相结合，掌握利用最小错分概率贝叶斯分类器进行图像分类的基本方法，通过实验加深对基本概念的理解。
二、实验仪器设备及软件 HP D538、MATLAB 三、实验原理 概念：阈值化分割算法是计算机视觉中的常用算法，对灰度图象的阈值分割就是先确定一个处于图像灰度取值范围内的灰度阈值，然后将图像中每个像素的灰度值与这个阈值相比较。
并根据比较的结果将对应的像素划分为两类，灰度值大于阈值的像素划分为一类，小于阈值的划分为另一类，等于阈值的可任意划分到两类中的任何一类。
最常用的模型可描述如下：假设图像由具有单峰灰度分布的目标和背景组成，处于目标和背景内部相邻像素间的灰度值是高度相关的，但处于目标和背景交界处两边的像素灰度值有较大差别，此时，图像的灰度直方图基本上可看作是由分别对应于目标和背景的两个单峰直方图混合构成。
而且这两个分布应大小接近，且均值足够远，方差足够小，这种情况下直方图呈现较明显的双峰。
类似地，如果图像中包含多个单峰灰度目标，则直方图可能呈现较明显的多峰。
上述图像模型只是理想情况，有时图像中目标和背景的灰度值有部分交错。
这时如用全局阈值进行分割必然会产生一定的误差。
分割误差包括将目标分为背景和将背景分为目标两大类。
实际应用中应尽量减小错误分割的概率，常用的一种方法为选取最优阈值。
武汉理工大学模式识别实验报告姓名：班级：学号：姓名：班级：学号：实验一总体概率密度分布的非参数方法一、实验目的1.了解使用非参数方法估计样本概率密度函数的原理。
2.了解Parzen窗法的原理及其参数h1，N对估计结果的影响。
3.掌握Parzen窗法的算法并用Matlab实现。
4.使用Matlab分析Parzen窗法的参数h1，N对估计结果的影响。
二、实验数据一维正态分布样本，使用函数randn生成。
三、实验结果选取的h1=0.25,1,4，N=1,16,256,4096,65536，得到15个估计结果，如下图所示。
由下面三组仿真结果可知，估计结果依赖于N和h1。
当N=1时，是一个以样本为中心的小丘。
当N=16和h1=0.25时，仍可以看到单个样本所起的作用；但当h1=1及h1=4时就受到平滑，单个样本的作用模糊了。
随着N的增加，估计量越来越好。
这说明，要想得到较精确的估计，就需要大量的样本。
但是当N取的很大，h1相对较小时，在某些区间内hN趋于零，导致估计的结果噪声大。
分析实验数据发现在h1=4，N=256时，估计结果最接近真实分布。
附录：1.Parzen窗法函数文件parzen.m function parzen=parzen(N,h1,x) %ParzenhN = h1/sqrt(N);num_x = numel(x);parzen = zeros(1, num_x);for u = 1:num_xfor i=1:Nparzen(u) = parzen(u)+exp(((x(u)-x(i))/hN).^2/-2);endparzen(u)=parzen(u)/sqrt(2*pi)/h1/sqrt(N);end2.例程文件parzen_sample.mx = randn(1,10000);%Normally distributed pseudorandom numberspx = normpdf(x,0,1);%Normal probability density function - normpdf(X,mu,sigma)h1 = [0.25, 1, 4];N = [1, 16, 256, 1024, 4096];num_h1 = numel(h1);%Number of array elementsnum_N = numel(N);figure('Name', '总体概率密度分布的非参数方法');%遍历h1for i_h1 = 1:length(h1)h1_offset = (i_h1-1)*(num_N+1)+1;%绘图位置的偏移量subplot(num_h1, num_N+1, h1_offset);plot(x, px, '.');ylabel(sprintf('%s%4.2f', 'h1=', h1(i_h1)));title('正态分布样本的概率密度函数')%遍历Nfor i_N = 1 : length(N)pNx=parzen(N(i_N), h1(i_h1), x);subplot(num_h1, num_N+1, h1_offset+i_N);plot(x, pNx, '.');title(sprintf('%s%d', 'N=', N(i_N)));endend姓名：班级：学号：实验二感知器准则算法实验一、实验目的1.了解利用线性判别函数进行分类的原理。
关于了解学习模式识别技术报告谈起模式识别，我们首先想到的是人工智能。
模式识别是人工智能的一个分支，是电脑应用内容的一部分。
要想了解学习模式识别，首先要懂得人工智能。
第一篇人工智能什么是人工智能呢？人工智能主要用人工的方法和技术，模仿，延伸和扩展人的智能，实现机器智能。
人工智能的长期目标是实现到达人类智力水平的人工智能。
〔摘自《人工智能》史忠植编著，第一章绪论〕简单来说就是使机器拥有类人行为方法，类人思维方法和理性行为方法。
让机器像人一样拥有自主思维的能力，拥有人的生存技能，甚至在某方面超过人类，用所拥有的技能，更好的为人类服务，解放人类的双手。
简单了解了人工智能的概念，接下来将介绍人工智能的起源与发展历史。
说到历史，很多人可能有点不大相信。
人类对智能机器的梦想和追求可以追溯到三千多年前。
也许你会有疑问，三千多年前，人类文明发展都不算成熟，怎么可能会有人对机器有概念。
当然，那时候的机器并非现在的机器概念。
在我国，早在西周时代〔公元前1066~公元前771年〕，就流传有关巧匠偃师献给周穆王艺伎的故事。
东汉〔公元25~公元220年〕张衡发明的指南车是世界上最早的机器人雏形。
〔摘自《人工智能》史忠植编著，第一章绪论〕现在你也许已经笑掉大牙了。
那样一个简易工具竟然说是机器人雏形。
但是事实就是这样，现在对机器人的概念依旧模糊，有些人觉得机器人必须先有像人一样的外形。
其次是有人一样的思维。
这个描述是没有错的，但是有点片面了，只顾及到字面意思了。
机器人的概念是自动执行工作的机器装置。
所以机器可以自动执行工作都叫机器人。
在国外也有案例：古希腊斯吉塔拉人亚里士多德〔公元前384年~公元前322年〕的《工具论》，为形式逻辑奠定了基础。
布尔创立的逻辑代数系统，用符号语言描述了思维活动中推理的基本法则，被后世称为“布尔代数”。
这些理论基础对人工智能的创立发挥了重要作用。
〔摘自《人工智能》史忠植编著，第一章绪论〕人工智能的发展历史，可大致分为孕育期，形成期，基于知识的系统，神经网络的复兴和智能体的兴起。
《模式识别》实验报告K-L变换特征提取基于K-L 变换的iris 数据分类⼀、实验原理K-L 变换是⼀种基于⽬标统计特性的最佳正交变换。
它具有⼀些优良的性质：即变换后产⽣的新的分量正交或者不相关；以部分新的分量表⽰原⽮量均⽅误差最⼩；变换后的⽮量更趋确定，能量更集中。
这⼀⽅法的⽬的是寻找任意统计分布的数据集合之主要分量的⼦集。
设n 维⽮量12,,,Tn x x x =x ，其均值⽮量E=µx ，协⽅差阵()T x E=--C x u)(x u ，此协⽅差阵为对称正定阵，则经过正交分解克表⽰为x =TC U ΛU ,其中12,,,[]n diag λλλ=Λ，12,,,n u u u =U 为对应特征值的特征向量组成的变换阵，且满⾜1T-=UU。
变换阵TU 为旋转矩阵，再此变换阵下x 变换为()T -=x u y U ,在新的正交基空间中，相应的协⽅差阵12[,,,]xn diag λλλ==x U C U C。
通过略去对应于若⼲较⼩特征值的特征向量来给y 降维然后进⾏处理。
通常情况下特征值幅度差别很⼤，忽略⼀些较⼩的值并不会引起⼤的误差。
对经过K-L 变换后的特征向量按最⼩错误率bayes 决策和BP 神经⽹络⽅法进⾏分类。
⼆、实验步骤（1）计算样本向量的均值E =µx 和协⽅差阵()T xE ??=--C x u)(x u5.8433 3.0573 3.7580 1.1993??=µ，0.68570.0424 1.27430.51630.04240.189980.32970.12161.27430.3297 3.1163 1.29560.51630.12161.29560.5810x----=--C （2）计算协⽅差阵xC 的特征值和特征向量，则4.2282 , 0.24267 , 0.07821 , 0.023835[]diag =Λ-0.3614 -0.6566 0.5820 0.3155 0.0845 -0.7302 -0.5979 -0.3197 -0.8567 0.1734 -0.0762 -0.4798 -0.3583 0.0755 -0.5458 0.7537??=U从上⾯的计算可以看到协⽅差阵特征值0.023835和0.07821相对于0.24267和4.2282很⼩，并经计算个特征值对误差影响所占⽐重分别为92.462%、5.3066%、1.7103%和0.52122%，因此可以去掉k=1~2个最⼩的特征值，得到新的变换阵12,,,newn k u u u -=U。
《模式识别》实验报告三、线性分类器实验1.(a)产生两个都具有200 个二维向量的数据集X1 和X1 ’。
向量的前半部分来自m1=[-5;0]的正态分布，并且S1=I 。
向量的后半部分来自m2=[5;0]的正态分布，并且S1=I。
其中I是一个2×2 的单位矩阵。
(b)在上面产生的数据集上运用Fisher 线性判别、感知器算法和最小平方误差判别算法，需要初始化参数的方法使用不同的初始值。
(c)测试每一种方法在X1 和X1 ’ 上的性能（错误率）。
(d)画出数据集X1 和X1 ’，已经每种方法得到对应参数向量W 的分界线。
Fisher线性判别图1 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数向量w = [-9.9406, 0.9030]’错误率error=0，感知器算法：图2 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.1;0.1]；迭代次数iter=2参数向量w = [-4.8925, 0.0920]’错误率error=0图3 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[1; 1]；迭代次数iter=2参数向量w = [-3.9925, 0.9920]’错误率error=0图4 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[10; 10]；迭代次数iter=122参数向量w = [-5.6569, 7.8096]’错误率error=0图5 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[50; 50]；迭代次数iter=600参数向量w = [-27.0945, 37.4194]’错误率error=0图6 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[50; 100]；迭代次数iter=1190参数向量w = [-54.0048, 74.5875]’错误率error=0最小平方误差判别算法：图7 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.1; 0.1]；参数向量w = [-0.1908, -0.0001]’错误率error=0图8 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.5; 0.5]；参数向量w = [-0.1924, 0.1492]’错误率error=0图9 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[1; 0.5]；参数向量w = [-0.1914, 0.0564]’错误率error=0图10 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[1; 1]；参数向量w = [-0.1943, 0.3359]’错误率error= 0.00502.重复1.中的实验内容，数据集为X2 和X2 ’。
一、实验原理实验数据：IRIS 数据。
分为三种类型，每种类型中包括50个思维的向量。
实验模型：假设IRIS 数据是正态分布的。
实验准备：在每种类型中，选择部分向量作为训练样本，估计未知的均值和方差的参数。
实验方法：最小错误判别准则；最小风险判别准则。
实验原理：1.贝叶斯公式已知共有M 类别M i i ,2,1,=ω，统计分布为正态分布，已知先验概率)(i P ω及类条件概率密度函数)|(i X P ω，对于待测样品，贝叶斯公式可以计算出该样品分属各类别的概率，叫做后验概率；看X 属于哪个类的可能性最大，就把X 归于可能性最大的那个类，后验概率即为识别对象归属的依据。
贝叶斯公式为M i P X P P X P X P Mj jji i i ,2,1,)()|()()|()|(1==∑=ωωωωω该公式体现了先验概率、类条件概率、后验概率三者的关系。
其中，类条件概率密度函数)|(i X P ω为正态密度函数，用大量样本对其中未知参数进行估计，多维正态密度函数为)]()(21exp[)2(1)(12/12/μμπ---=-X S X SX P T n 式中，),,(21n x x x X =为n 维向量； ),,(21n μμμμ =为n 维均值向量； ]))([(TX X E S μμ--=为n 维协方差矩阵； 1-S是S 的逆矩阵；S 是S 的行列式。
大多数情况下，类条件密度可以采用多维变量的正态密度函数来模拟。
)]}()(21exp[)2(1ln{)|()(1)(2/12/i i X X S X X S X P i T in i ωωπω---=- i i T S n X X S X X i i ln 212ln 2)()(21)(1)(-----=-πωω )(i X ω为i ω类的均值向量。
2.最小错误判别准则① 两类问题有两种形式，似然比形式：⎩⎨⎧∈⇒⎩⎨⎧<>=211221)()()|()|()(ωωωωωωX P P X P X P X l 其中，)(X l 为似然比，)()(12ωωP P 为似然比阈值。
模式识别实验报告关键信息项：1、实验目的2、实验方法3、实验数据4、实验结果5、结果分析6、误差分析7、改进措施8、结论1、实验目的11 阐述进行模式识别实验的总体目标和期望达成的结果。
111 明确实验旨在解决的具体问题或挑战。
112 说明实验对于相关领域研究或实际应用的意义。
2、实验方法21 描述所采用的模式识别算法和技术。
211 解释选择这些方法的原因和依据。
212 详细说明实验的设计和流程，包括数据采集、预处理、特征提取、模型训练和测试等环节。
3、实验数据31 介绍实验所使用的数据来源和类型。
311 说明数据的规模和特征。
312 阐述对数据进行的预处理操作，如清洗、归一化等。
4、实验结果41 呈现实验得到的主要结果，包括准确率、召回率、F1 值等性能指标。
411 展示模型在不同数据集或测试条件下的表现。
412 提供可视化的结果，如图表、图像等，以便更直观地理解实验效果。
5、结果分析51 对实验结果进行深入分析和讨论。
511 比较不同实验条件下的结果差异，并解释其原因。
512 分析模型的优点和局限性，探讨可能的改进方向。
6、误差分析61 研究实验中出现的误差和错误分类情况。
611 分析误差产生的原因，如数据噪声、特征不充分、模型复杂度不足等。
612 提出减少误差的方法和建议。
7、改进措施71 根据实验结果和分析，提出针对模型和实验方法的改进措施。
711 描述如何优化特征提取、调整模型参数、增加训练数据等。
712 预测改进后的可能效果和潜在影响。
8、结论81 总结实验的主要发现和成果。
811 强调实验对于模式识别领域的贡献和价值。
812 对未来的研究方向和进一步工作提出展望。
在整个实验报告协议中，应确保各项内容的准确性、完整性和逻辑性，以便为模式识别研究提供有价值的参考和借鉴。
考察报告一、人工智能与模式识别的研究已有多年，但似乎公认的观点认为它仍然非常困难。
在查阅文献或网络的基础上，试对你所熟悉的任一方向（如人像识别、语音识别、字符识别、自然语言理解、无人驾驶等等）的发展状况进行描述。
并设想如果你将从事该方向的研究，你打算如何着手，以建立有效的理论和方法；或者你认为现在的理论和方法有何缺陷，有什么办法来进行改进？（10分）回答：人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。
用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行识别的一系列相关技术。
其的识别内容包括三个部分：（1）人脸检测（2）人脸跟踪（3）人脸对比；人脸识别系统主要包括四个组成部分，分别为：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。
目前人脸识别的主要用途为识别身份，其主要产品有数码相机中的人脸自动对焦和笑脸快门技术、门禁系统、身份辨识、网络应用和娱乐应用等。
我认为现在的人脸识别技术还存在的问题是：时不时会人脸识别系统会将人识别成另外一个长相类似的人，有识别不清和识别错误的问题存在。
在理论上这是由于人脸作为生物特征带来的困难，还需要大量的数据来进一步改进识别的精确度，理论上是十分麻烦的，此外还存在着人脸结构相似带来的问题以及人脸易变性的技术问题。
改进方法有：提高算法的精确性以及在采集的时候对同一个人的不同表情进行采集，尽量扩大采集范围。
二、论述建立专家系统的一般步骤。
回答：（1）知识工程师首先通过与专家进行对话获取专家知识。
（2）将知识编码至知识库中（3）专家评估系统并返回意见给知识工程师（4）循环直至系统性能为专家所满意。
三、查阅统计模式识别的相关文献，论述一种统计模式识别方法、具体实现过程及其应用情况，给出所参考的文献。
（10分）回答：贝叶斯分类器模式识别的目的就是要将一个物体(由它的特征表示）判别为它所属的某一类。
模式识别实验报告班级：电信08-1班姓名：黄**学号：********课程名称：模式识别导论实验一安装并使用模式识别工具箱一、实验目的：1．掌握安装模式识别工具箱的技巧，能熟练使用工具箱中的各项功能；2．熟练使用最小错误率贝叶斯决策器对样本分类；3．熟练使用感知准则对样本分类；4．熟练使用最小平方误差准则对样本分类；5．了解近邻法的分类过程，了解参数K值对分类性能的影响（选做）；6．了解不同的特征提取方法对分类性能的影响（选做）。
二、实验内容与原理：1．安装模式识别工具箱；2．用最小错误率贝叶斯决策器对呈正态分布的两类样本分类；3．用感知准则对两类可分样本进行分类，并观测迭代次数对分类性能的影响；4．用最小平方误差准则对云状样本分类，并与贝叶斯决策器的分类结果比较；5．用近邻法对双螺旋样本分类，并观测不同的K值对分类性能的影响（选做）；6．观测不同的特征提取方法对分类性能的影响（选做）。
三、实验器材（设备、元器件、软件工具、平台）：1．PC机－系统最低配置512M 内存、P4 CPU；2．Matlab 仿真软件－7.0 / 7.1 / 2006a等版本的Matlab 软件。
四、实验步骤：1．安装模式识别工具箱。
并调出Classifier主界面。
2．调用XOR.mat文件，用最小错误率贝叶斯决策器对呈正态分布的两类样本分类。
3.调用Seperable.mat文件，用感知准则对两类可分样本进行分类。
4.调用Clouds.mat文件，用最小平方误差准则对两类样本进行分类。
5.调用Spiral.mat文件，用近邻法对双螺旋样本进行分类。
6.调用XOR.mat文件，用特征提取方法对分类效果的影响。
五、实验数据及结果分析：（1）Classifier主界面如下（2）最小错误率贝叶斯决策器对呈正态分布的两类样本进行分类结果如下：（3）感知准则对两类可分样本进行分类当Num of iteration=300时的情况：当Num of iteration=1000时的分类如下：（4）最小平方误差准则对两类样本进行分类结果如下：（5）近邻法对双螺旋样本进行分类，结果如下当Num of nearest neighbor=3时的情况为：当Num of nearest neighbor=12时的分类如下：（6）特征提取方法对分类结果如下当New data dimension=2时，其结果如下当New data dimension=1时，其结果如下六、实验结论：本次实验使我掌握安装模式识别工具箱的技巧，能熟练使用工具箱中的各项功能；对模式识别有了初步的了解。
用身高体重数据进行性别分类实验一一.题目要求：1．用dataset1.txt 作为训练样本，用dataset2.txt 作为测试样本，采用身高和体重数据为特征，在正态分布假设下估计概率密度（只用训练样本），建立最小错误率贝叶斯分类器，写出所用的密度估计方法和得到的决策规则，将该分类器分别应用到训练集和测试集，考察训练错误率和测试错误率。
将分类器应用到dataset3 上，考察测试错误率的情况。
（在分类器设计时可以尝试采用不同先验概率，考查对决策和错误率的影响。
）2．自行给出一个决策表，采用最小风险贝叶斯决策重复上面的实验。
二.数据文件：1.dataset1.txt----- 328 个同学的身高、体重、性别数据（78 个女生、250 个男生）(datasetf1:女生、datasetm1:男生)2.dataset2.txt -----124 个同学的数据（40 女、84 男）3.dataset3.txt----- 90 个同学的数据（16 女，74 男）三.题目分析：要估计正态分布下的概率密度函数，假设身高随机变量为X，体重随机变量为Y，二维随机变量（X,Y）的联合概率密度函数是：p x,y=1122{−121−ρ2[x−μ12ς12−2ρx−μ1y−μ2ς1ς2+(y−μ2)2ς22]}其中−∞<x,y<+∞;−∞<μ1,μ2<+∞;ς1,ς2>0;−1≤ρ≤1.并其μ1,μ2分别是X与Y的均值，ς12，ς22，分别是X与Y的方差，ρ是X与Y的相关系数。
运用最大似然估计求取概率密度函数，设样本集中包含N个样本，即X={x1,x2,…x N},其中x k是列向量。
根据教材中公式，令μ=（μ1,μ2）T，则μ=1 Nx kNk=1;协方差矩阵=ς12ρς1ς2ρς1ς2ς22，那么=1N（x kNk=1−μ）（x k−μ）T。
采用最小错误率贝叶斯分类器，设一个身高体重二维向量为x，女生类为ω1，男生类为ω2，决策规则如下：x∈ω1,当Pω1x）>P(ω2|x)ω2,当Pω2x）>P(ω1|x)。
北京邮电大学实验报告题目:模式识别班级：27专业：信息工程姓名：吕则东序号：20目录实验一、Bayes分类器设计 (3)1.1实验类型： (3)1.2实验目的： (3)1.3实验条件： (3)1.4实验原理： (3)1.5实验内容： (4)1.6 实验要求： (4)1.7实验代码和结果 (5)最小错误率贝叶斯分类器设计 (6)实验程序： (6)运行结果 (8)最小风险贝叶斯决策分类器设计 (8)实验程序 (9)运行结果 (11)实验二、基于Fisher准则线性分类器设计 (13)2.1实验类型： (13)2.2实验目的： (13)2.3实验条件： (13)2.4实验原理： (13)2.5实验内容： (14)2.6实验要求： (17)2.7实验代码和实验结果 (18)分类器设计和分类结果 (18)实验结果 (20)实验分析： (25)实验四、近邻法分类器设计 (26)4.1 实验类型： (26)4.2 实验目的： (26)4.3 实验条件： (26)4.4 实验原理： (26)4.5 实验内容 (27)4.6 实验要求： (33)实验代码： (35)实验结果： (39)问题3回答： (41)实验总结 (41)实验一、Bayes 分类器设计1.1实验类型：基础型：Bayes 分类器设计1.2实验目的：本实验旨在让同学对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理。
1.3实验条件：matlab 软件1.4实验原理：最小风险贝叶斯决策可按下列步骤进行：(1)在已知)(i P ω，)(i X P ω，i=1,…，c 及给出待识别的X 的情况下，根据贝叶斯公式计算出后验概率： ∑==cj iii i i P X P P X P X P 1)()()()()(ωωωωω j=1,…，x(2)利用计算出的后验概率及决策表，按下面的公式计算出采取i a ,i=1,…，a 的条件风险∑==cj jjii X P a X a R 1)(),()(ωωλ,i=1,2,…,a(3)对(2)中得到的a 个条件风险值)(X a R i ,i=1,…，a 进行比较，找出使其条件风险最小的决策k a ，即则k a 就是最小风险贝叶斯决策。
一、实验背景随着计算机科学和信息技术的飞速发展，模式识别技术在各个领域得到了广泛应用。
模式识别是指通过对数据的分析、处理和分类，从大量数据中提取有用信息，从而实现对未知模式的识别。
本实验旨在通过实践操作，加深对模式识别基本概念、算法和方法的理解，并掌握其应用。
二、实验目的1. 理解模式识别的基本概念、算法和方法；2. 掌握常用的模式识别算法，如K-均值聚类、决策树、支持向量机等；3. 熟悉模式识别在实际问题中的应用，提高解决实际问题的能力。
三、实验内容本次实验共分为三个部分：K-均值聚类算法、决策树和神经网络。
1. K-均值聚类算法（1）实验目的通过实验加深对K-均值聚类算法的理解，掌握其基本原理和实现方法。
（2）实验步骤① 准备实验数据：选取一组二维数据，包括100个样本，每个样本包含两个特征值；② 初始化聚类中心：随机选择K个样本作为初始聚类中心；③ 计算每个样本到聚类中心的距离，并将其分配到最近的聚类中心；④ 更新聚类中心：计算每个聚类中所有样本的均值，作为新的聚类中心；⑤ 重复步骤③和④，直到聚类中心不再变化。
（3）实验结果通过实验，可以得到K个聚类中心，每个样本被分配到最近的聚类中心。
通过可视化聚类结果，可以直观地看到数据被分成了K个类别。
2. 决策树（1）实验目的通过实验加深对决策树的理解，掌握其基本原理和实现方法。
（2）实验步骤① 准备实验数据：选取一组具有分类标签的二维数据，包括100个样本，每个样本包含两个特征值；② 选择最优分割特征：根据信息增益或基尼指数等指标，选择最优分割特征；③ 划分数据集：根据最优分割特征，将数据集划分为两个子集；④ 递归地执行步骤②和③，直到满足停止条件（如达到最大深度、叶节点中样本数小于阈值等）；⑤ 构建决策树：根据递归分割的结果，构建决策树。
（3）实验结果通过实验，可以得到一棵决策树，可以用于对新样本进行分类。
3. 神经网络（1）实验目的通过实验加深对神经网络的理解，掌握其基本原理和实现方法。
模式识别学习报告(团队)简介该报告旨在总结我们团队在模式识别研究中的成果和收获。
模式识别是一门重要的学科，它涉及到从数据中识别和分类出模式和结构。
通过研究模式识别，我们可以更好地理解和处理各种数据，并应用到实际问题中。
研究内容我们团队在研究模式识别时，主要涉及以下内容：1. 模式识别算法：我们研究了各种常用的模式识别算法，包括K近邻算法、支持向量机、决策树等。
通过研究这些算法，我们可以根据不同的数据和问题选择合适的方法进行模式识别。
2. 特征提取和选择：在模式识别中，选择合适的特征对于识别和分类模式至关重要。
我们研究了特征提取和选择的方法，包括主成分分析、线性判别分析等，可以帮助我们从原始数据中提取重要的特征。
3. 模型评估和选择：为了评估和选择模式识别模型的性能，我们研究了各种评估指标和方法，包括准确率、召回率、F1分数等。
通过合适的评估方法，我们可以选择最合适的模型来应对具体问题。
研究成果通过团队研究，我们取得了以下成果：1. 理论知识的掌握：我们对模式识别的基本概念和原理有了较为深入的了解，并能够灵活运用于实际问题中。
2. 算法实现和编程能力的提升：我们通过实践练，掌握了常用模式识别算法的实现方法，并在编程中加深了对算法的理解。
3. 团队合作和沟通能力的提高：在研究过程中，我们通过合作完成了多个小组项目，提高了团队合作和沟通的能力。
总结通过研究模式识别，我们不仅增加了对数据的理解和处理能力，还提高了团队合作和沟通的能力。
模式识别是一个不断发展和应用的领域，我们将继续深入研究，并将所学知识应用到实际问题中，为社会发展做出更大的贡献。
参考[1] 孙建华. 模式识别与机器研究[M]. 清华大学出版社, 2019.[2] Bishop, C. M. (2006). Pattern recognition and machine learning. Springer Science & Business Media.。
模式识别实习报告（K—L变换）班级：姓名：学号：一、编程要求：编程实现KL变换，并对TM六波段图像进行演算。
KL变换的思想是：从n维特征选取m维特征，删去的n-m维特征不一定就是无用的信息，如何在信息损失最小的情况下选取特征，在理论上就显得更严密些。
通常采用正交变换，得到新的经变换的模式，以保证信息损失最小情况下获得有利于分类的特征。
二、编程思想：将6副图象依次输入获得灰度值存在一个6*size(size为一副图象的像素数)的二维数组中，计算每个波段的灰度均值，然后计算协方差矩阵，得出特征值和特征向量，再重新计算要输出的处理的图象的灰度。
三、核心代码：1、读入图像数据void CKLchangeView::Oninput() //TM图象数据读入{AfxMessageBox("注意:请一次将6副图象都读入!");//读图象的方法int flag=0;while(flag<6){CFileDialog dlg(TRUE,"bmp",".bmp");if(dlg.DoModal()==IDOK){m_NewFileName[flag]=dlg.GetFileName();for(int j=0;j<5;j++){if(flag==j||m_NewFileName[flag]!=m_NewFileName[j]) continue;else{AfxMessageBox("已打开过的图象!请按方法重新打开!");flag=0;for(int i=0;i<6;i++) m_NewFileName[i]="";return;}}NewFileName=m_NewFileName[flag];flag++;}//判断是否是已经打开的图象，若已经打开，则要重新按方法打开else //不读图象，或是只是要看图象{for(int i=0;i<6;i++) m_NewFileName[i]="";return;}CDC *pDC = GetWindowDC();CFile f(NewFileName,0);m_pDib.Read(&f);//读图象if(m_pDib.m_nColorTableEntries!=256)//判断是否是灰度图象{AfxMessageBox("请打开灰度图象!");return;}CKLchangeDoc* pDoc = GetDocument();pDoc->pDib=&m_pDib;OnDraw(pDC);//调用OnDraw函数绘图sizeImage = m_pDib.GetDimensions();sizeSaveImage = m_pDib.GetDibSaveDim();a=sizeSaveImage.cx * sizeSaveImage.cy;//象素数if(flag==1) tm=CMatrix(6,a);//开第一副图象时为矩阵分配内存//将每幅图象象素灰度值放入矩阵中if(flag==1)for(int i=0;i<a;i++){tm.m_pData[i]=*(m_pDib.m_lpImage+sizeSaveImage.cx*(i/sizeImage.cx)+i%sizeI mage.cx);}if(flag==2)for(int i=0;i<a;i++){tm.m_pData[a+i]=*(m_pDib.m_lpImage+sizeSaveImage.cx*(i/sizeImage.cx)+i%si zeImage.cx);}if(flag==3)for(int i=0;i<a;i++){tm.m_pData[2*a+i]=*(m_pDib.m_lpImage+sizeSaveImage.cx*(i/sizeImage.cx)+i% sizeImage.cx);}if(flag==4)for(int i=0;i<a;i++){tm.m_pData[3*a+i]=*(m_pDib.m_lpImage+sizeSaveImage.cx*(i/sizeImage.cx)+i% sizeImage.cx);}if(flag==5)for(int i=0;i<a;i++){tm.m_pData[4*a+i]=*(m_pDib.m_lpImage+sizeSaveImage.cx*(i/sizeImage.cx)+i% sizeImage.cx);}if(flag==6)for(int i=0;i<a;i++){tm.m_pData[5*a+i]=*(m_pDib.m_lpImage+sizeSaveImage.cx*(i/sizeImage.cx)+i% sizeImage.cx);}}}2、KL变换计算void CKLchangeView::OnKl() //KL变换计算{int i,j;xfea.Init(6,1);xfeat.Init(1,6);temp=CMatrix(6,6);feature=new double[6];fea.Init(6,6);double tmave[6];//求每幅图象的灰度均值for (i=0;i<6;i++){tmave[i]=0;for(j=0;j<a;j++){tmave[i]+=tm.m_pData[i*a+j];}tmave[i]/=(double)a;}//求方差矩阵Rfor(j=0;j<36;j++){temp.m_pData[j]=0.0;for(i=0;i<a;i++){temp.m_pData[j]+=(tm.m_pData[(j/6)*a+i%6]-tmave[j/6])*(tm.m_pData[(j%6)*a+i%6 ]-tmave[j%6]);}temp.m_pData[j]/=(double)a;}temp.JacobiEigenv2(feature, fea, 0.000001);//求特征值和特征向量double t=0.0;double featuretemp[6];//临时变量for(i=0;i<6;i++)featuretemp[i]=feature[i];//给临时数组赋值for(i=0;i<6;i++)//"冒泡法"将特征值排序for(j=0;j<5;j++)if(feature[j]>feature[j+1]){t=feature[j];feature[j]=feature[j+1];feature[j+1]=t;}for(i=0;i<6;i++)//求出特征值排序后对应在特征值数组中的位置for(j=0;j<6;j++)if(feature[i]==featuretemp[j]){index[i]=j;}}void CKLchangeView::OnFirst() //第一主分量{if(NewFileName=="") {AfxMessageBox("请先读入图象数据!");return;} if(fea.m_pData[0]==0) OnKl();result.Init(1,a);for(int i=0;i<a;i++){for(int j=0;j<6;j++)result.m_pData[i]+=fea.m_pData[index[5]+j*6]*tm.m_pData[j*a+i];}Draw();}void CKLchangeView::OnFive() //第五主分量{if(NewFileName=="") {AfxMessageBox("请先读入图象数据!");return;} if(fea.m_pData[0]==0) OnKl();result.Init(1,a);for(int i=0;i<a;i++){for(int j=0;j<6;j++)result.m_pData[i]+=fea.m_pData[index[1]+j*6]*tm.m_pData[j*a+i];}Draw();}void CKLchangeView::OnFour() //第四主分量{if(NewFileName=="") {AfxMessageBox("请先读入图象数据!");return;} if(fea.m_pData[0]==0) OnKl();result.Init(1,a);for(int i=0;i<a;i++){for(int j=0;j<6;j++)result.m_pData[i]+=fea.m_pData[index[2]+j*6]*tm.m_pData[j*a+i];}Draw();}void CKLchangeView::OnSecond() //第二主分量{if(NewFileName=="") {AfxMessageBox("请先读入图象数据!");return;} if(fea.m_pData[0]==0) OnKl();result.Init(1,a);for(int i=0;i<a;i++){for(int j=0;j<6;j++)result.m_pData[i]+=fea.m_pData[index[4]+j*6]*tm.m_pData[j*a+i];}Draw();}void CKLchangeView::OnSix() //第六主分量{if(NewFileName=="") {AfxMessageBox("请先读入图象数据!");return;} if(fea.m_pData[0]==0) OnKl();result.Init(1,a);for(int i=0;i<a;i++){for(int j=0;j<6;j++)result.m_pData[i]+=fea.m_pData[index[0]+j*6]*tm.m_pData[j*a+i];}Draw();}void CKLchangeView::OnThird() //第三主分量{if(NewFileName=="") {AfxMessageBox("请先读入图象数据!");return;} if(fea.m_pData[0]==0) OnKl();result.Init(1,a);for(int i=0;i<a;i++){for(int j=0;j<6;j++)result.m_pData[i]+=fea.m_pData[index[3]+j*6]*tm.m_pData[j*a+i];}Draw();}void CKLchangeView::Draw() //图象输出{int i;for(i=0;i<a;i++)//处理越界的灰度值{if(result.m_pData[i]<0) result.m_pData[i]=0;if(result.m_pData[i]>255) result.m_pData[i]=255;}for (i = 0; i <a; i ++)//重新给图象每个象素赋灰度值{unsigned char*pData=m_pDib.m_lpImage+sizeSaveImage.cx*(i/sizeImage.cx)+i%sizeImage.cx;*pData=(BYTE)(long)(result.m_pData[i]+0.5);}CDC *pDC = GetWindowDC();CKLchangeDoc* pDoc = GetDocument();pDoc->pDib=&m_pDib;OnDraw(pDC);//将处理后图象绘出}四、实习总结通过本次实习，我对K—L变换有了进一步的了解，学会了用K—L变换来进行分类，对我个人的编程能力有了比较大的提高。
