当前位置：文档之家 › 《模式识别》实验报告 K-L变换 特征提取

《模式识别》实验报告 K-L变换 特征提取

  • 格式：doc
  • 大小：360.50 KB
  • 文档页数：9

模式识别实验报告 西安交通大学 高海南

1 基于K-L变换的iris数据分类

一、实验原理

K-L变换是一种基于目标统计特性的最佳正交变换。它具有一些优良的性质：即变换后产生的新的分量正交或者不相关；以部分新的分量表示原矢量均方误差最小；变换后的矢量更趋确定，能量更集中。这一方法的目的是寻找任意统计分布的数据集合之主要分量的子集。

设n维矢量12,,,Tnxxxx，其均值矢量Eμx，协方差阵()TxECxu)(xu，此协方差阵为对称正定阵，则经过正交分解克表示为

xTCUΛU,其中12,,,[]ndiagΛ，12,,,nuuuU为对应特征值的特征向量组成的变换阵，且满足1TUU。变换阵TU为旋转矩阵，再此变换阵下x变换为TxuyU,在新的正交基空间中，相应的协方差阵12[,,,]xndiagxUCUC。通过略去对应于若干较小特征值的特征向量来给y降维然后进行处理。通常情况下特征值幅度差别很大，忽略一些较小的值并不会引起大的误差。

对经过K-L变换后的特征向量按最小错误率bayes决策和BP神经网络方法进行分类。

二、实验步骤

（1）计算样本向量的均值Eμx和协方差阵()TxECxu)(xu

5.8433 3.0573 3.7580 1.1993μ，0.68570.04241.27430.51630.04240.189980.32970.12161.27430.32973.11631.29560.51630.12161.29560.5810xC（2）计算协方差阵xC的特征值和特征向量，则

4.2282 , 0.24267 , 0.07821 , 0.023835[]diagΛ

-0.3614 -0.6566 0.5820 0.3155 0.0845 -0.7302 -0.5979 -0.3197 -0.8567 0.1734 -0.0762 -0.4798 -0.3583 0.0755 -0.5458 0.7537U

从上面的计算可以看到协方差阵特征值0.023835和0.07821相对于0.24267和4.2282很小，并经计算个特征值对误差影响所占比重分别为模式识别实验报告 西安交通大学 高海南

2 92.462%、5.3066%、1.7103%和0.52122%，因此可以去掉k=1~2个最小的特征值，得到新的变换阵12,,,newnkuuuU。

（3）将样本变换为TnewxuyU。

（4）按照最小错误率bayes决策方法分类。

（5）用BP神经网络方法进行分类。

三、实验结果及分析

1. 最小错误率bayes决策分类

(1) 将最小的一个特征值0.023835对应的特征向量去掉，则新的变换矩阵为

-0.3614 -0.6566 0.5820

0.0845 -0.7302 -0.5979

-0.8567 0.1734 -0.0762

-0.3583 0.0755 -0.5458TnewU

经变换后的向量在新的3维空间如图1所示：

图1-1 样本经K-L变换后分布图

变换后的各类样本分别用前30个样本进行训练，用剩下的20个样本进行测试，结果如下：

1) 取第一类样本的后20个数据按1、2分类，t1=20，t2=0，分类正确；取第二类样本的后20个数据按1、2分类，t1=0，t2=20，分类正确。

2) 取第一类样本的后20个数据按1、3分类，t1=20，t3=0，分类正确；取第三类样本的后20个数据按1、3分类，t1=0，t3=20，分类正确。

3) 取第二类样本的后20个数据按2、3分类，t2=19，t3=1，2中一样模式识别实验报告 西安交通大学 高海南

3 本错分到3中；取第三类样本的后20个数据按2、3分类，t2=0，t3=20，分类正确。

(2) 将最小的两个特征值0.023835和0.07821对应的特征向量去掉，则新的变换矩阵为

-0.3614 -0.6566

0.0845 -0.7302

-0.8567 0.1734

-0.3583 0.0755 TnewU

经变换后的向量在新的2维平面如图2所示

图1-2 样本经K-L变换后分布图

变换后的各类样本分别用前30个样本进行训练，用剩下的20个样本进行测试，结果如下：

1) 取第一类样本的后20个数据按1、2分类，t1=20，t2=0，分类正确；取第二类样本的后20个数据按1、2分类，t1=0，t2=20，分类正确。

2) 取第一类样本的后20个数据按1、3分类，t1=20，t3=0，分类正确；取第三类样本的后20个数据按1、3分类，t1=0，t3=20，分类正确。

3) 取第二类样本的后20个数据按2、3分类，t2=19，t3=1，2中一样本错分到3中；取第三类样本的后20个数据按2、3分类，t2=1，t3=19，3中一样本错分到2中。

以上结果与未经K-L变换的最小错误率bayes决策分类结果比较，结果几乎完全相同，只是在去掉最小的两个特征值对应特征向量的K-L变换时取第三类样本的后20个数据按2、3分类，3中一样本错分到2中。 模式识别实验报告 西安交通大学 高海南

4 2. BP神经网络分类

(1) 将最小的两个特征值0.023835和0.07821对应的特征向量去掉，经新的变换矩阵变换后的各类样本分别用前30个样本进行训练，用剩下的20个样本进行测试，分类结果如下：

n1=20 n2=19 n3=19,即第二和第三类各有一个样本错分到另一类中去，分类结果图如下。

图2-1 分类结果图

图2-2 误差性能曲线

(2) 将最小的一个特征值0.023835对应的特征向量去掉，经新的变换矩阵变换后的各类样本分别用前30个样本进行训练，用剩下的20个样本进行测试，分类结果如下：

n1=20 n2=19 n3=19,即第二和第三类各有一个样本错分到另一类中去，分类结果图如下。 模式识别实验报告 西安交通大学 高海南

5

图2-3 分类结果图

图2-4 误差性能曲线

以上结果与未经K-L变换的BP神经网络分类结果比较，K-L变换后结果在大多数情况下未经处理的分类结果。

通过以上两种基于K-L变换的分类方法可以看到，该变换可以将样本的显著特征抽取出来，在降低特征数据的维数减少运算量和存储量的同时，分类结果基本不受影响，甚至在某些次优分类方法（BP神经网络）下可能优于未经变换处理进行的分类。

模式识别实验报告 西安交通大学 高海南

6 附：

K-L变换的最小错误率bayes分类

clear

% 原始数据导入

iris = load('C:\MATLAB7\work\模式识别\iris.txt');

N=150;%取N=150个样本

%求第一类样本均值

for i = 1:N

for j = 1:4

w(i,j) = iris(i,j+1);

end

end

sumx = sum(w,1);

for i=1:4

meanx(1,i)=sumx(1,i)/N;

end

%求样本协方差矩阵

z(4,4) = 0;

var(4,4) = 0;

var=cov(w);

[v,latent,explained] = pcacov(var);

v=fliplr(v);%对特征向量按对应特征值从小到大排序

v(:,1:2)=[];%去掉最小特征值对应的特征向量

for i=1:150

w_k_l(i,:)=(w(i,:)-meanx)*v; %w_k_l为150*3J矩阵

end

%求第一类样本均值

M=30;

w1_k_l(:,:) = w_k_l(1:M,:);

meanx1_k_l=sum(w1_k_l,1)/M;

w2_k_l(:,:) = w_k_l(51:50+M,:);

meanx2_k_l=sum(w2_k_l,1)/M;

w3_k_l(:,:) = w_k_l(101:100+M,:);

meanx3_k_l=sum(w3_k_l,1)/M;

% %求第一类样本协方差矩阵

var1_k_l=cov(w1_k_l);

var2_k_l=cov(w2_k_l);

var3_k_l=cov(w3_k_l);

var1_k_l_inv = inv(var1_k_l);

var2_k_l_inv = inv(var2_k_l);

var3_k_l_inv = inv(var3_k_l);

var1_k_l_det = det(var1_k_l); 模式识别实验报告 西安交通大学 高海南

7 var2_k_l_det = det(var2_k_l);

var3_k_l_det = det(var3_k_l);

p1 = 0.5;p2 = 0.5;p3 = 0.5;

%取测试数据，

test(:,:) = w_k_l(81:100,:);

t1=0;t2=0;t3=0;

for i = 1:50-M

x=test(i,1);y=test(i,2);%z=test(i,3);

% g1 = (-0.5)*([x,y,z]-meanx1_k_l)*var1_k_l_inv*([x,y,z]'-meanx1_k_l') -

0.5*log(abs(var1_k_l_det));

% g2 = (-0.5)*([x,y,z]-meanx2_k_l)*var2_k_l_inv*([x,y,z]'-meanx2_k_l') -

0.5*log(abs(var2_k_l_det));

% g3 = (-0.5)*([x,y,z]-meanx3_k_l)*var3_k_l_inv*([x,y,z]'-meanx3_k_l') -

0.5*log(abs(var3_k_l_det));

g1 = (-0.5)*([x,y]-meanx1_k_l)*var1_k_l_inv*([x,y]'-meanx1_k_l') -

0.5*log(abs(var1_k_l_det));

g2 = (-0.5)*([x,y]-meanx2_k_l)*var2_k_l_inv*([x,y]'-meanx2_k_l') -

0.5*log(abs(var2_k_l_det));

合集下载

模式识别与数据挖掘期末总结

模式识别与数据挖掘期末总结

模式识别与数据挖掘期末总结

第一章概述

1. 数据分析是指采用适当的统计分析方法对收集到的数据进行分析、概括和总结，对数据进行恰当地描述，提取出有用的信息的过程。

2. 数据挖掘 (Data Mining，DM) 是指从海量的数据中通过相关的算法来发现隐藏在数据中的规律和知识的过程。

3. 数据挖掘技术的基本任务主要体现在：分类与回归、聚类、关联规则发现、时序模式、异常检测

4. 数据挖掘的方法：数据泛化、关联与相关分析、分类与回归、聚类分析、异常检测、离群点分析、

5. 数据挖掘流程：（1）明确问题：数据挖掘的首要工作是研究发现何种知识。（2）数据准备（数据收集和数据预处理）：数据选取、确定操作对象，即目标数据，一般是从原始数据库中抽取的组数据；数据预处理一般包括：消除噪声、推导计算缺值数据、消除重复记录、完成数据类型转换。（3）数据挖掘：确定数据挖掘的任务，例如：分类、聚类、关联规则发现或序列模式发现等。确定了挖掘任务后，就要决定使用什么样的算法。（4）结果解释和评估：对于数据挖掘出来的模式，要进行评估，删除冗余或无关的模式。如果模式不满足要求，需要重复先前的过程。

6. 分类（Classification）是构造一个分类函数(分类模型)，把具有某些特征的数据项映射到某个给定的类别上。

7. 分类过程由两步构成：模型创建和模型使用。

8. 分类典型方法：决策树，朴素贝叶斯分类，支持向量机，神经网络，规则分类器，基于模式的分类，逻辑回归

9. 聚类就是将数据划分或分割成相交或者不相交的群组的过程，通过确定数据之间在预先指定的属性上的相似性就可以完成聚类任务。划分的原则是保持最大的组内相似性和最小的组间相似性

10. 机器学习主要包括监督学习、无监督学习、半监督学习等

第二章数据

1. 数据的属性：（1）标称属性(nominal attribute)：类别，状态或事物的名字（2）二元属性(binary attribute)：布尔属性（3）序数属性(ordinal attribute)：尺寸={小，中，大}，军衔，职称【前面三种都是定性的】（4）数值属性(numeric attribute）:

模式识别 张学工

模式识别 张学工

模式识别 张学工

基本目的：

（1）使学生熟练掌握模式识别的基本理论和各种方法；

（2）培养学生具有运用模式识别概念和方法解决实际问题的能力。

内容提要：

1、引论（4学时）

模式识别和模式的概念，模式识别系统，模式的基本问题，历史和研究现状。

2、贝叶斯决策与概率密度估计（8学时）

最小错误率贝叶斯决策，最小风险贝叶斯决策，贝叶斯分类器错误率，聂曼-皮尔逊决策，均值向量和协方差矩阵的估计，概率密度的函数逼近和参数估计，正态分布模式的贝叶斯分类器。

3、线性分类器（8学时）

线性判别函数的基本概念，Fisher线性判别，感知器准则函数，最小均方误差准则函数，随机最小错误率线性判别准则函数，支持向量机，多类问题。

4、非线性分类器（8学时）

分段线性判别函数，近邻法，前馈多层神经网络，模拟退火方法，遗传算法。

5、特征选择与提取（8学时）

类别可分性准则，特征选择，基于距离分分性准则的特征提取，基于K-L变换的特征提取，基于神经网络的特征提取。

6、非监督学习与聚类（8学时）

混合密度和可辨识性，混合正态密度的参数学习方法，k-均值聚类，数据描述与聚类，聚类的准则函数，在线聚类，主成分分析。

教学方式：每周3学时，课堂讲授（90%）、文献阅读和讨论（10%）。

人脸识别综述

人脸识别综述

人脸识别概述及其相关问题研究

080303214 08计本2 李志超

摘要：概述了人脸识别中的主要流程和主要技术，并且对其目前存在的问题和未来的发展做了一定的分析。

关键词：模式识别，人脸识别

一．概述

近年来,数字图像技术的应用范围越来越广,运用数字图像处理技术的身份验证则更是由于其在公安(罪犯识别等)、安全验证系统、信用卡验证等方面的巨大应用前景而越来越成为当前模式识别和人工智能领域的一个研究热点。由于生物特征是人的内在属性,具有很强的自身稳定性和个体差异性,因此是身份验证的最理想依据。这其中,利用人脸特征进行身份验证又是最自然直接的手段,相比于指纹、视网膜、虹膜、基因等其它人体生物特征,它具有直接、友好、方便的特点,更易于为用户所接受,因此备受关注。

虽然人类可以轻松识别出不同人的脸部特征,但机器对人脸的自动识别涉及到模式识别、数字图像处理、生理和心理学等多方面的课题。人脸识别系统应该能够处理脸部图像的变化,但是同一张脸,在不同的视角,不同的描述方法下,图像的差别很大,人脸的自动识别因此也是极具挑战性的工作。

二．人脸识别过程及其技术

人脸识别问题是指:对输入的人脸图像或者视频,首先判断其中是否存在人脸,如果存在人脸,则进一步的给出每个人脸的位置、大小和各个主要面部器官的位置信息,并依据这些信息,进一步提取每个人脸中所蕴含的身份特征,并将其与已知人脸库中的人脸进行对比,从而识别每个人脸的身份。人脸识别的过程可以分为以下三个部分:

1)人脸检测:判断输入图像中是否存在人脸,如果有,给出每个人脸的位置,大小;

2)面部特征定位:对找到的每个人脸,检测其主要器官的位置和形状等信息;

3)人脸比对:根据面部特征定位的结果,与库中人脸对比,判断该人脸的身份信息。 完整的人脸识别系统至少包括两个主要环节。首先在输入图像中找到人脸的位置,将人脸从背景中分割出来;其次,将分割后的人脸图像进行特征提取和识别。如下图1所示:

空间特征提取

空间特征提取

空间特征提取

一 、形状特征

（一）特点

各种基于形状特征的检索方法都可以比较有效地利用图像中感兴趣的目标来进行检索，但它们也有一些共同的问题，包括：

① 目前基于形状的检索方法还缺乏比较完善的数学模型；

② 如果目标有变形时检索结果往往不太可靠；

③ 许多形状特征仅描述了目标局部的性质，要全面描述目标常对计算时间和存储量有较高的要求；

④ 许多形状特征所反映的目标形状信息与人的直观感觉不完全一致，或者说，特征空间的相似性与人视觉系统感受到的相似性有差别。

另外，从2-D图像中表现的3-D物体实际上只是物体在空间某一平面的投影，从2-D图像中反映出来的形状常不是3-D物体真实的形状，由于视点的变化，可能会产生各种失真。

（二）常用的特征提取与匹配方法

1. 几种典型的形状特征描述方法

通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。

几种典型的形状特征描述方法：

（1）边界特征法 边界特征法通过对边界特征的描述来获取图像的形状参数。其中Hough变换检测平行直线方法和边界方向直方图方法是经典方法。Hough变换()是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法，其基本思想是点—线的对偶性；边界方向直方图法首先微分图像求得图像边缘，然后，做出关于边缘大小和方向的直方图，通常的方法是构造图像灰度梯度方向矩阵。

（2）傅里叶形状描述符法

傅里叶形状描述符(Fourier shape deors)基本思想是用物体边界的傅里叶变换作为形状描述，利用区域边界的封闭性和周期性，将二维问题转化为一维问题。

由边界点导出三种形状表达，分别是曲率函数、质心距离、复坐标函数。

（3）几何参数法

形状的表达和匹配采用更为简单的区域特征描述方法，例如采用有关形状定量测度（如矩、面积、周长等）的形状参数法（shape factor）。在QBIC系统中，便是利用圆度、偏心率、主轴方向和代数不变矩等几何参数，进行基于形状特征的图像检索。