KL变换

1. 主分量分析（PCA ）、K-L 变换（Hotelling 变换）

一般而言，这一方法的目的是寻找任意统计分布的数据集合之主要分量的子集。相应的基向量组满足正交性且由它定义的子空间最优地考虑了数据的相关性。将原始数据集合变换到主分量空间使单一数据样本的互相关性(cross-correlation)降低到最低点。

设s j x j ,...,1:=是N 维向量的数据集合，m 是其均值向量：

有了特征向量集合，任何数据x 可以投影到特征空间（以特征向量为基向量）中的表示：

相反地，任何数据x 可以表示成如下的线性组合形式： 如果用A 代表以特征向量为列向量构成的矩阵，则A T 定义了一个线性变换：

上述去相关的主分量分析方法可以用于降低数据的维数。通过略去对应于若干较小特征值的特征向量来给y 降维。例如，丢弃底下N-M 行得到N M ?的矩阵B ，

k

k s

j T

j

j

x j j

j s

j j

u d d s

C m

x d

d x

s

m 向量及满足下列条件的特征特征值求出其从大到小排列的

协方差矩阵是：是：差别向量λ∑∑===

-==

1

1

1

1??

?≠===k

l k l u u k

l k T l

,0,1,δT

N T k k y y y y m x u y ),...,,(,)(21=-=∑=+=s k k

k u y m x 1

??

?

?

?

?????==+=-=N x T

y T

A C A C A Ay m x m x A y λλ00()

(1

：

变换后的协方差矩阵为是正交矩阵）

并为简单起见假定均值m=0，则有：

它只是被舍弃的特征向量所对应的特征值的和。通常，特征值幅度差别很大，忽略一些较小的值不会引起很大的误差。

上述方法是图象数据压缩的数学基础之一，通常被称为Principal Component Analysis (PCA)或Karhunen-Loeve (K-L)变换。

K-L 变换的核心过程是计算特征值和特征向量，有很多不同的数值计算方法。

一种常采用的方法是根据如下的推导：

由于通常s<

K-L 变换是图象分析与模式识别中的重要工具，用于特征抽取，降低特征数据的维数。例如，MIT-Media Lab 基于特征脸的人脸识别方法。https://www.doczj.com/doc/7a4144018.html,/vismod/demos/facerec/

2. 奇异值分解（SVD ）

奇异值分解（Singular Value Decomposition ）是矩阵分析中正规矩阵酉对角化的推广。设矩阵A 是n m ?的秩为r ，它的奇异值是指n 阶方阵A H A （或m 阶方阵AA H ）的正特征值的平方根 (A H 是A 的共轭转置)。奇异值分解是指如下形式的分解：

∑+==

==N

M k k

T MSE y B x

x Bx y

1

???λ

为：

来近似。近似的均方差仍可通过

而的特征向量。

就是可见得到

上式两边左乘

的特征向量

维考虑其中维T

x i i

i i T

i i i T

i

T

s T

x AA C Av Av Av AA A v Av A v s s A A d d A N N AA

C ===?=?=μμ)()

,...,()

(1

对于图象数据而言，任意一个N N ?的矩阵A 定义的奇异值变换为：

3. DCT 与K-L 变换的关系

马尔可夫（Markov ）过程 一个静态随机序列称为一阶Markov 序列，如果序列中

每个元素的条件概率只依赖于它的前一个元素。一个1?N 的Markov 序列的协方差矩阵具有以下形式：

10 ,111

13

2

13

2

21

2

≤≤???????

????????

?=------ρρ

ρ

ρρ

ρρρρ

ρρ

ρρ

N N N N N N x

C 其中，相邻两元素之间的相关系数：

[]1,,1,0,,-==

-N j i c j

i ij x ρ

这个协方差矩阵的特征值和特征向量（K-L 变换正交矩阵的元素）为：

2

2

)cos(211ρ

ωρρ

λ+--=

j i

)

cos(2)cos()sin()1()tan( 1-.N 0,1,j i, 2)1(2)1()1(sin 2

2

2

j ωρρωωρωωπωλ+---

==??????++??????

+-++=

N j N i N v j i ij 是下面超越方程的根其中

i

i r H

V U V U A λσσσ=????

?

?

?=????

? ???=0000

01

是酉矩阵，和其中.

V U A A N N A A AA V U AV

U V

U A T

T

T

T

=?Λ=ΛΛ=是对称的，则

如果的奇异值。

包含的对角阵，沿其对角线为特征向量，和的列分别是和其中其反变换

在ρ趋近1时有

N

v i 10,=

N

j

i N

N j i N v j i 2)12(cos

22)21(sin 2

,+=

????

?

???++=

πππ

与DCT 变换相同。

对于自然景物，通常有1≈ρ。这时DCT 的基向量可以很好地近似K-L 变换的

基向量。由于这个原因，在图象压缩算法中常被用来代替K-L 变换，如JPEG 算

法。尽管DCT 在降低谱的相关性方面不如K-L 变换有效，但是其好处是它的基函数是固定的，而K-L 变换的基函数取决于待变换图象的协方差矩阵。

其它参考文献：

1. Markus Grob, Visual Computing---The Integration of Computer

Graphics, Visual Perception and Imaging, Springer-Verlag, 1994. 2. 余鄂西，矩阵论，高等教育出版社，1995。

(1)KL 变换

KL 变换是遥感图像增强和信息提取中用得最多的线性变换，是对原波段图像进行波谱信息的线性投影变换，在尽可能不减少信息量的前提下，将原图像的高维多光谱空间的像元亮度值投影到新的低维空间，减少特征空间维数，达到数据压缩、提高信噪比、提取相关信息、降维处理和提取原图像特征信息的目的，并能有效地提取影像信息。它可使原来多波段图像经变换后提供出一组不相关的图像变量，最前面的主分量具有较大的方差，包含了原始影像的主要信息，所以要集中表达信息，突出图像的某些细部特征，可采用主分量变换来完成。

K-L 变换

K-L 变换（ Karhunen-Loeve Transform ）是建立在统计特性基础上的一种变换，有的文献也称为霍特林（Hotelling ）变换，因他在1933年最先给出将离散信号变换成一串不相关系数的方法。K-L 变换的突出优点是相关性好，是均方误差（MSE ，M ean Square Error ）意义下的最佳变换，它在数据压缩技术中占有重要地位。

假定一幅N x N的数字图像通过某一信号通道传输M次，由于受随机噪音干扰和环境条件影响，接收到的图像实际上是一个受干扰的数字图像集合对第i次获得的图像fi(x,y) ，可用一个含N2 个元素的向量Xi 表示，即

该向量的第一组分量（N个元素）由图像fi(x,y) 的第一行像素组成，向量的第二组分量由图像 f i(x,y) 的第二行像素组成，依此类推。也可以按列的方式形成这种向量，方法类似。

X向量的协方差矩阵定义为：

m f定义为：

C f 和m f 的表达式中，“ E ”是求期望。

对于M幅数字图像，平均值向量m f 和协方差矩阵 C f可由下述方法近似求得：

可以看出，m f 是N2 个元素的向量， C f 是N2 x N2 的方阵。

根据线性代数理论，可以求出协方差矩阵的N2 个特征向量和对应的特征值。假定是按递减顺序排列的特征值，对应的特征向量

ei = 。

则K-L变换矩阵A定义为：

从而可得K-L变换的变换表达式为：

该变换式可理解为，由中心化图像向量X - mx 与变换矩阵A相乘即得到变换后的图像向量Y。Y的组成方式与向量X相同。

K-L变换虽然具有MSE意义下的最佳性能，但需要先知道信源的协方差矩阵并求出特征值。求特征值与特征向量并不是一件容易的事，维数较高时甚至求不出来。即使能借助计算机求解，也很难满足实时处理的要求，而且从编码应用看还需要将这些信息传输给接收端。这些因素造成了K-L变换在工程实践中不能广泛使用。人们一方面继续寻求解特征值与特征向量的快速算法，另一方面则寻找一些虽不是“最佳”、但也有较好的去相关与能量集中的性能且容易实现的一些变换方法。而K-L变换就常常作为对这些变换性能的评价标准。

KL变换与主成分分析

主成分分析（PCA）是多元统计分析中用来分析数据的一种方法，它是用一种较少数量的特征对样本进行描述以达到降低特征空间维数的方法，它的本质实际上是K-L变换。PCA方法最著名的应用应该是在人脸识别中特征提取及数据维，我们知道输入200*200大小的人脸图像，单单提取它的灰度值作为原始特征，则这个原始特征将达到40000维，这给后面分类器的处理将带来极大的难度。著名的人脸识别Eigenface 算法就是采用PCA算法，用一个低维子空间描述人脸图像，同时用保存了识别所需要的信息。下面先介绍下PCA算法的本质K- L变换。 1、K-L变换（卡洛南-洛伊（Karhunen-Loeve）变换）：最优正交变换 一种常用的特征提取方法； 最小均方误差意义下的最优正交变换； 在消除模式特征之间的相关性、突出差异性方面有最优的效果。离散K-L变换：对向量x（可以想象成M维=width*height 的人脸图像原始特征）用确定的完备正交归一向量系u j展开：

这个公式由来我想应该是任一n维欧式空间V均存在正交基，利用施密特正交化过程即可构建这个正交基。 现在我们希望用d个有限项来估计向量x，公式如下： 计算该估计的均方误差如下： 要使用均方误差最小，我们采用Langrange乘子法进行求解：

因此，当满足上式时， 取得最小值。 即相关矩阵R的d个特征向量（对应d个特征值从大到小排列）为基向量来展开向量x时，其均方误差最小，为： 因此，K-L变换定义：当取矩阵R的d个最大特征值对应的特征向量来展开x时，其截断均方误差最小。这d个特征向量组成的正交坐标系称作x所在的D维空间的d维K-L变换坐标系，x在K-L坐标系上的展开系数向量y称作x的K-L变换。 总结下，K-L变换的方法：对相关矩阵R的特征值由大到小进行排队， 则均方误差最小的x近似于：

KL变换应用于人脸识别

基于K-L 变换的人脸识别 一、基本要求 从网上下载人脸图像，构建人脸训练数据库和测试数据库，采用K-L 变换进行特征脸提取，并实现人脸识别。通过K-L 变换在人脸识别中的应用，加深对所学内容的理解和感性认识。 1、或者从网上下载其它数据库，编程实现K-L 变换。 2、课堂报告、并提交实验报告及相应程序。 二、实验原理 1、K-L 变换：就是以样本特征向量在特征空间分布为原始数据，通过变换，找 到维数较少的组合特征，达到降维的目的。 K-L 变换是一种正交变换，即将一个向量X ，在某一种坐标系统中的描述，转换成用另一种基向量组成的坐标系表示。这组基向量是正交的，其中每个坐标 基向量用j u 表示，∞=,2,1 ， j ，因此，一个向量X 可表示成 ∑∞ == 1 j j j u c X 如果我们将由上式表示的无限多维基向量坐标系统改成有限维坐 标系近似，即 ∑=∧ =d j j j u c X 1 表示X 的近似值或估计量，我们希望在同样维数条件下，使向量X 的估计量误差最小。确切地说是使所引起的均方误差: )]?()?[(X X X X E T --=ξ 为最小。K-L 变换可以实现这个目的。 因为 ?? ?≠==i j i j u u i T j 0 1

将 ∑∞ +=∧ = -1 d j j j u c X X 带入到)]?()?[(X X X X E T --=ξ中可得到 ][ 1 2 ∑∞ ==j j c E ξ 容易看到 X u c T j j = 因此 ][ 1 ∑∞ +=d j T T j u XX u E ξ 由于j u 是确定性向量，因此上式可改写为 [] ∑∞ +== 1 d j j T T j u XX E u ξ 令 [] T XX E =ψ 则 ∑∞ +== 1 d j j T j u u ψξ 用拉格朗日乘子法，可以求出在满足正交条件下，ξ取极值的坐标系统，即用函数 ∑∑∞ +=∞ +=-- =1 1 ]1[d j j T j j d j j T j j u u u u u g λψ） （ 对j u ，∞+=,,1 d j 求导数，因此有 ∞+==,,1,0- d j u I j j ）（λψ 我们令0=d ，从而可得到以下的结论： 以矩阵ψ的本征向量座位坐标轴来展开X 时，其截断均方误差具有极值性质，且当取d 个d j u j ,,2,1 =，来逼近X 时，其均方误差 ∑∞ +== 1 d j j λ ξ 式中j λ是矩阵ψ的相应本征值。 可以证明，当取d 个与矩阵ψ的d 个最大本征值对应的本征向量来展开X

基于KL变换的人脸识别

基于K-L变换的人脸识别 一、实验原理及基本要求 特征脸方法是基于K-L变换的人脸识别方法，K-L变换是图像压缩的一种最优正交变换。高维的图像空间经过K-L变换后得到一组新的正交基，保留其中重要的正交基，由这些基可以张成低维线性空间。如果假设人脸在这些低维线性空间的投影具有可分性，就可以将这些投影用作识别的特征矢量，这就是特征脸方法用于人脸识别的基本思想。在人脸识别中，可以用离散K-L变换对人脸图像的原始空间进行转换，即构造人脸图像数据集的协方差矩阵，对之进行正交变换，求出协方差矩阵的特征向量，再依据特征值的大小对这些特征向量进行排序，每一个向量表示人脸图像中一个不同数量的变量，这些特征向量表示特征的一个集合，它们共同表示一个人脸图像。在人脸识别领域，人们常称这些特征向量为特征脸。每一个体人脸图像都可以确切地表示为一组特征脸的线性组合。这样我们首先通过有指导的训练（给定训练样本集已知分类）得到样本集在特征脸空间中的坐标。训练完成后，输入待辨识图像，求得在特征脸空间的坐标，采用欧式距离法，就可以实现人脸识别。 我们从网上下载人脸图像，构建人脸训练数据库和测试数据库，采用K-L变换进行特征脸提取，并实现人脸识别。通过K-L变换在人脸识别中的应用，加深对所学内容的理解和感性认识。 二、具体做法及流程图 ORL人脸库是由英国剑桥Olivetti实验室从1992年4月到1994年4月期间拍摄的一系列人脸图像组成，共有40个不同年龄、不同性别和不同种族的对象。每个对象10幅图像共计400幅灰度图像组成，图像尺寸是92×112，图像背景为黑色。其中人脸部分表情和细节均有变化，例如笑与不笑、眼睛睁着或闭着，戴或不戴眼镜等，人脸姿态也有变化，其深度旋转和平面旋转可达20度，人脸尺寸也有最多10%的变化。该库是目前使用最广泛的标准数据库，它含有大量的比较结果。 本次试验我们用的是ORL人脸库中的人脸样本集，每个人的人脸样本集中含有十个人脸样本。我们从其中挑出训练样本和测试样本。对训练样本集采用K-L变换进行特征脸提取，并对测试样本集进行人脸识别。 步骤：

模式识别作业三——kl变换

模式识别作业报告 组员： 2011302265 孔素瑶 2011302268 马征 2011302273 周昳慧

一、实验要求 用FAMALE.TXT 和MALE.TXT 的数据作为本次实验使用的样本集，利用K-L 变换对该样本集进行变换，与过去用Fisher 线性判别方法或其它方法得到的分类面进行比较，从而加深对所学内容的理解和感性认识。 二、具体做法 1． 不考虑类别信息对整个样本集进行K-L 变换（即PCA ），并将计算出的新特征方向表示在 二维平面上，考察投影到特征值最大的方向后男女样本的分布情况并用该主成分进行分类。 2． 利用类平均向量提取判别信息，选取最好的投影方向，考察投影后样本的分布情况并用 该投影方向进行分类。 3． 将上述投影和分类情况与以前做的各种分类情况比较，考察各自的特点和相互关系。 三、实验原理 设n 维随机向量T n x x x x ),,(21?=，其均值向量][x E u =，相关矩阵][T x xx E R =， 协方差矩阵]))([(T x u x u x E C --=，x 经正交变换后产生向量T n y y y y ),,(21?=。 设有标准正交变换矩阵)),,((21n t t t T T ?=，（即I T T T =） T n T n y y y x t t t x T y ),,(),,(2121?=?==，x t y T i i = (1,2,)i n = ∑=-===n i i i T t y y T y T x 1 1 （称为 x 的K-L 展开式） 取前m 项为x 的估计值1 ?m i i i x y t ==∑ 1m n ≤<其均方误差为 ∑∑+=+=∧ ∧= = --=n m i i i n m i i T y y E y E x x x x E m 1 ' 1 2 ][][)]()[()(ξ ∑∑∑+=+=+== == n m i i x i n m i i n m i i i t R t t x x E t y y E m 1 '1 ' ' 1 ' )(][)(ξ 在I T T =' 的约束条件下,要使均方误差 min )]()[()(1 ' ' →= --=∑+=∧ ∧n m i i x i t R t x x x x E m ξ

KL变换

1. 主分量分析（PCA ）、K-L 变换（Hotelling 变换） 一般而言，这一方法的目的是寻找任意统计分布的数据集合之主要分量的子集。相应的基向量组满足正交性且由它定义的子空间最优地考虑了数据的相关性。将原始数据集合变换到主分量空间使单一数据样本的互相关性(cross-correlation)降低到最低点。 设s j x j ,...,1:=是N 维向量的数据集合，m 是其均值向量： 有了特征向量集合，任何数据x 可以投影到特征空间（以特征向量为基向量）中的表示： 相反地，任何数据x 可以表示成如下的线性组合形式： 如果用A 代表以特征向量为列向量构成的矩阵，则A T 定义了一个线性变换： 上述去相关的主分量分析方法可以用于降低数据的维数。通过略去对应于若干较小特征值的特征向量来给y 降维。例如，丢弃底下N-M 行得到N M ?的矩阵B ， k k s j T j j x j j j s j j u d d s C m x d d x s m 向量及满足下列条件的特征特征值求出其从大到小排列的 协方差矩阵是：是：差别向量λ∑∑=== -== 1 1 1 1?? ?≠===k l k l u u k l k T l ,0,1,δT N T k k y y y y m x u y ),...,,(,)(21=-=∑=+=s k k k u y m x 1 ?? ? ? ? ?????==+=-=N x T y T A C A C A Ay m x m x A y λλ00() (1 ： 变换后的协方差矩阵为是正交矩阵）

并为简单起见假定均值m=0，则有： 它只是被舍弃的特征向量所对应的特征值的和。通常，特征值幅度差别很大，忽略一些较小的值不会引起很大的误差。 上述方法是图象数据压缩的数学基础之一，通常被称为Principal Component Analysis (PCA)或Karhunen-Loeve (K-L)变换。 K-L 变换的核心过程是计算特征值和特征向量，有很多不同的数值计算方法。 一种常采用的方法是根据如下的推导： 由于通常s<

一种基于KL变换的椭圆模型肤色检测方法

１７４０电子与信息学报第２９卷 Ｃｂ （ａ）肤色样本分布 Ｃｂ （ｂ）利用ＫＬ变换进行 坐标系平移和旋转示意图图１ 的椭圆边界。从图１（ａ）可以看出，该椭圆边界在ＣｂＣｒ平面上是一个倾斜的椭圆，这给我们建立椭圆边界方程增加了难度。试想，如果能把坐标轴进行旋转和平移，使得肤色分布的椭圆区域的中心及长短轴分别为新坐标系的原点和两坐标轴，如图１（ｂ）所示，显然在这样的新坐标系中建立肤色分布椭圆边界方程将变得容易许多。而我们知道，ＫＬ变换是针对训练数据进行坐标系平移和旋转的有力工具。以上的考虑和分析正是本文所提出的基于ＫＬ变换的椭圆模型肤色检测算法的出发点。 然而，给定训练肤色样本集，要想通过ＫＬ变换得到图１（ｂ）所示原点及坐标轴趋于肤色分布区域中心的理想新坐标系，训练数据要满足一定的对称性。否则，如果所采集的肤色样本分布不对称（即在部分区域内稠密而在其它区域较稀少），这时通过ＫＬ变换得到的新坐标系将会偏离图ｌ（ｂ）所示的理想情况。解决这个问题的一个简单思路就是使样本的分布尽量均匀一些。针对本文中所使用的肤色样本，我们采用了下面的方法来使样本分布均匀化，首先把ＣｂＣｒ平面均匀分成若干个小的区域，并把每个小区域的中心点ＣｂＣｒ色度值作为该区域的代表值，然后对采集的肤色样本进行逐一分析，如果～样本落在某一小区域内，则该样本的ＣｂＣｒ色度值就以该区域的代表值替换，这样对所有的样本分析完毕后，再对分析所得的新样本集去掉重复出现的样本，剩余的便是我们所要的分布较为均匀的样本集。上述肤色样本分布均匀化的实现过程如图２所示。 对于本文所收集的肤色样本通过上述样本分布均匀化处理后利用ＫＬ变换可以得到图３所示原点及坐标轴趋于肤色分布区域中心的理想坐标系，这可大大方便在新坐标系中建立较为准确的椭圆边界肤色检测模型。当然，在均匀化抽样过程中，会造成大量肤色样本的减少，但这些被减少的肤 ●●●●●｝●●●●●?：鲁憷型蔓警●● ●●●● ：：；露乏》：，一气＾－● ●●●● ●● ●● ● ● ●● ●● ● ●●●●●●●●●●●●●●●● （ａ）原始样本分布（ｂ）分布均匀化处理后的样本分布图２肤色样本分布均匀化实现过程示意图 图３通过ＫＬ变换所确立的新坐标系 色样本主要集中在那些分布较密的地方。从图３可以明显看出，经过均匀化抽样后，并不会造成肤色样本分布总体区域范围的改变，抽样所改变的仅仅是肤色样本分布区域内的样本点数，而本文算法的核心思想是用一椭圆去描述这一区域的边界，从本文算法的实现过程不难看出，这些由于抽样减少的样本点不仅不会对建立椭圆肤色检测模型产生负面影响，而且去掉这些点反而会使肤色检测模型的性能得到提高。 对经过分布均匀化处理后的肤色样本集｛最｝进行统计分析，计算出其均值Ｍ及协方差阵Ｇ，然后求出协方差阵 Ｃ的特征向量ｊＦＩ，最及其所对应的特征值～，凡（～＞九）。这样以点Ｍ为原点，只，只所在的直线为轴的坐标系就是我们所寻求的新坐标系，如图３所示。接下来的问题就是在新坐标系中构建肤色分布区域的椭圆边界方程，而其中的关键问题是确定出椭圆的长轴和短轴的长度。而从图３可以看出，肤色分布区域椭圆边界长轴和短轴的长度分别为分布在两坐标轴上的端点肤色样本Ａ１和Ａ２及Ｂ１和砚间的距离。因此只要我们能找到两坐标轴上的端点肤色样本Ａｌ，４２，Ｂ１和占｝２，就能解决椭圆边界的长轴和短轴的求取问题。 现假设ｊ性（Ｃｂ。，Ｃｒｍ），只＝（月ｃｂｌ，粥ｑ），易＝（咒ｂ２，ＰＣｒ２），则ＫＬ变换的基向量只所在的直线一定通过点只，＝（月一ｂ１＋ｃｂ。，用ｑ＋ｃｒｍ）。由几何知识易得ＫＬ变换的基向量只所在的直线方程为 ＰＣｑ口ＰＣｂ一尸Ｃｂｌ口踟ｒ＋（咒ｂ１口ｃｒｍ—ＰＣｑ口ｃｂｍ）＝ｏ （１） 由于ＰＣｂｌ和冈ｑ是ＫＬ变换的基向量只＝（ＰＣｂｌ，冈ｑ）（标准正交基）的元素，所以有 ＰＣｂ；＋．尸ｃ寄＝１（２）而当满足月Ｃｂ；＋粥砰＝ｌ时，可以证明，ｃｂＣｒ平面上的任一点（Ｃｂ，Ｃｒ）到式（１）直线的垂直距离为 ａＬｂｓ¨］Ｃｑ口ｃｂ—Ｐｃｂｌ口ｃｒ＋（—Ｐｃｂｌ口ｃｒｍ—Ｐｃｑ口ｃｂ。）】（３）式中ａｂｓ表示取绝对值。 根据上面分析所得的结论，对于一肤色样本ｆＣｂ，Ｃｒ），如果它到式（１）直线的垂直距离足够小，则可认为此肤色样本在该直线上。本文采用的判断准则为： ａｂｓ【冈ｒｌ口ｃｂ一冈ｂｌ口Ｃｒ＋（ＰＣｂｌ们ｒ仇一ＰＣｑ口ｃｂ。）］≤ｏ．ｏｌ （４）通过式（４）准则得到式（１）直线所通过的肤色样本后，容易选 取得到图３所示的分布在端点处的两个样本Ａｌ，４２，然后

现代数字信号处理及其应用论文——KL变换的应用

Karhunen-Loeve 变换的应用 摘要：本文对Karhunen-Loeve 变换的原理进行了说明，重点分析了K-L 变换的性质，结合K-L 变换的性质，对K-L 变换的具体应用进行了展示。利用K-L 变换在人脸识别、遥感图像特征提取、地震波噪声抑制、数字图像压缩、语音信号增强中的具体利用，深入总结了K-L 变换在模式识别、噪声抑制和数据压缩领域的重要性。 关键字： Karhunen-Loeve 变换 K-L 变换 K-L 展开 1、 Karhunen-Loeve 变换定义 1.1Karhunen-Loeve 变换的提出 在模式识别和图像处理等现实问题中，需要解决的一个主要的问题就是降维，通常我们选择的特征彼此相关，而在识别这些特征时，数据量大且效率低下。如果我们能减少特征的数量，即减少特征空间的维数，那么我们将以更少的存储和计算复杂度获得更好的准确性。于是我们需要一种合理的综合性方法，使得原本相关的特征转化为彼此不相关，并在特征量的个数减少的同时，尽量不损失或者稍损失原特征中所包含的信息。Karhunen-Loeve 变换也常称为主成分变换(PCA)或霍特林变换，就可以简化大维数的数据集合，而且它的协方差矩阵除对角线以外的元素都是零，消除了数据之间的相关性。所以可以用于信息压缩、图像处理、模式识别等应用中。 Karhunen-Loeve 变换，是以矢量信号X 的协方差矩阵Ф的归一化正交特征矢量q 所构成的正交矩阵Q ，来对该矢量信号X 做正交变换Y=QX ，则称此变换为K-L 变换（K-LT 或KLT ），K-LT 是Karhuner-Loeve Transform 的简称，有的文献资料也写作KLT 。可见，要实现KLT ，首先要从信号求出其协方差矩阵Ф，再由Ф求出正交矩阵Q 。Ф的求法与自相关矩阵求法类似。 1.2Karhunen-Loeve 展开及其性质 设零均值平稳随机过程u(n)构成的M 维随机向量为u(n),相应的相关矩阵为R ，则向量u(n)可以表示为R 的归一化特征向量M 21q ,q ,q 的线性组合，即i M i i q c n u ∑==1)(，此式称为u(n)的Karhunen-Loeve 展开式，展开式的系数i c 是由内积 )(c i n u q H i =M ,1,2,i =定义的随机变量，且有{}0E =i c ， {}???≠==l i l i c c i l i ,0,E *λ。 K-L 展开式具有以下四个性质：

实验2_KL变换实验

实验二：KL 变换实验 学时：4学时 实验目的： 1. 掌握特征提取的基本方法。 2. 掌握基于KL 变换的特征提取的方法。 3. 培养学生灵活使用KL 变换进行模式识别的能力。 实验内容： 给出ORL 人脸数据库，共有400幅人脸图像（40人，每人10幅，大小为92*112象素）。其中第一个人的图像如下图： 选取数据库中的部分样本（每个人的前5张图片）作为训练样本，其余作为未知的测试样本。从训练样本中得到KL 变换矩阵，然后对训练样本和测试样本都进行变换，用变换后的数据作最近邻识别，距离可以为对应灰度值之差的平方和，统计识别率。 KL 变换方法简介： 设图像数据库图像大小为Width ?Height ，令d = Width ?Height ，则每幅图像可以用按行或者按列堆成一个d 维向量表示。 令111()()N T T t i i t t i S x m x m N N ==--=ΦΦ∑，其中1(,,)t N x m x m Φ=-- 。 特征脸方法(KL 变换方法)是从PCA 方法导出的。PCA 方法就是要寻找正交归一的变换矩阵12(,,,)d L L W u u u R ?=∈ ，1T WW =，使得判别准则()()T t J W tr W S W =达到最大，即arg max ()T t W W tr W S W =。也就是在T y W x =的正交变换后使得总体散度矩阵y T t t S W S W =的迹最大，即各个样本分离得尽量远，

将样本的方差尽量的保留下来，和原样本的均方误差尽量小。 可以证明求得12(,,,)L W u u u = 就是对应于矩阵t S 的前L 个最大的特征值的特征向量。即12(,,,)L W u u u = 的各列向量是下面特征方程的解： t i i i S u u λ= 显然，变换后的y T t t S W S W =是一个对角阵，对角线上的元素为相应的特征值，即1()d t i i tr S λ==∑，也就是说每个特征值都代表了相应的特征向量保留总体散 度（方差）的能力。本文实验中的PCA 方法保留90%的方差贡献，即取L 使得11()/90%L d i i i i L ηλλ===≥∑∑。这是因为前几个特征值都比较大，()L η取得太大的话 信息压缩的作用将会不明显，而且实验表明()L η超过90%以后识别率变没有提高。 值得一提的是，对于图像高维数据（比如112行92列的图像堆起一个样本向量来就是10304维），t S 是一个很大的矩阵，计算其特征根的复杂度和存储空 间大得惊人，以至普通计算机根本无法求解出来。而根据奇异值分解定理（SVD ），d N ?维的矩阵t Φ存在两个正交矩阵U 和V ，使得1 2 T t U V Φ=Λ，其中U 和V 的列向量分别是T t t ΦΦ（d d ?维）和T t t ΦΦ（N N ?维）的特征向量，Λ是相应的特征值组成的对角矩阵，并且有12t U V -=ΦΛ。因为1T d d t t t S N ?= ΦΦ∈ ，而一般d N ，所以我们就可以先求出矩阵1T N N t t R N ?=ΦΦ∈ 的特征向量组成的矩阵V 和相应的特征值Λ，然后就可以根据SVD 定理计算t S 的特征向量U ,这样就大大减少了计算量。 从压缩能量的角度看，PCA 方法是最优的。从d 维空间降到L 维空间后，它不仅使得和原样本的均方误差最小，而且变换后的低维空间有很好的人脸表达能