模式识别课件--特征提取_KL变换

求稳定点：
L 2Ru 2u 0 u
Ru u
稳定点有很多个，但都是R的特征向量。 uT Ru uT u 最小，则u 要使得 必须为R最小特征根对应的特征向量。

结
if Ru j j u j then

j d 1
论
uT Ru j取得极值 j
对新样本也作变换，看与哪个y最接近。 与实际比较确定是否识别正确，统计识别率。

Matlab相关的函数
读取图像的函数：I=imread(‘D:\a.jpg’); 提供自定义函数读取整个目录的图像： com_ReadDB。 求特征向量与特征根：[V,D] = eig(R);

作 业

需要利用奇异值分解定理。
1 St N
( xi m)( xi m)T
i 1
N
1 t t T ， t ( x1 m, , xN m) N
根据奇异值分解定理（SVD） d N 维的矩阵 t 存在两个正交 ， 矩阵 U 和 V ，使得 t U V T ，其中 U 和 V 的列向量分别是 t t T （ d d 维）和 t T t （ N N 维）的特征向量， 是相应的特征值


把新样本的类别归为距离最近的那个已知样本的类别。
可以拿每个人的前几幅图像作为已知的样本数据，后几 幅图像作为未知样本，统计识别率。
用PCA进行数据压缩

PCA (Principle Component Analysis)方法： 进行特征降维变换，不能完全地表示原有的对象，
能量总会有损失。希望找到一种能量最为集中的变
第9章 特征提取
— KL变换
人脸数据库 -- ORL

ORL数据库共有400幅人脸图像（40人，每人10幅， 大小为92*112象素）。 这个数据库比较规范，大多数图像的光照方向和强 度都差不多。 但有少许表情、姿势、伸缩的变化，眼睛对得不是 很准，尺度差异在10%左右。 并不是每个人都有所有的这些变化的图像，即有些 人姿势变化多一点，有些人表情变化多一点，有些 还戴有眼镜，但这些变化都并不大 。
Sw Pi i , i E (x μi )( x μi )T , x i
i 1 c

未知类别样本的K-L变换

用总体样本的协方差矩阵C=E[(x-μ) (x-μ)T] 进行K-L变换，K-L坐标系U=[u1,u2,...,ud]按照C的本征值的 下降次序选择。
1 组成的对角矩阵，并且有 U tV 。因为 St t t T d d ， N
1 2
1 2
1 T t t N N 的特 N 征向量组成的矩阵 V 和相应的特征值 ，然后就可以根据 SVD 定理
而一般 d N ， 所以我们就可以先求出矩阵 R
那些带有较少信息的分量以达到降低特征维数的目
的.
1 Λ 0 0 d
2

K-L变换图解
u2 x2 u1 x1
f ( x1 , x2 ,, xn ) rij xi x j
i , j 1 n
二次 曲线方程
x ' Rx y '(U ' RU) y y ' Λy y 2 y2 n yn


Yale第一个人的8幅图像
人脸数据库-FERET

Feret数据库比较庞大，原来的数据库共有7256幅人 脸图像（699人，每人若干幅，256*348）。 有较多背景，有些甚至是半身像，姿势光照也变化 得很厉害。 每个人都有不同的姿势，甚至是侧脸。 可以选取其中72个人，每人6幅的正脸图像，并截取 了脸部（92*112），对准眼睛，使得基本没有姿势 和伸缩变化，但是光照变化比较大，还有一些有表 情变化和遮掩。


ቤተ መጻሕፍቲ ባይዱ

其均方误差为：

j d 1

j

K-L变换：当取矩阵 R 的 d 个最大本征值对应的本 征向量来展开 x 时，其截断均方误差最小。 这 d 个本征向量组成的正交坐标系称作 x 所在的 D 维空间的 d 维 K-L 变换坐标系， x 在 K-L坐标系上

的展开系数向量 y 称作 x 的 K-L 变换。
计算 St 的特征向量 U ,这样就大大减少了计算量。
基于PCA的人脸识别方法
读取每个人的前5幅图像，构造矩阵 t 计算： R T t t 计算：[V,D] = eig(R); 1 计算： U VD 2 t


按特征值从大到小排序，选择前几个最大的特征值对 应的Ui作为变换矩阵W。 把所有训练样本做变换 y=Wtx，保留系数 y。
j 1

uT u j ij i
xy
yj u x
T j
离散K-L变换的均方误差

ˆ 用有限项估计x ： x y j u j
j 1
d
y j uT x j
ˆ ˆ 该估计的均方误差： E (x x)T (x x)
2 T T E y j E u j xx u j j d 1 j d 1
变换矩阵，以及变换的公式。
实验：K-L变换实验

实验指导
9.5 7.5
19.5 例：设一样本集的协方差矩阵是：C 9.5
求最优2x1特征提取器U。
解：计算特征值及特征向量[V, D]=eig(C); 特征值D=[24.736, 2.263]T,特征向量: V 0.875 0.482 0.482 0.875 由于λ 1>λ 2，故最优2x1特征提取器 0.875
设正态分布的均值和协方差的估计为：
ˆ 1 ˆ ˆ ( xk k )( xk k )T n k 1
2 x3 6
4
1 n ˆ xk n k 1
2
，
n
3 ，现有四个二维的样本： x 3 ， x 8 ， 4
1
4 ， x 6 ，现在要用 PCA 方法将其降为一维，求其
换方法使损失最小。

K-L (Karhunen-Loeve)变换：最优正交线性变换， 相应的特征提取方法被称为PCA方法。 一幅图像可以对其灰度值按行对成一列向量x。现在 设法用比较少的数据表示x。

K-L变换

离散 K-L 变换：对向量 x 用确定的完备正交归一向量系 uj 展开。
x y ju j
2 1 1 2
标准二次 曲线方程
x U y
2
Eigenface
K-L变换的产生矩阵

数据集 KN = {xi} 的K-L变换的产生矩阵:由数据的二阶统计 量决定，即K-L坐标系的基向量为某种基于数据 x 的二阶 统计量的产生矩阵的本征向量. K-L变换的产生矩阵可以有多种选择：
– x的相关函数矩阵 R=E[xxT] – x的协方差矩阵 C=E[(x-μ) (x-μ)T] – 样本总类内离散度矩阵：


FERET的原图像
FERET前两个人截取的正脸图像
人脸数据库-MIT
MIT数据库有960幅人脸图像（62人，每人 15幅，128*128）。 每个人都有15种姿势，基本没有光照变换。

MIT第一个人的图像
基于最近邻的识别方法

已有一些已知类别的样本（每个人都有若干幅图像）。 一般每个人像眼睛对齐，大小相同。 对一个新样本，对齐眼睛，裁减好大小，然后和数据库 中的每一个样本进行比较，比如计算每一个对应像素的灰 度值之差的平方和。



ORL第一个人的8幅图像
ORL第二个人的8幅图像
人脸数据库-Yale

Yale数据库比较小，共有165幅人脸图像（15 人，每人11幅，大小为128*128象素）。 都是正脸图像，每个人都由相同的若干种表 情，如高兴，悲伤，惊奇，胜利，闭眼，戴 眼镜等。
每个人都有两幅图像有光照变化，分别为左 侧光和右侧光。
U u1 0.482

此时的K-L变换式为：
x1 y U x u x 0.875 0.482 x2
T T
实验中遇到的问题

x的相关函数矩阵R=E[xxT]和协方差矩阵C=E[(x-μ)
(x-μ)T]都非常巨大。如果是128*128的图像，每个x 有16384维，那么R就有16384*16384那么大，如果一 个数据用8个字节，那么有这个R有20G！在Matlab 中无法表达。
R rij E( xi x j ) E xxT

j d 1


u E xx u j
T j T
j d 1


uTj Ru j


在约束条件：
u 1
uT u 1 0
求以下函数的最小值：
uT Ru
作Lagrange函数： L uT Ru (uT u 1)
K-L变换的表示

K-L变换的向量展开表示：
x y ju j
j 1 d
yj u x
T j

K-L变换的矩阵表示：
x [u1 , u2 ,..., ud ]y Uy
yU x
T
K-L变换的性质

K-L坐标系把矩阵 R 对角化，即通过 K-L 变换消除
原有向量 x 的各分量间的相关性，从而有可能去掉