基于规范化KDDA的人脸识别算法

＝７，４３（５）　Ｃｏｍｐｕ￣ｒ　Ｅｎ￣ｎｅｅｎｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用　基于规范化ＫＤＤＡ的人脸识别算法　杨家红１，２，史　超　，王耀南ｚ　ＹＡＮＧ　Ｊｉａ－ｈｏｎｇ１，２，ＳＨＩ　Ｃｈａｏ　，ＷＡＮＧ　Ｙａｏ—ｎａｎ２　

１．湖南师范大学工学院．长沙４１００８１　２．湖南大学电气与信息工程学院，长沙４１００８２　１．ＣｏＵｅｇｅ　ｏｆ　Ｐｏｌｙｔｅｃｈｎｉｃ，Ｈｕｎａｎ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｓｈａ　４１００８１，Ｃｈｉｎａ　

２．ＣｏＵｅｇｅ　ｏｆ　Ｅｌｅｃｔｒｉｃ＆Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｈｕｎａｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｓｈａ　４１００８２

，Ｃｈｉｎａ　

Ｅ—ｍａｉｌ：ｊｈｙａｎｇ３６６８＠ｖｉｐ．ｓｉｎａ．ｃｏｍ　

ＹＡＮＧ　Ｊｉａ－ｈｏｎｇ，ＳＨＩ　Ｃｈａｏ，ＷＡＮＧ　Ｙａｏ－ｎａｎ．Ｆａｃｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　ｒｅｇｕｌａｒｉｚｅｄ　ｋｅｒｎｅｌ　ｄｉｒｅｃｔ　ｄｉｓｃｒｉｍｉｎａｎｔ　ａｎａｌｙｓｉｓ．Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ，２００７，４３（５）：３６－３８．　

Ａｂｓｔｒａｃｔ：Ｔｒａｄｉｔｉｏｎａｌ　ｍｅｔｈｏｄｓ，ｓｕｃｈ　ａｓ　ＰＣＡ（Ｐｒｉｎｃｉｐｌｅ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ）ａｎｄ　ＬＤＡ（Ｌｉｎｅａｒ　Ｄｉｓｃｒｉｍｉｎａｎｔ　Ａｎａｌｙｓｉｓ），ｎｏｔ　ｏｎｌｙ　ｓｕｆｆｅｒ　ｆｒｏｍ　ｔｈｅ　ＳＯ—ｃａｌｌｅｄ“Ｓｍａｌｌ　Ｓａｍｐｌｅ　Ｓｉｚｅ”（ＳＳＳ）ｐｒｏｂｌｅｍ，ｂｕｔ　ａｌｓｏ　ａｒｅ　ｉｎｓｅｎｓｉｔｉｖｅ　ｔｏ　ｔｈｅ　ｈｉ　ｇｈ　ｏｒｄｅｒ　ｒｅｌａｔｉｏｎｓ　ｏｆ　ｉｍａｇｅ　ｐｉｘｅｌｓ．　Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ，ｋｅｒｎｅｌ　ｍａｃｈｉｎｅ　ｂａｓｅｄ　ｒｅｇｕｌａｒｉｚｅｄ　ｄｉｓｃｒｉｍｉｎａｎｔ　ａｎａｌｙｓｉｓ　ｍｅｔｈｏｄ　ｉｓ　ｐｒｏｐｏｓｅｄ，ｗｈｉｃｈ　ｐｒｏｊｅｃｔｓ　ｔｈｅ　ｉｍａｇｅ　ｓｐａｃｅ　ｔｏ　ｔｈｅ　ｈｉｇｈ　ｄｉｍｅｎｓｉｏｎａｌ　ｆｅａｔｕｒｅ　ｓｕｂｓｐａｃｅ　ｔｈｒｏｕｇｈ　ｓｏｍｅ　ｎｏｎ－ｌｉｎｅａｒ　ｔｒａｎｓｆｏｒｍａｔｉｏｎ．ａｎｄ　ｔｈｅｎ　ｐｅｒｆｏｒｍｓ　ｄｉｓｃｒｉｍｉｎａｎｔ　ａｎａｌｙｓｉｓ　ｕｓｉｎｇ　ｔｈｅ　“ｋｅｒｎｅｌ－－ｓｋｉｌｌｓ”ｏｎ　ｔｈｅ　ｎｅｗ　ｆｅａｔｕｒｅ　ｓｕｂｓｐａｃｅ．Ｅｘｔｅｎｓｉｖｅ　ｅｘｐｅｒｉｍｅｎｔｓ　ｏｎ　ＯＲＬ　ｄａｔａｂａｓｅ　ｉｎｄｉｃａｔｅ　ｔｈｅ　ｍｅｔｈｏｄ　ｐｒｏｐｏｓｅｄ　ｏｕｔｐｅｒｆｏｒｍｓ　ＰＣＡ，　ＫＰＣＡ，ＬＤＡ　ｍｅｔｈｏｄｓ　ｏｎ　ｆｅａｔｕｒｅ　ｅｘｔｒａｃｔｉｏｎ．Ｉｔ　ｃａｎ　ａｌｓｏ　ｓｉｍｐｌｉｆｙ　ｔｈｅ　ｃｌａｓｓｉｆｉｅｒ　ｄｅｓｉｇｎ，ｍｅａｎｗｈｉｌｅ，ａｃｃｏｍｐｌｉｓｈ　ｈｉｇｈ　ｒｅｃｏｇｎｉｔｉｏｎ　ｒａｔｅ．　Ｋｅｙ　ｗｏｒｄｓ：ｋｅｒｎｅｌ　ｍｅｔｈｏｄｓ；Ｒｅｇｕｌａｒｉｚｅｄ　Ｋｅｒｎｅｌ　Ｄｉｒｅｃｔ　Ｄｉｓｃｒｉｍｉｎａｎｔ　Ａｎａｌｙｓｉｓ；Ｋｅｒｎｅｌ　Ｐｒｉｎｃｉｐｌｅ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ（ＫＰＣＡ）；Ｓｍａｌｌ　Ｓａｍｐｌｅ　Ｓｉｚｅ　Ｐｒｏｂｌｅｍ（ＳＳＳ）　

摘　要：传统的ＰＣＡ和ＬＤＡ算法受限于“小样本问题”，且对像素的高阶相关性不敏感。论文将核函数方法与规范化ＬＤＡ相结合．　将原图像空间通过非线性映射变换到高维特征空间，并借助于“核技巧”在新的空间中应用鉴别分析方法。通过对ＯＲＬ人脸库的　大量实验表明，该方法在特征提取方面优于ＰＣＡ，ＫＰＣＡ，ＬＤＡ等其他方法，在简化分类器的同时，也可以获得高识别率。　关键词：核函数方法；规范化ＫＤＤＡ；ＫＰＣＡ；小样本问题　文章编号：１００２—８３３１（２００７）０５—００３６—０３　文献标识码：Ａ　中图分类号：ＴＰ３９１　

１　引言　近２０年来，人脸识别因其在众多领域的巨大应用前景。成　为人工智能界最为活跃的研究领域之一。在现有的人脸识别方　法中，基于整体方法的研究一直不断，其中最常用的方法有：特　征脸方法［３１。Ｆｉｓｈｅｒ脸方法［４１。两种方法的思想都是采用某种线　性映射，将原始图像空间变换到低维特征空间。但特征脸采用　的ＰＣＡ（主分量分析）和Ｆｉｓｈｅｒ脸采用的ＬＤＡ（线性鉴别分析）　都有一个共同的弊症，那就是所谓的小样本问题（ＳＳＳ），样本的　维数远高于训练样本个数。传统的解决方法是ＰＣＡ＋ＬＤＡ，先用　ＰＣＡ对图像进行“预处理”移除类内散度矩阵的零空间以降低　维数．然后在低维的子空间进行ＬＤＡ［４￣。但丢弃的零空间包含　“最具鉴别力的信息”。为解决该问题。Ｙｕ等【　１提出直接ＬＤＡ　（Ｄ—ＬＤＡ），即求类间散度矩阵零空间的补空间与类内散度矩阵　零空间的交集．保留类内散度矩阵零空间的“最具鉴别力的信　息”。Ｌｕ等提出规范化的ＬＤＡ（Ｒ—ＬＤＡ）进一步地改进Ｄ—ＬＤＡ，　通过调整规范化参数．降低类内散度矩阵零空间求解的不稳　定性　鉴于ＰＣＡ、ＬＤＡ都是从像素的二阶依赖上考虑，对于多像　素之间的依赖性或像素的高阶关系不敏感。Ｓｃｈｏｌｋｏｐｆｔｉｃｈ提出　基于核函数方法的ＰＣＡ（Ⅺ）ＣＡ）［６１。Ｂａｎｄａｔ根据同样的处理方　法，将ＬＤＡ推广到非线性领域，提出核辨别分析（ＫＤＡ）［７１。该方　法将原图像空间通过某种形式的非线性映射变换到一个高维　空间．并借助于“核技巧”在新的空间中应用鉴别分析方法。这　种非线性鉴别分析方法的独特和关键之处在于它巧妙地借　助于“核函数”．而不需要直接对原图像空间进行任何非线性　映射．从而使计算鉴别矢量和进行鉴别分析的工作变得相对　容易。其另一个优点就是，把原始图像空间的不可线性分　类转换到高维特征空间实现线性可分，从而简化分类器的　设计。　本文将核函数方法与规范化参数方法结合，在解决小样本　问题的基础上．很好地利用核函数方法提取像素高阶相关。实　验结果表明。本文方法在特征提取方面优于ＰＣＡ，ＫＰＣＡ，ＬＤＡ　等其他方法、。且有效地抑制了“小样本问题”。　

基金项目：湖南省省教育厅资助科研课题（ｔｈｅ　Ｒｅｓｅａｒｃｈ　Ｐｒｏｊｅｃｔ　ｏｆ　Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｅｄｕｃａｔｉｏｎ　ｏｆ　Ｈｕｎａｎ　Ｐｒｏｖｉｎｃｅ，Ｃｈｉｎａ　ｕｎｄｅｒ　Ｇｒａｎｔ　Ｎｏ．０２Ｃ２２６）。　作者简介：￣（１９６８一）。男，汉族，工学博士，ＣＣＦ会员，湖南大学控制科学与工程博士后，主要研究领域：非结构化多媒体信息处理技术。　

维普资讯 http://www.cqvip.com 杨家红，史　超，王耀南：基于规范化ＫＤＤＡ的人脸识别算法　３７　２规范化ＫＤＤＡ　规范化ＫＤＤＡ：将原图像空间　通过非线性映射　，映射　到更高维的特征空间Ｆ中，然后在Ｆ中应用改进的Ｆｉｓｈｅｒ线性　判别式进行ＬＤＡ的方法。同时，引入核函数概念。使得Ｆ中任　意两个元素的内积可由　中对应的元素的核函数值代替，而　不必求出映射　、及Ｆ。由于使用的是改进的Ｆｉｓｈｅｒ判别式．所　以有效地解决了‘小样本问题（ＳＳＳ）’。　

一个Ｌ幅人脸图像的训练集，可分为Ｃ类：｛Ｚｉ　Ｊ　。，每一幅　

图像ｚ　属于一个类五，每类中图像的个数为Ｃｉ，Ｌ＝∑　Ｃ。Ｃｉ，其　中：　１，２，３，…，Ｃ；ｊ＝Ｉ，２，３，…，Ｃ　。图像被拉伸为一个长度为Ⅳ　的列向量，Ⅳ＿图像的高Ｘ图像的宽，也就是说：ｚ　∈Ｒ　（Ⅳ维实空　间）。存在一个映射咖，使得：　∈Ｒ　咖（　）＝　∈Ｆ，咖（　）＝　线　性可分。　Ｆ中的类间散度矩阵为：　

ｓ　．∑　Ｃ　ｃ，（￣一ｓ，－Ｏ—ｓ）（　）　Ｌ　Ｆ中的类内散度矩阵为：　

ｓ　’∑：。∑　。（　其中：　。∑　＝　１・∑　

＝　・∑：。∑　＝　１・∑　。∑　为Ｆ中第ｉ的平均值，　表不Ｆ中的总体平均值。　在Ｆ中，ＬＤＡ决定了一组最优线性可分基：｛　Ｊ　，设：　＝　。，　：，…，　，　可由Ｆｉｓｈｅｒ线性判别式来确定。为了解决‘小　样本问题（ｓｓｓ）’，使用改进的Ｆｉｓｈｅｒ线性判别式：　

￣＝ａｒｇｍａｘ　，叼为规范化参数（１）　

～厅　一一　对　、ｓ　进行特征分析。令：　；＝、／　・（　；一　）；ｔｌｌｂｂ＝　

，　：，…，　ｃ】；则：　：∑：　。　＝　Ｔ。因为　是由ｚ　通　过非线性映射得到的．Ｆ是由Ｒ　映射得到的更高维特征空间　（可以是无限维的），所以计算　：是不现实的。由文献【１】知　道ｓ　的秩为Ｃ一１。此处求出　：　的特征值、特征向量，然后　分析　：。　引入核函数，凡是满足Ｍｅｒｃｅｒ条件的函数均可作核函数。　对于任意两个类　、　，一个Ｃ　ＸＣｈ的内积矩阵定义为：　＝【　】，　（ｚｈ，ｚｈ）＝　ｈ。其中：　１，２，…Ｃｔ，　＝１，２，…，　；Ｚ＝１，２，…，　Ｃ；＾＝１，２，…，Ｃ；ｍ＝ｌ，２，…，Ｃｆ；ｎ＝１，２，…，　。共ＣｘＣ个矩阵构　

成：　＝【　，　的大小为ＬｘＬ。由文献【１】，可以得到：　

６Ｔ　６：　曰．（ＡＬＴｃ　旷　１‘ＡＬＴｃｋｌ　）一　（２）　１　１　Ｔ　告（１：　ｋｌ　忸　

式（２）中：１　为Ｌ￣Ｃ矩阵，每个元素均为１；曰：ｄ　、／Ｃｔ，　

、／ｃ２，…，、／ｃｃ】；Ａ　ｄ　【ｎｃ．，　，…，　】，　＝［１／Ｃ　，１／Ｃ　“，１／　

ｃｙ，口ｃ为Ｃｉｘ１块矩阵，每个元素的值均为１／ｃｆ。　

设Ａ　、　为　：　６特征值、特征向量，ｉ＝１，２，…，Ｃ；因为　Ｔ　与　：是等秩的，所以完全可以用　Ｔ　的特征值、特　

征向量来分析　：，但为了进一步研究Ｓｖｍ，必须引入　：　特征值、特征向量的表达式，由特征值、特征向量的定义知：　：　６・ｅｉ＝／￣；・ｅ　，将其两边同时乘以　６可以得到：（　６　：）・　（　６ｅｉ）＝Ａ　・（　６ｅｉ）。即：Ａ　、　６ｅ；、为　：的特征值、特征向量。　选取ｍ个最大的特征值、及其对应的特征向量进行分析，ｍ≤　Ｃ一１。令：Ｅ＝ｆｅＩ，ｅ２，…，ｅ　，ｙ＝　Ｉ，口２，…，口　＝　６Ｅ，Ａ６＝ｄｉｏｄ￣　，　２　２　Ａ２，…，Ａ　】。　．　

一　一　设　＝ＶＡｂ　，则：因为　跚　－Ｊ且（（　６Ｅ・Ａ６　）　）Ｓ　

一　（　６Ｅ・Ａ６　））－Ｊ。所以：　

一　一　ｒｓ　（Ｅ・Ａ　ｒ　

６Ｔ

Ｓ　删　６（Ｅ・Ａ６　）　（３）　

由文献【１】可将上式改写为：　：ｓ　＝（１／Ｌ）（　１　２）。　其中：ｊ１：（１／Ｌ）Ｂ（Ａ　Ｔ　ｊ　一（１／Ｌ）Ａ　Ｔ　１　一（１／Ｌ）１　Ｔ　Ａｍ＋（１／Ｌ：）１　Ｔ　ｊ　１　）曰；Ｊ２：（１／Ｌ）Ｂ（Ａ　Ｔ　豆’・　旷（１／Ｌ）Ａ：　Ｋ～　ＷＫ１ＬＣ－（１／Ｌ）１￣ｃＫＷＫＡＬ￣－（１／Ｌ　）ＫＷＫ１Ｌｃ）Ｂ；Ｗ－－ｄｉａｇ［ｗ￣，Ｗ２，…，　ｗｄ大小ＬｘＬ；’．，为Ｃ　ｘＣｉ矩阵，每个元素均为１／Ｃ　。　设Ａ　；为按升序排列的Ｓ　的特征值，Ｐ　为其对应的特征　向量，ｉ＝１，２，…ｍ为了解决‘小样本问题（ＳＳＳ）’，取最小的　（≤ｍ）个特征值所对应的特征向量。记：Ｐ＝【ｐ－　，Ｐ：　，…，Ｐ　】，　Ａ　＝ｄ　Ａ。　，Ａ：　，…，Ａ　】，Ｑ＝ｕＰ，可以得到：Ｑ　—ｉＱ　。那么