应用非负矩阵分解和RBPNN模型的掌纹识别方法

格式：docx
大小：43.77 KB
文档页数：11

下载文档原格式

增量式鉴别非负矩阵分解算法及其在人脸识别中的应用

增量式鉴别非负矩阵分解算法及其在人脸识别中的应用蔡竞;王万良;郑建炜;李吉明【摘要】针对在线学习的人脸识别效率问题,提出了一种增量式鉴别非负矩阵分解算法.在以往无监督学习模式下的增量式非负矩阵分解算法基础上,利用初始训练样本数据和新增训练样本的类别信息,将同类别训练样本对应的系数向量均值作为初始迭代值,并在类内欧氏距离最小的约束下建立目标泛函,从而获得更具鉴别性的特征并使优化求解时所需迭代次数明显减少.通过在ORL和PIE人脸数据库上的实验验证了该算法收敛速度快、分类精度高,且较批量式算法有更高的效率优势.%Aiming at the efficiency and efficacy of online feature learning for face recognition, a novel incremental discriminant learning algorithm of non-negative matrix factorization is proposed. Compared with former unsupervised online matrix factorization methods, our approach takes good advantage of the label information of training samples. Coefficient vector means of the same class were used for initialization, then the algorithm iterates with constraints on minimizing Euclidean distance of in-class samples. Which results more discriminative features and less iterations in computation. Experiments on ORL and PIE face datasets demonstrated that the proposed algorithm achieved better classification accuracy and converged faster than former batch based non-negative matrix factorization algorithms.【期刊名称】《图学学报》【年(卷),期】2017(038)005【总页数】7页(P715-721)【关键词】人脸识别;有监督学习;非负矩阵分解;增量学习【作者】蔡竞;王万良;郑建炜;李吉明【作者单位】浙江工业大学计算机科学与技术学院,浙江杭州 310023;浙江警察学院刑事科学技术系,浙江杭州 310053;基于大数据架构的公安信息化应用公安部重点实验室,浙江杭州 310053;浙江工业大学计算机科学与技术学院,浙江杭州310023;浙江工业大学计算机科学与技术学院,浙江杭州 310023;基于大数据架构的公安信息化应用公安部重点实验室,浙江杭州 310053【正文语种】中文【中图分类】TP391.4高维度的原始数据在计算机视觉、信号处理以及模式识别等领域中是极为常见的现象。

非负矩阵分解及其在模式识别中的应用1

其中 Bn×r 称为基矩阵, Cr×m 为系数矩阵. 若选择 r 比
n 小, 用系数矩阵代替原数据矩阵, 就可以实现对原

241
第 51 卷第 3 期 2006 年 2 月
评述
数据矩阵的降维, 得到数据特征的降维矩阵, 从而减少存储空间, 节约计算资源; 从数据编码表示来看, 以基矩阵为码本, 则系数矩阵就为相应的编码系数. 文献[3]从矩阵分解的角度就主成分分析、向量量化、独立分量分析和非负矩阵分解作了讨论.
2πσ ij ). (7)
∑ 若假设 σ ij = 1 并忽略因子1 2 和常数项 log( 2πσ ij ),
ij
则得到
∑ LED (B, C) = ⎡⎣ Xij − (BC)ij ⎤⎦2.
(8)
ij
采用传统的梯度法, 有
( ) ( ) ∂LED
∂Bik
=
−2
⎡ ⎢⎣
XCT
−
ik
BCCT
ik
⎤ ⎥⎦
∑ s.t. B ≥ 0, C ≥ 0, Bi2k = 1, ∀k.
i
其迭代算法如下:
.
( ) ( ) 如果设置 φik =
Bik BCCT
, ϕkj =
Ckj BT BC
, 式 (10)加
ik
kj
性迭代规则就变成了如下的乘性迭代规则[5]:
Bik
←
Bik
( XCT )ik (BCCT )ik
,
Ckj
← Ckj
(BT X )kj (BT BC)kj
.
(11)
如果考虑噪声为泊松噪声, 即有
( ) p(Xij
| B,C) = exp ⎧⎪⎨− ⎪⎩

非负矩阵因子及在人脸表情识别中的应用

非负矩阵因子及在人脸表情识别中的应用黄勇【摘要】提出了一种基于二维非负矩阵因子的人脸表情识别方法.该算法直接将2维人脸表情图像矩阵作为2维矩阵并结合NMF进行表情特征提取,称之为2DNMF.与NMF等不同,2DNMF充分利用表情图像矩阵中的行向量间的信息和列向量间的信息,尽可能地保留了原始的表情信息.基于CED-WYU(1.0)和JAFFE两个表情数据库的识别结果表明,基于2维非负矩阵因子的特征提取方法能有效地提高识别率及效率.【期刊名称】《计算机工程与应用》【年(卷),期】2010(046)026【总页数】3页(P182-183,187)【关键词】非负矩阵因子;2 维非负矩阵因子;表情识别【作者】黄勇【作者单位】柳州铁道职业技术学院,电子工程系,广西,柳州,545007【正文语种】中文【中图分类】TP391.411 引言传统的基于图像局部的分析技术（如PCA[1]），是一种基于全局子空间的分析方法，然而在人脸表情识别的学习和分析中，基于局部特征具有较全局更好的性能，如厌恶表情，主要体现在嘴巴的变化上。

基于以上考虑，文献[2-3]提出了一种非负矩阵因子（Non-negative Matrix Factorization，NMF）算法来学习和分析物体或图像的局部，该算法通过对矩阵引入非负性约束，在图像重构过程中仅允许图像由基图像或局部的加法来构成，不允许减法或加减法组合的出现，来保证基于局部的感知行为。

文献[4]以此算法及改进算法（Local Non-negative Matrix Factorization，LNMF）实现了人脸表情识别，得出了较好的结果。

但在NMF中，需要将2维的表情图像矩阵转换为1维的表情图像向量。

这样一方面这将会产生高维的向量空间，寻找优良的基图像就相对困难一些；另一方面也可能在转换过程中导致原始的2维表情图像中的一些隐藏的结构特征信息丢失。

受2维主元分析2DPCA的启发，不进行图像矩阵转换，将2维表情图像看作2维矩阵，再应用NMF进行表情特征提取，称为2维非负矩阵因子（2-Dimensional Non-negative Matrix Factorization，2DNMF）。

非负矩阵分解

非负矩阵分解非负矩阵分解（NonnegativeMatrixFactorization，NMF）是一种重要的数值分解技术，它可以将一个实对称矩阵分解成两个非负矩阵，其中元素都大于等于零。

它可以用来提取相关数据之间的关系，从而从模糊的数据中提取出有价值的信息，因此经常被应用于聚类、概念提取等机器学习的领域中。

首先，要理解NMF，我们需要介绍其基本概念，它是一种矩阵分解技术，一般可以将一个实对称矩阵分解为两个非负的矩阵，这些元素都大于等于零。

其中，一个矩阵称为基矩阵，用来描述数据之间的关系；另一个称为内积矩阵，用来描述数据之间的相关性。

NMF由布罗基-亨利林（Brock-Hennely）在1999年提出，是一种重要的半正则化方法，能够从给定的非负矩阵中恢复出潜在的内容主题，其计算结果可以看作是一种“直观的抽象”，可以给出一个“更容易理解”的表示。

NMF的思想是将一个非负实矩阵X分解成两个非负矩阵W和H，令X≈WH，这两个矩阵的元素均为非负值，分别叫做基矩阵W和内积矩阵H，其计算过程是令X，W，H分别尽可能接近W，H，X，使得W 和H的乘积最小。

W和H可以用来描述原始矩阵X中的数据之间的关系，而不是直接用原始矩阵来表示X。

NMF有很多应用，如用于聚类分析，文档检索，内容提取，图像处理等机器学习领域，其主要的优点是：(1)能够从模糊的数据中提取出有价值的信息，(2)可以自动化，减少神经网络算法中专家知识的应用，(3)可以用于实时处理大量数据，(4)可以用于视觉系统，提出新的视觉模型，从而对计算机视觉系统有很大帮助。

NMF在聚类分析中也有很好的应用，它可以自动发现原始数据中的隐藏信息，并把它们聚合成不同的类别。

它的聚类特性使得它可以用来处理复杂数据集，具有很多分类任务的优点。

例如，可以使用NMF来分析文本数据，将一些紧密相关的文本聚合到一起；可以用来分析视觉数据，将图像中的主要特征提取出来；还可以用来分析声音数据，将语音识别任务简化成一个重要的计算任务。

非负矩阵分解在图像分析中的应用

量)中包含大部分为0的系数，因此基图像矩阵牙和编码图像矩阵H是稀疏的(sParse)。

基图像的稀疏是因为它是非整体的而且包含多个版本的嘴、鼻子和其它面部元件，在这里各种版本的嘴、鼻子和其它面部元件是在不同的位置和处于不同的形式。

整张脸的多样性就是通过组合这些不同的部件所生成的。

尽管所有的部件至少被一张脸使用，但对于给定的脸并不一定同时使用所有的可用的部件。

这就导致了一个稀疏地分散的图像编码，与v Q的一元编码和P C A的全部分散的编码形成鲜明的对比。

N M F口」二叫叫l111l ll口L」乞_」卜尸叫叫卜一卜扁洲洲...l l习「二]]]l‘蓄日.l ll.l ll...「「]]]至习}}州州I11卜州卜了--.!!!...l一~门门一门门r一，「一几几鱼鱼匕列列「「」.!!!「翌r~~~~呈呈_」月匡匡{{{李一{{{江习l二月一一l r一-，厂气飞一1一T丁一疡一}}牲大1__里f户_」~__l l..!!里哩到「「工二)))钾一:片.r l‘r r一1:阅一宁一卞一二，二，户l l，、百..11.气馨。

书一各.本.4本4一一··1一f+于+卡一··上址全士上上福福~备牛4半4--p C A辍蟒矍黔鬓辍卜卜玺玺铆铆~呀，.曰卜，44r尹石畏‘‘‘气丁习巨蒸蒸俘砚勺勺爵自自酬酬爵圃令令麒圃麒麒肠肠翻嚷寥娜娜氢氢翩翩{密令润瞬绝翻眯眯之麟爵观胰爵广截截彝啊!!!版{{{嗽叫解解遗、髯摹!!!瓮髯酬111·惑一履图2.1N M F、V Q、P C A对人脸的表示N M F是对人脸的的基于部分的表达，而V Q和P C A是对人脸的基于整体的表达。

这三种分析方法都被应用到一个m=2429的人脸图像数据库中，每个图像由n=19xl9像素组成，最终形成一个n x m矩阵V。

这三种方法都是设法找到一种V的近似分解V二不朽叮，但是牙和H规定不同的约束条件。

非负矩阵分解及在人脸识别的应用PPT课件

some applications
How do you subtract a face? What does subtraction mean in the context of document
classification? back
2021
7
Non-negative Matrix Factorization
[4]J.Lu andY.-P.Tan,“Doubly weighted nonnegative matrix factorization for imbalanced face recognition”,Proc.IEEE Int.Conf.Acoustics,Speech,andSignalProcessing,2009,pp.877¨C880
2021
12
NMF Basis Imagesnmf_basis
Only allowing adding of basis images makes intuitive sense
– Has physical analogue in neurons
Forcing the reconstruction coefficients to be positive leads to nice basis images
VWH
2021
24
back 2021
25
Weighted NMF
2021
26
2021
27
back
2021
28
结论及未来工作
综上所述，非负矩阵分解是一种的提取图像局部特征信息的有效的方法，目前在很多领域得到广泛应用，值得我们关注。
问题
（1）非平衡样本集识别率低的问题

基于非负矩阵分解算法的人脸识别方法

基于非负矩阵分解算法的人脸识别方法彭梦冉【期刊名称】《《长春工程学院学报（自然科学版）》》【年(卷),期】2019(020)003【总页数】5页(P104-108)【关键词】人脸识别; 非负矩阵分解; 最速下降法; 稀疏约束【作者】彭梦冉【作者单位】安徽工商职业学院信息工程学院合肥231131【正文语种】中文【中图分类】TP312人脸识别是利用计算机提取人脸的相关特征，并由此辨别人物身份的一种应用技术，与其他生物特征识别技术相比，它具有无侵犯性、便于安装、成本投入少、不需要人工完成就可以自动执行等优势，因此，人脸识别技术广泛应用于信息、公共、金融等安全领域。

整个人脸识别的流程如图1所示，其中人脸图像的特征提取是人脸识别过程中最关键的技术之一，它在寻求最具有鉴别性的描述特征的同时，可以在适当的情况下实现模式数据描述的维数约减。

常用的人脸特征提取方法有基于几何特征方法、基于特征脸方法、局部特征法和基于弹性模型法等。

而非负矩阵分解算法就是一种局部特征提取方法。

图1 人脸识别流程1 基本理论1.1 非负矩阵分解算法简介非负矩阵分解算法是由日本学者Lee和Seung于1999年在《Nature》上发表的论文中提出的，与其他矩阵分解相比，其特点是找出表明事物中隐藏的特征，用局部特征的方式去辨别物体本身，同时加入了非负元素值的约束条件。

非负矩阵分解算法的基本思想是对于给定的任意一个n行m列非负矩阵V，能够找到一个非负矩阵W和一个非负矩阵V，使其满足V=WH，其中r的选择要满足(n+m)r<mn，这样W和H将会小于原始矩阵V，能够得到原始数据矩阵V的一个压缩模型。

1.2 目标函数与迭代规则Lee和Seung引入目标函数概念，该目标函数为K-L散度与欧式距离，度量时采用欧式距离时，目标函数如下：(1)目标函数采用欧氏距离‖V-WH‖度量，从负梯度方向进行迭代，则在如下的更新规则下非增：(2)(3)1.3 传统的NMF算法步骤已知非负数据矩阵与可接受最大误差，计算得到非负分解矩阵。

非负矩阵分解与RBF网络的人脸识别方法

• KRBF网络与RBF网络的网络结构相同。 • 它们的不同主要在于训练过程。
4.4 Kernel RBF 网络的训练
1.利用kernel k-means算法将输入数据在Kernel 特征空间内聚类。 (RBF网络则是利用k-means 算法将输入数据局类).
2.根据训练数据的每一类训练RBF函数的参数（中间节点的参数）
T
h
j
:
H中类i的平均值。
SB

1 C(C 1)
C i 1
C
(ui
j 1
u j )(ui
u j )T
• 迭代算法

hkl b b2 4 vil i
wik hkl k wik hkl

2 niC

4 ni2 (C
1)

b 4
们可以得到下面的矩阵分解：
V WH
W是基矩阵， H 是系数矩阵，这样人脸向量可以表示为基向量的线性累加。
3.2 非负矩阵分解（NMF）Lee 和 Seung在 1999 年提出
• NMF 对W 和 H 加了非负的约束. 这样可以直观地将基图像累加成为一个完整的人脸
• NMF 使用 V 与其近似 Y 的divergence。
V Y WH
• 目标函数定义为
Min D(V
B,H
Y
WH )
i, j

vij

log vij yij
vij

yij

s.t. W , H 0, bij 1 j
i
3.3 局部非负矩阵分解（LNMF） LNMF 通过对NMF加如三个约束，能够得到更加局部的特征。 (1) 减少基图像的组成。 (2) 减小不同基之间的冗余。 (3) 在基图像中保留最重要的一些信息。

非负矩阵分解算法综述

非负矩阵分解算法综述非负矩阵分解（Non-Negative Matrix Factorization, NMF）是一种常用的非线性降维和特征提取技术，广泛应用于图像处理、文本挖掘、推荐系统等领域。

本文将对非负矩阵分解算法进行综述。

一、基本原理V≈WH其中，W的每一列可以看作是数据的一个潜在特征，H是通过组合这些特征得到的原始数据的表示。

NMF的目标是找到合适的W和H，使得V 和WH的差异最小化。

二、经典NMF算法1. Multiplicative Update（MU）Multiplicative Update算法是最早的NMF方法之一，通过迭代更新W和H的元素来最小化目标函数。

该方法简单易懂，但可能陷入局部最优解。

2. Alternating Nonnegative Least Squares（ANLS）ANLS算法通过最小二乘法对每一轮更新W和H的元素，得到更好的分解结果。

相比于MU算法，ANLS算法更稳定，但计算复杂度较高。

3. Projected Gradient Descent（PGD）PGD方法通过梯度下降法对W和H更新的过程进行限制，使得其始终保持非负。

该方法在稀疏矩阵分解问题中表现较好。

4. Sparse NMFSparse NMF算法是对NMF进行改进，引入了稀疏性约束。

通过加入稀疏性约束，该算法能够产生更加稀疏的特征表示，提高了特征提取的效果。

三、进展和拓展1.随机NMF随机NMF方法通过随机选择分解结果的初始化值，然后在迭代过程中进行更新，可以避免陷入局部最优解。

2.多尺度NMF多尺度NMF方法对输入矩阵进行多尺度分解，可以从不同尺度上捕捉到更丰富的特征信息。

3.核NMF核NMF方法利用核技巧将非负矩阵分解扩展到非线性情况，可以更好地处理非线性特征提取问题。

4.基于深度学习的NMF基于深度学习的NMF算法将NMF与深度学习模型结合，利用深度神经网络进行特征提取和分解，可以处理更加复杂的数据。

基于深度学习多层非负矩阵分解的人脸识别方法[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201710568578.0(22)申请日 2017.07.13(71)申请人西安电子科技大学地址 710071 陕西省西安市雁塔区太白南路2号(72)发明人同鸣　李明阳　陈逸然　席圣男　(74)专利代理机构陕西电子工业专利中心61205代理人王品华　朱红星(51)Int.Cl.G06K 9/00(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)(54)发明名称基于深度学习多层非负矩阵分解的人脸识别方法(57)摘要本发明公开了一种基于深度学习多层非负矩阵分解的人脸识别方法，主要解决现有人脸识别技术在复杂外观变化下识别率低的问题。

其技术方案是：1.利用VGG-Face提取训练样本和测试样本各个通道数据的特征数据；2.对训练样本各个通道数据的特征数据分别重复L次归一化、非线性变换和矩阵分解的特征提取过程，得到低秩鲁棒特征；3.构建K个最近邻分类器；4.将测试样本的各个通道数据的特征数据分别进行投影，得到投影系数向量；5.将投影系数向量输入到K个最近邻分类器进行分类；6.综合K个最近邻分类器的分类结果，得到测试样本的识别结果。

本发明提高了复杂外观变化下的人脸识别率，可应用于身份鉴定和信息安全领域。

权利要求书3页说明书5页附图1页CN 107451537 A 2017.12.08C N 107451537A1.基于深度学习多层非负矩阵分解的人脸识别方法，包括：(1)将训练样本的每个通道数据输入到VGG-Face深度卷积神经网络中，得到训练样本每个通道数据的特征数据X(k)，其中，k＝1,2,...,K，K为训练样本的通道数；(2)对步骤(1)得到的特征数据X(k)分别进行归一化、非线性变换和矩阵分解的特征提取过程，得到系数矩阵H(k)；(3)将步骤(2)中的特征提取过程重复L次，得到低秩鲁棒特征h j(k)，其中，j＝1,2,..., n，n为训练样本总数；(4)根据步骤(3)得到的低秩鲁棒特征h j(k)，构造K个最近邻分类器；(5)将测试样本的每个通道数据输入到VGG-Face深度卷积神经网络中，得到测试样本每个通道数据的特征数据Y(k)；(6)根据步骤(5)得到的特征数据Y(k)进行投影过程，得到投影系数向量(7)将步骤(6)得到的投影系数向量输入到K个最近邻分类器中，得到测试样本每个通道的分类结果，其中，i＝1,2,...,e，e为测试样本总数；(8)综合步骤(7)得到的测试样本每个通道的分类结果，得到测试样本的分类结果。

非负定矩阵判别法

非负定矩阵判别法
非负定矩阵判别法是线性代数中常用的一个方法，用于判断一个矩阵是否为非负定矩阵。

非负定矩阵是指所有特征值都非负的矩阵，它在概率统计、数学物理等领域有广泛的应用。

要判断一个矩阵是否为非负定矩阵，一般有两种方法：一是求出矩阵的所有特征值，判断它们是否都非负；二是求出矩阵所有的主子阵的行列式，判断它们是否都非负。

这两种方法都需要对矩阵进行计算，较为繁琐。

因此，研究人员提出了一种新的非负定矩阵判别法——Schur定理。

Schur定理是一种基于矩阵的特殊分解方式——Schur分解的方法，它可以快速、直接地判断一个矩阵是否为非负定矩阵。

Schur定理的应用在矩阵分析、统计学、信号处理等领域有广泛的应用。

- 1 -。

基于非负稀疏编码和RBPNN的掌纹图像识别方法

The Method of Palmprint Recognition Based on Non-negative Sparse Coding and Radial Basis Probabilistic Neural Network 作者：尚丽[1];陈杰[1]
作者机构： [1]苏州市职业大学电子信息工程系,江苏苏州215104
出版物刊名：苏州市职业大学学报
页码： 65-69页
主题词：非负稀疏编码(NNSC);径向基概率网络(RBPNN);掌纹图像;图像识别和分类
摘要：主要探讨了一种新颖的基于非负稀疏编码（NNSC）和径向基概率神经网络（RBPNN）模型的掌纹图像识别方法。

使用NNSC算法可以成功地提取掌纹图像的特征，利用RBPNN模型可以有效、快速地实现掌纹图像的分类。

与RBFNN和BPNN模型相比，实验结果表明RBPNN模型具有更高的识别率和更好的分类能力。

基于非负矩阵分解方法的笔迹鉴别(1)重点

基于非负矩阵分解方法的笔迹鉴别(1)摘要笔迹鉴别在模式识别的发展和应用中都有着重要的意义。

运用非负矩阵分解算法(NMF)对中文单字提取笔迹特征，并利用训练样本和测试样本之间角度的相关性和K近邻算法对笔迹进行分类。

结果表明，NMF算法其分类正确率明显高于主分量分析(PCA)方法。

这说明了NMF算法在手写笔迹鉴别分析中的潜力。

关键字笔迹鉴别；非负矩阵分解；K近邻1 引言随着信息数字化的飞速发展，手写体笔迹鉴别[4，5]成为计算机视觉和模式识别领域中活跃的研究课题。

笔迹是一种相当稳定的行为特征，不同的人有不同的笔迹，且手写笔迹易于获取。

基于其种种优点，笔迹鉴别[6，8]广泛的应用于政府部门，金融，法律等领域。

文献专家可以鉴别出笔迹的真伪，但计算机自动提取笔迹特征，并鉴别其真伪，特别是对少量的笔迹仍然有一定的难度。

1999年Lee和Seung在Nature上发表了非负矩阵分解算法[1，2]。

非负矩阵分解(Non-negative Matrix Factorization)是目前国际上提出的一种新的矩阵分解方法，即NMF是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。

非负矩阵分解方法提供了一种新的矩阵分解思路：其分解算法实现简便，分解的结果中没有负值，矩阵具有可解释性和明确的物理意义，而且占用的存储空间较少。

本文对每个人书写的少量（如个人签名）笔迹进行鉴别。

为了更好的提取笔迹特征，首次引入非负矩阵分解算法，并应用欧氏距离、Cos距离以及K 近邻对测试样本进行分类。

将分类结果与主成分分析算法得到的结果进行比较，得出结论。

2 非负矩阵分解理论非负矩阵分解[3]问题可描述为：已知一个非负矩阵V，要找出非负的n ＊r矩阵 W和非负的n＊m矩阵H，使 V=WH。

由上述可知，非负矩阵分解是用非负性约束来获取数据表示的一种方法。

非负性是对矩阵分解非常有效的条件限制，它导致了对于原始数据的基于部分的表示形式，即样本数据只允许加性和非负的组合。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

应用非负矩阵分解和RBPNN模型的掌纹识别方法尚丽;崔鸣;杜吉祥【摘要】提出一种基于非负矩阵分解(NMF)和径向基概率神经网络的掌纹识别方法.NFM是一种有效的图像局部特征提取算法,用于图像分类时能得到较高的识别率.考虑PolyU掌纹图像数据库,应用NMF、局部NMF(LNMF)、稀疏NMF(SNMF)和具有稀疏度约束的NMF(NMFSC)算法分别对掌纹图像进行特征提取,并对提取到的局部特征基图像进行分析对比；在特征提取的基础上,应用径向基概率神经网络(RBPNN)模型对掌纹特征进行分类,分类结果表明了RBPNN模型对掌纹特征具有较好的识别能力.实验对比结果证明了基于RBPNN的NMF掌纹识别方法在掌纹识别中的有效性,具有一定的理论研究意义和实用性,%A palmprint recognition method based on Non-negative Matrix Factorization (NMF) and Radial Basis Probabilistic Neural Network(RBPNN) is proposed. NMF is an efficient local feature extraction algorithm of images, and it can obtain high recognition rate in image classification task. Considered PolyU palmprint image database, the palm features are extracted by using several algorithms, such as NMF, Local NMF(LNMF), Sparse NMF(SNMF), and NMF with Sparseness Constraints(NMFSC) et al. And these feature basis images extracted are analyzed and compared. On the basis of feature extraction, the RBPNN classifier is utilized to classify palmprint features, and the classification results show that the RBPNN model has better palmprint recognition property. Compared classification results obtained by different algorithms, it is clear to see that the palmprint recognition results based on RBPNN and NMF are indeed efficient, and thesealgorithms behave certain theory research meaning and application in practice.【期刊名称】《计算机工程与应用》【年(卷),期】2012(048)004【总页数】5页(P199-203)【关键词】非负矩阵分解;局部特征提取;特征基图像;掌纹识别;径向基概率神经网络(RBPNN)分类器【作者】尚丽;崔鸣;杜吉祥【作者单位】苏州市职业大学电子信息工程系,江苏苏州215104;苏州市职业大学电子信息工程系,江苏苏州215104;中国科学技术大学自动化系,合肥230026;华侨大学计算机科学与技术系,福建泉州362021【正文语种】中文【中图分类】TN911.73图像特征的选择将左右图像识别的结果，能否在高维的原始数据空间内恰当有效地进行特征的提取和选择关系到下一步的分类决策操作，因此特征提取在模式识别中一直占据着重要的地位。

仅对掌纹图像而言，目前已涌现出大量的掌纹特征提取算法，特别是基于特征子空间的一些方法已成为研究者关注的主要内容，如线性判决分析（Linear Discriminant Analysis，LDA）[1]、主分量分析（Principal Component Analysis，PCA）方法[2]、独立分量分析（Independent Component Analysis，ICA）方法[2-3]、非负矩阵分解（Non-negative MatrixFactorization，NMF）[4-5]、核主元分析（Kernel PCA，KPCA）方法[6]、核独立元分析（Kernel ICA，KICA）[7]等。

其中，非负矩阵分解（NMF）是一种新兴的矩阵分解算法，能够提取图像的局部特征。

该方法区别于上述提到的LDA、PCA、ICA 等方法，它使分解后的所有分量均为非负值，同时实现非线性的维数约减。

在传统的NMF算法基础上，分解结果加入包括非负性限制在内的其他限制条件，则形成了一些改进的NMF 算法，如局部非负矩阵分解（Local NMF，LNMF）[8]算法、具有稀疏度约束的非负矩阵分解（NMF with Sparseness Constraints，NMFSC）[9-10]算法、稀疏非负矩阵分解（Sparse NMF，SNMF）[5，11]算法等。

上述各类NMF算法的限制性条件和目标最小优化算法各不相同，但在约束条件下均能有效地提取出图像的特征，目前已被广泛应用于图像处理领域[1，5，10]，特别是目前较热门的生物特征识别技术领域，如人脸图像识别、指纹图像识别和掌纹图像识别等研究领域[12-13]。

在上述各类NMF算法研究的基础上，本文针对掌纹图像数据，探讨各类NMF算法对掌纹图像特征提取的有效性；进一步地，利用距离和径向基概率神经网络（Radial Basis Probabilistic Neural Networks）分类器[14-15]来讨论和分析各种NMF 算法对掌纹识别的性能，简要概括了各种NMF算法在掌纹识别中的优缺点，为掌纹识别技术的研究提供一定的理论研究依据。

1 非负矩阵分解的定义在数学上，从计算的观点看，矩阵分解结果中存在负值是正确的，但是由于许多数据本身就是非负的，如灰度图像、物质成分含量、文章中单词出现的次数和统计学中的概率转移矩阵等，如果采用传统的因子分析方法使得分解结果中存在负值，则会失去数据本身的物理意义，在实际问题中没有任何意义。

因此，探索矩阵的非负分解方法一直是很有意义的研究问题。

非负矩阵分解是一种多变量分析方法。

假设非负矩阵表示M 个N 维的样本集合，行向量vk 表示第k 行样本数据，则矩阵V 的大小为N×M。

对输入数据矩阵V 进行线性分解，使得V ≈WH。

其中称为特征基矩阵，大小为N×r，wk 表示特征基矩阵W 的第k 列列向量称为特征系数矩阵，hk 为H 的第k 行行向量，大小为r×M。

如选择r ＜N，用系数矩阵代替原数据矩阵，就可以实现对原数据矩阵的降维，从而减少存储空间。

从数据编码表示来看，W 矩阵是码本，H 矩阵是编码系数，W 和H 均是非负矩阵。

2 各类非负矩阵分解（NMF）算法2.1 传统NMF算法NMF是一种基于局部的子空间投影方法。

该方法类似于正定矩阵分解，已被广泛应用于不同的领域。

由于NMF对特征基矩阵和特征系数矩阵都施加了非负性约束，使得重建图像是由基图像的非负叠加组合而成，体现出人类思维中“部分构成整体”概念[9-10]。

NMF算法常用的两种目标函数为[9-10]：式（1）和式（2）中矩阵V、W 和H 均为非负矩阵。

对应式（1）的迭代公式为：随机选取非负矩阵作为W 和H 的初始矩阵，然后使用上述迭代规则就可以保证目标函数是一直下降的，同时在迭代过程中矩阵W 和H 也能保证一直是非负的。

2.2 LNMF算法局部NMF（LNMF）算法是在NMF方法的基础上提出的[9]，该方法了增加了下面3 个约束条件：（1）最小化，增强权值矩阵H 的最大化稀疏性；（2）最大化(HH T)，增强特征基矩阵W 的最大化代表性；（3）增强特征基矩阵W 的正交性。

这三个限制条件强调了原图像分解过程中基本特征成分的局部化。

LNMF的目标函数如下所示[8]：其中，参数α、β 为正常数。

采用轮流更新W 和H 的方式实现目标函数的最小化，乘性迭代公式如下所示：由于采用了一些近似处理，算法中的参数α、β 选用正的常数，并没有出现在迭代公式中，关于此问题，至今并没有文献给出合理的解释，还有待于进一步的研究。

2.3 稀疏NMF（SNMF）算法Liu等人[11]提出了稀疏NMF（SNMF）算法，其目标函数如下：其中，参数β 为正的常数其乘性迭代规则如下：上述SNMF算法和Hoyer提出的非负稀疏编码（Non-Negative Sparse Coding，NNSC）算法类似[9-10]，区别在于SNMF 算法采用了广义K-L散度（Generalized Kullback-Leibler Divergence，GKLD）和L1 范数定义的稀疏性惩罚项组合而成；对W 和H采用了类似最大期望（EM）算法的方式优化，迭代公式全部采用乘性迭代规则，能很好地保持数据的非负特性。

2.4 具有稀疏度约束的NMF（NMFSC）算法Hoyer 在NNSC 的基础上提出了可精确控制稀疏性的算法——具有稀疏度约束的NMF算法（NMFSC），这个算法最有特点也是最具创新性的地方是以非线性投影实现对稀疏性的精确控制，其目标函数如下[9，11]：上式满足约束条件：W 和H 为非负矩阵；对任意i：sparsness(wi)=Sw；sparsness(hi)=Sh。

这里wi 是W 的第i 列列向量；hi 是H 的第i 行行向量；Sw 和Sh 分别是W 和H 期望的稀疏度。

一个向量x 稀疏度是基于L1 和L2 范数的关系，定义如下：其中n 表示x 的维数。

应用NMFSC算法的迭代过程为：（1）如果对特征基矩阵W 进行稀疏约束，则W 的迭代公式为：同时根据非负稀疏投影算法将W 的每一列变为非负值，使其L2 范数不变，但L1 范数达到要求的稀疏度。

（2）如果对稀疏系数矩阵H 应用稀疏约束则其迭代公式为：同样地，根据非负稀疏投影算法将H 的每一列变为非负值，使其L2 范数不变，但L1 范数达到要求的稀疏度。

（3）如果对W 和H 都不进行稀疏约束，则用标准乘法运算公式对W 和H 进行迭代：这里数学符号⊗和Ø 都是基于矩阵元素的乘除法，μW 和μH是迭代步长，是非常小的正数，用于控制迭代的进行，保证算法收敛。