人 脸 识 别 过 程 图1 人脸识别流程图 1． 人脸的检测和定位：检测图中有没有人脸，将人脸从背景中分割出来，获 取人脸或人脸上的某些器官在图像上的位置。 2． 特征提取：提取特征点，构造特征矢量；多个样本图像的空间序列训练出 一个模型，它的参数就是特征值；模版匹配法用相关系数做特征；而大部分神经网络方法则直接使用归一化后的灰度图像作为输入，网络的输出就是识别结果，没有专门的特征提取过程。 3． 识别：将带识别的图像或特征与人脸数据库里的特征进行匹配，进而将给 出的人脸图像与数据库中的某一个人脸图像及其名字，相关性对应起来。 人脸检测方法 基于知识的方法 a) 优点：规则简单。 视频捕获图像预处理人脸检测人脸特征提取人脸识别人脸数据库比对
b)缺点：难以将人类知识转化为明确的规则。 基于特征的方法 c)优点：可以依据面部器官的几何关系进行人脸检测。 d)缺点：光照、噪声和遮挡可能使得人脸的边界特征被弱化，从而使得算 法难以使用。 基于模版匹配的方法 e)优点：简单高效。 f)缺点：难以应对各种不同的成像条件；关于人脸模式和非人脸模式不存 在一个清晰的、明确的界限。 基于外观的方法 g)优点：通过大量的样本训练使得人脸识别的精确度高。 h)缺点：算法复杂。 基于肤色的系统 i)优点：不受人脸姿态变化的影响。 j)缺点：受光照等外在因素影响较大。
人脸识别方法 基于几何特征的识别方法 a)优点： i.符合人类识别人脸的机理，易于理解。 ii.对每幅图像只需存储一个特征矢量，存储量小。 iii.对光照变化不太敏感。 b)缺点： i.从图像中抽取稳定的几何特征比较困难，特别是特征受到遮挡时。 ii.对强烈的表情变化和姿态变化的鲁棒性较差。 iii.一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息丢失，该方法比较适合于人脸图像粗分类。基于统计的识别方法：隐马尔可夫法 c)优点：人脸识别率高。 d)缺点：算法实现复杂。 基于连接机制的方法 e)优点： i.能够根据有代表性的样本自我学习，具有鲁棒性和自适应性。 ii.以并行的方式处理信息，配以硬件实现，可以显著地提高速度。 f)缺点：算法实现复杂。
人脸识别主要算法原理 主流的技术基本上可以归结为三类，即：基于几何特征的方法、基于模板的方法和基于模型的方法。 1. 基于几何特征的方法是最早、最传统的方法，通常需要和其他结合才能有比较好的效果； 2. 基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。 3. 基于模型的方法则有基于隐马尔柯夫模型，主动形状模型和主动外观模型的方法等。 1. 基于几何特征的方法 人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以做为人脸识别的重要特征。几何特征最早是用于人脸侧面轮廓的描述与识别，首先根据侧面轮廓曲线确定若干显著点，并由这些显著点导出一组用于识别的特征度量如距离、角度等。Jia 等由正面灰度图中线附近的积分投影模拟侧面轮廓图是一种很有新意的方法。 采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征,但Roder对几何特征提取的精确性进行了实验性的研究，结果不容乐观。
可变形模板法可以视为几何特征方法的一种改进，其基本思想是:设计一个参数可调的器官模型(即可变形模板),定义一个能量函数，通过调整模型参数使能量函数最小化，此时的模型参数即做为该器官的几何特征。 这种方法思想很好，但是存在两个问题，一是能量函数中各种代价的加权系数只能由经验确定，难以推广，二是能量函数优化过程十分耗时，难以实际应用。基于参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需要大量的前处理和精细的参数选择。同时，采用一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息的丢失，更适合于做粗分类，而且目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也较大。 2. 局部特征分析方法（Local Face Analysis） 主元子空间的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核函数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴投影后临近的点与原图像空间中点的临近性没有任何关系，而局部性和拓扑性对模式分析和分割是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的表达十分重要。基于这种考虑，Atick提出基于局部特征的人脸特征提取与识别方法。这种方法在实际应用取得了很好的效果，它构成了FaceIt人脸识别软件的基础。 3. 特征脸方法（Eigenface或PCA）
BP神经网络模型与学习算法 BP神经网络模型与学习算法 (1) 一，什么是BP (1) 二、反向传播BP模型 (8) 一，什么是BP "BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。" 我们现在来分析下这些话： ?“是一种按误差逆传播算法训练的多层前馈网络” BP是后向传播的英文缩写，那么传播对象是什么？传播的目的是什么？传播的方式是后向，可这又是什么意思呢。 传播的对象是误差，传播的目的是得到所有层的估计误差，后向是说由后层误差推导前层误差： 即BP的思想可以总结为 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 ?“BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)” 最简单的三层BP：
?“BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。”BP利用一种称为激活函数来描述层与层输出之间的关系，从而模拟各层神经元之间的交互反应。 激活函数必须满足处处可导的条件。那么比较常用的是一种称为S型函数的激活函数： 那么上面的函数为什么称为是S型函数呢： 我们来看它的形态和它导数的形态： p.s. S型函数的导数：
3.基于matlab的人脸识别算法 3.1 问题描述 对于一幅图像可以看作一个由像素值组成的矩阵，也可以扩展开，看成一个矢量，如一幅 N*N 象素的图像可以视为长度为N2 的矢量，这样就认为这幅图像是位于N2 维空间中的一个点，这种图像的矢量表示就是原始的图像空间，但是这个空间仅是可以表示或者检测图像的许多个空间中的一个。不管子空间的具体形式如何，这种方法用于图像识别的基本思想都是一样的，首先选择一个合适的子空间，图像将被投影到这个子空间上，然后利用对图像的这种投影间的某种度量来确定图像间的相似度，最常见的就是各种距离度量。因此，本次试题采用PCA算法并利用GUI实现。 对同一个体进行多项观察时，必定涉及多个随机变量X1，X2，…，Xp，它们都是的相关性, 一时难以综合。这时就需要借助主成分分析来概括诸多信息的主要方面。我们希望有一个或几个较好的综合指标来概括信息，而且希望综合指标互相独立地各代表某一方面的性质。 任何一个度量指标的好坏除了可靠、真实之外，还必须能充分反映个体间的变异。如果有一项指标，不同个体的取值都大同小异，那么该指标不能用来区分不同的个体。由这一点来看，一项指标在个体间的变异越大越好。因此我们把“变异大”作为“好”的标准来寻求综合指标。3.1.1 主成分的一般定义 设有随机变量X1，X2，…，Xp，其样本均数记为，，…，，样本标准差记为S1，S2，…，Sp。首先作标准化变换，我们有如下的定义： (1) 若C1=a11x1+a12x2+ … +a1pxp，…，且使 Var(C1)最大，则称C1为第一主成分； (2) 若C2=a21x1+a22x2+…+a2pxp，…，(a21，a22，…，a2p)垂直于(a11，a12，…，a1p)，且使Var(C2)最大，则称C2为第二主成分； (3) 类似地，可有第三、四、五…主成分，至多有p个。 3.1.2 主成分的性质 主成分C1，C2，…，Cp具有如下几个性质： （1) 主成分间互不相关，即对任意i和j，Ci 和Cj的相关系数 Corr(Ci，Cj)=0 i j (2) 组合系数(ai1，ai2，…，aip)构成的向量为单位向量， (3) 各主成分的方差是依次递减的，即 Var(C1)≥Var(C2)≥…≥Var(Cp)
b p神经网络及m a t l a b实现
图1. 人工神经元模型 图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值 ( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为： 图中 yi表示神经元i的输出，函数f称为激活函数 ( Activation Function )或转移函数 ( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为： 若用X表示输入向量，用W表示权重向量，即： X = [ x0 , x1 , x2 , ....... , xn ]
则神经元的输出可以表示为向量相乘的形式： 若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net为负，则称神经元处于抑制状态。 图1中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。 2. 常用激活函数 激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。 (1) 线性函数 ( Liner Function ) (2) 斜面函数 ( Ramp Function ) (3) 阈值函数 ( Threshold Function ) 以上3个激活函数都属于线性函数，下面介绍两个常用的非线性激活函数。 (4) S形函数 ( Sigmoid Function ) 该函数的导函数：
河北农业大学 本科毕业论文(设计) 题目：基于Eigenfaces的人脸识别算法实现 摘要 随着科技的快速发展,视频监控技术在我们生活中有着越来越丰富的应用。在这些视频监控领域迫切需要一种远距离，非配合状态下的快速身份识别，以求能够快速识别所需要的人员信息，提前智能预警。人脸识别无疑是最佳的选择。可以通过人脸检测从视频监控中快速提取人脸，并与人脸数据库对比从而快速识别身份。这项技术可以广泛应用于国防，社会安全，银行电子商务，行政办公，还有家庭安全防务等多领域。 本文按照完整人脸识别流程来分析基于PCA(Principal Component Analysis)的人脸识 别算法实现的性能。首先使用常用的人脸图像的获取方法获取人脸图像。本文为了更好的分析基于PCA人脸识别系统的性能选用了ORL人脸数据库。然后对人脸数据库的图像进行了简单的预处理。由于ORL人脸图像质量较好，所以本文中只使用灰度处理。接着使用PCA提取人脸特征，使用奇异值分解定理计算协方差矩阵的特征值和特征向量以及使用最近邻法分类器欧几里得距离来进行人脸判别分类。 关键词:人脸识别PCA算法奇异值分解定理欧几里得距离
ABSTRACT With the rapid development of technology, video surveillance technology has become increasingly diverse applications in our lives. In these video surveillance urgent need for a long-range, with rapid identification of non-state, in order to be able to quickly identify people the information they need, advance intelligence warning. Face recognition is undoubtedly the best choice. Face detection can quickly extract human faces from video surveillance, and contrast with the face database to quickly identify identity. This technology can be widely used in national defense, social security, bank e-commerce, administrative offices, as well as home security and defense and other areas. In accordance with the full recognition process to analyze the performance of PCA-based face recognition algorithm. The first to use the method of access to commonly used face images for face images. In order to better analysis is based on the performance of the PCA face recognition system selected ORL face database. Then the image face database for a simple pretreatment. Because ORL face image quality is better, so this article uses only gray scale processing. Then use the PCA for face feature extraction using singular value decomposition theorem to calculate the covariance matrix of the eigenvalues and eigenvectors, and use the Euclidean distance of the nearest neighbor classifier to the classification of human face discrimination. KEYWORDS: face recognition PCA algorithm SVD Euclidean distance
BP神经网络及深度学习研究 摘要：人工神经网络是一门交叉性学科，已广泛于医学、生物学、生理学、哲学、信息学、计算机科学、认知学等多学科交叉技术领域，并取得了重要成果。BP（Back Propagation）神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。本文将主要介绍神经网络结构，重点研究BP神经网络原理、BP神经网络算法分析及改进和深度学习的研究。 关键词：BP神经网络、算法分析、应用 1 引言 人工神经网络（Artificial Neural Network，即ANN ），作为对人脑最简单的一种抽象和模拟，是人们模仿人的大脑神经系统信息处理功能的一个智能化系统，是20世纪80 年代以来人工智能领域兴起的研究热点。人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，旨在模仿人脑结构及其功能的信息处理系统。 人工神经网络最有吸引力的特点就是它的学习能力。因此从20世纪40年代人工神经网络萌芽开始，历经两个高潮期及一个反思期至1991年后进入再认识与应用研究期，涌现出无数的相关研究理论及成果，包括理论研究及应用研究。最富有成果的研究工作是多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。因为其应用价值，该研究呈愈演愈烈的趋势，学者们在多领域中应用[1]人工神经网络模型对问题进行研究优化解决。 人工神经网络是由多个神经元连接构成，因此欲建立人工神经网络模型必先建立人工神经元模型，再根据神经元的连接方式及控制方式不同建立不同类型的人工神经网络模型。现在分别介绍人工神经元模型及人工神经网络模型。 1.1 人工神经元模型 仿生学在科技发展中起着重要作用，人工神经元模型的建立来源于生物神经元结构的仿生模拟，用来模拟人工神经网络[2]。人们提出的神经元模型有很多，其中最早提出并且影响较大的是1943年心理学家McCulloch和数学家W. Pitts 在分析总结神经元基本特性的基础上首先提出的MP模型。该模型经过不断改进后，形成现在广泛应用的BP神经元模型。人工神经元模型是由人量处理单元厂泛互连而成的网络，是人脑的抽象、简化、模拟，反映人脑的基本特性。一般来说，作为人工神经元模型应具备三个要素： (1)具有一组突触或连接，常用表示神经元i和神经元j之间的连接强度。 w ij (2)具有反映生物神经元时空整合功能的输入信号累加器。
人脸识别核心算法技术 在检测到人脸并定位面部关键特征点之后，主要的人脸区域就可以被裁剪出来，经过预处理之后，馈入后端的识别算法。 1、在检测到人脸并定位面部关键特征点之后，主要的人脸区域就可以被裁剪出来，经过预处理之后，馈入后端的识别算法。识别算法要完成人脸特征的提取，并与库存的已知人脸进行比对，完成最终的分类。我们在这方面的主要工作包括： · 基于LGBP的人脸识别方法 问题： 统计学习目前已经成为人脸识别领域的主流方法，但实践表明，基于统计学习的方法往往会存在“推广能力弱”的问题，尤其在待识别图像“属性”未知的情况下，更难以确定采用什么样的训练图像来训练人脸模型。鉴于此，在对统计学习方法进行研究的同时，我们还考虑了非统计模式识别的一类方法。 思路： 对于给定的人脸图像，LGBP方法首先将其与多个不同尺度和方向的Gabor滤波器卷积（卷积结果称为Gabor特征图谱）获得多分辨率的变换图像。然后将每个Gabor特征图谱划分成若干互不相交的局部空间区域，对每个区域提取局部邻域像素的亮度变化模式，并在每个局部空间区域内提取这些变化模式的空间区域直方图，所有Gabor特征图谱的、所有区域的直方图串接为一高维特征直方图来编码人脸图像。并通过直方图之间的相似度匹配技术（如直方图交运算）来实现最终的人脸识别。在FERET四个人脸图像测试集合上与FERET97的结果对比情况见下表。由此可见，该方法具有良好的识别性能。而且LGBP方法具有计算速度快、无需大样本学习、推广能力强的优点。 表.LGBP方法与FERET'97最佳结果的对比情况 · 基于AdaBoost的Gabor特征选择及判别分析方法 问题：
人脸识别主要算法原理 主流的人脸识别技术基本上可以归结为三类，即：基于几何特征的方法、基于模板的方法和基于模型的方法。 1. 基于几何特征的方法是最早、最传统的方法，通常需要和其他算法结合才能有比较好的效果； 2. 基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。 3. 基于模型的方法则有基于隐马尔柯夫模型，主动形状模型和主动外观模型的方法等。 1. 基于几何特征的方法 人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以做为人脸识别的重要特征。几何特征最早是用于人脸侧面轮廓的描述与识别，首先根据侧面轮廓曲线确定若干显著点，并由这些显著点导出一组用于识别的特征度量如距离、角度等。Jia 等由正面灰度图中线附近的积分投影模拟侧 面轮廓图是一种很有新意的方法。 采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征,但Roder对几何特征提取的精确性进行了实验性的研究，结果不容乐观。
可变形模板法可以视为几何特征方法的一种改进，其基本思想是: 设计一个参数可调的器官模型(即可变形模板),定义一个能量函数，通过调整模型参数使能量函数最小化，此时的模型参数即做为该器官的几何特征。 这种方法思想很好，但是存在两个问题，一是能量函数中各种代价的加权系数只能由经验确定，难以推广，二是能量函数优化过程十分耗时，难以实际应用。基于参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需要大量的前处理和精细的参数选择。同时，采用一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息的丢失，更适合于做粗分类，而且目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也较大。 2. 局部特征分析方法（Local Face Analysis） 主元子空间的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核函数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴投影后临近的点与原图像空间中点的临近性没有任何关系，而局部性和拓扑性对模式分析和分割是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的表达十分重要。基于这种考虑，Atick提出基于局部特征的人脸特征提取与识别方法。这种方法在实际应用取得了很好的效果，它构成了FaceIt人脸识别软件的 基础。 3. 特征脸方法（Eigenface或PCA）
神经网络算法详解 第0节、引例 本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集可以在https://www.doczj.com/doc/174256789.html,/wiki/Iris_flower_data_set 找到。这里简要介绍一下Iris数据集： 有一批Iris花，已知这批Iris花可分为3个品种，现需要对其进行分类。不同品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度会有差异。我们现有一批已知品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度的数据。 一种解决方法是用已有的数据训练一个神经网络用作分类器。 如果你只想用C#或Matlab快速实现神经网络来解决你手头上的问题，或者已经了解神经网络基本原理，请直接跳到第二节——神经网络实现。 第一节、神经网络基本原理 1. 人工神经元( Artificial Neuron )模型 人工神经元是神经网络的基本元素，其原理可以用下图表示： 图1. 人工神经元模型 图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为：
图中yi表示神经元i的输出，函数f称为激活函数 ( Activation Function )或转移函数( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为： 若用X表示输入向量，用W表示权重向量，即： X = [ x0 , x1 , x2 , ....... , xn ] 则神经元的输出可以表示为向量相乘的形式： 若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net 为负，则称神经元处于抑制状态。 图1中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。 2. 常用激活函数 激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。 (1) 线性函数 ( Liner Function ) (2) 斜面函数 ( Ramp Function ) (3) 阈值函数 ( Threshold Function )
主流的人脸识别技术基本上可以归结为三类，即：基于几何特征的方法、基于模板的方法和基于模型的方法。 1. 基于几何特征的方法 人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以做为人脸识别的重要特征。几何特征最早是用于人脸侧面轮廓的描述与识别，首先根据侧面轮廓曲线确定若干显著点，并由这些显著点导出一组用于识别的特征度量如距离、角度等。Jia 等由正面灰度图中线附近的积分投影模拟侧面轮廓图是一种很有新意的方法。 采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征,但Roder对几何特征提取的精确性进行了实验性的研究，结果不容乐观。 可变形模板法可以视为几何特征方法的一种改进，其基本思想是:设计一个参数可调的器官模型(即可变形模板),定义一个能量函数，通过调整模型参数使能量函数最小化，此时的模型参数即做为该器官的几何特征。 2. 局部特征分析方法（Local Face Analysis） 主元子空间的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核函数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴投影后临近的点与原图像空间中点的临
近性没有任何关系，而局部性和拓扑性对模式分析和分割是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的表达十分重要。基于这种考虑，Atick提出基于局部特征的人脸特征提取与识别方法。这种方法在实际应用取得了很好的效果，它构成了FaceIt人脸识别软件的基础。 3. 特征脸方法（Eigenface或PCA） 特征脸方法是90年代初期由Turk和Pentland提出的目前最流行的算法之一，具有简单有效的特点, 也称为基于主成分分析(principal component analysis,简称PCA)的人脸识别方法。 特征子脸技术的基本思想是：从统计的观点，寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似地表征人脸图像。这些特征向量称为特征脸(Eigenface)。 实际上，特征脸反映了隐含在人脸样本集合内部的信息和人脸的结构关系。将眼睛、面颊、下颌的样本集协方差矩阵的特征向量称为特征眼、特征颌和特征唇，统称特征子脸。特征子脸在相应的图像空间中生成子空间，称为子脸空间。计算出测试图像窗口在子脸空间的投影距离，若窗口图像满足阈值比较条件，则判断其为人脸。 基于特征分析的方法，也就是将人脸基准点的相对比率和其它描述人脸脸部特征的形状参数或类别参数等一起构成识别特征向量，这种基于整体脸的识别不仅保留了人脸部件之间的拓扑关系，而且也保留了各部件本身的信息，而基于部件的识别则是通过提取出局部轮廓信息及灰度信息来设计具体识别算法。
12、智能算法 12.1 人工神经网络 1、人工神经网络的原理假如我们只知道一些输入和相应的输出，但是不清楚这些输入和输出之间的具体关系是什么，我们可以把输入和输出之间的未知过程看成是一个“网络”,通过不断的网络输入和相应的输出进行“训练”（学习），网络根据输入和对应输出不断调整连接网络的权值，直到满足我们的目标要求，这样就训练好了一个神经网络，当我们给定一个输入， 网络就会计算出一个相应的输出。 2、网络结构神经网络一般有一个输入层，多个隐层，和一个输出层。隐层并非越多越好。如下图所示： 神经网络工具箱几乎 MATLAB 12.2 Matlab 神经网络工具箱 BP 网络和涵盖了所有的神经网络的基本常用模型，如感知器、nntool nftool,nctool,nprtool,nntraintool 和等。它由RBFNN 函数逼近和数据拟合、信息处理和预测、神经网组成。主要应用于
在实际应用中，针对具体的问题，首先络控制和故障诊断等领域。．需要分析利用神经网络来解决问题的性质，然后依据问题的特点，提取训练和测试数据样本，确定网络模型，最后通过对网络进行训练、仿真等检验网络的性能是否满足要求。具体过程如下： (1)确定信息表达的方式，主要包括数据样本已知；数据样本之间相互关系不明确；输入/输出模式为连续的或离散的；数据样本的预处理；将数据样本分成训练样本和测试样本。 (2)网络模型的确定。确定选择何种神经网络以及网络层数。 (3)网络参数的选择，如输入输出神经元个数的确定，隐层神经元的个数等。 (4)训练模式的确定，包括选择合理的训练算法、确定合适的训练步数、指定适当的训练目标误差等 (5)网络测试，选择合理的样本对网络进行测试。 简单来讲就是三个步骤：建立网络(newXX)—训练网络(trainXX)—仿真网络(sim) 12.3 BP 神经网络的 Matlab 相关函数 BP 算法的基本思想：学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望输出（教师信号）不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号作为修正各单元权
基于人工神经网络的人脸识别系统 童志军090739 第一部分：引言 在计算机控制上可靠的个人身份识别的需求引发了用生物特征替代密码和身份证进行识别的趋势。由于密码会被泄露给不合法的用户并且身份证会被骗子盗取所以密码和身份证会被轻易的破坏，生物特征识别的出现能够很好的解决传统分类方法的问题。生物特征包括人的虹膜、视网膜、面部轮廓、指纹、签名力度变化和语音等特征，这些特征可以用于人物识别。由于生物特征不能被轻易的盗取和分享，所以生物特征识别相比于传统安全措施有很大的优势，人脸识别系统积极稳固的特点使它在人物识别中脱颖而出。 人脸识别系统包括人脸核实和人脸识别两个阶段。在核实阶段，系统根据人物特征的先验知识进行核实，这就是说，系统要判断当前待识别人物是否为骗子。在人脸识别阶段，先验特征并不知道，系统只能根据最大似然准则进行识别。这篇文章的最初目的是对使用人工神经网络来人脸检测和识别的性能进行评价，文章的剩余部分就是这样组织的：第二部分描述了系统的过程图和人脸识别系统的各个模块；第三部分详尽说明了预处理、特征提取和目标系统的分类的方法；第四部分展示了和讨论了实验结果，第五部分得出结论。 第二部分：系统综述 正如图1所示，推荐的人脸识别算法包含入学和识别/分类两个阶段，它包含图像获取，人脸检测、学习、识别和核实。 图1 人脸识别系统结构图 A 入学阶段 使用网络照相机获得图片并储存在数据库中，然后对图片进行检测和训练。训练时，使用几何学和光学标准化方法对脸部图片进行预处理，采用几种特征提取的方法提取脸部图片特
征，然后把这些特征数据存在数据库中作为用户标识。 B 识别/实验证明阶段 再次获得用户脸部生理数据，此系统使用数据辨别用户或者分类用户标识。虽然身份鉴定需要把获得的生物特征信息与数据库中所有用户的数据进行模板匹配，身份核实仅需要把生物特征信息与主要特性进行模板匹配，所以身份识别与实验证明在内在复杂性上截然不同。识别阶段包含图像获取、面部检测、面部识别几个模块。 1）图像获取/人脸检测模块 人脸检测通常检测和提取与人脸特征相关的恰当信息，图像需要几何和尺寸校正以便可以识别。在这个模块中需要去除与脸部不相关的背景或场景。这个系统不仅能够实时识别脸部而且在不同的光照、不同的肤色、有胡须和刘海的情况下也能很好的工作。 图像检测中的图像获取模块是为了寻找和提取只含有脸部的部分，这个系统是基于使用Adaboost算法的长方形特征，系统输出的是包含面部特征的长方形和包含面部特征提取的图像。 2）人脸识别/核实模块 人脸识别模块包含预处理、特征提取、子模块分类，系统输入是来源于照相机和数据库的面部图像，首先把它变为几何和光照上标准化的形式，在特征提取阶段，用矢量特征代表图像，识别的分类结果由匹配的的程度决定。 第三部分：方法论 A 预处理 预处理是为了减少和消除由于光照引起的面部的失真，它通过标准化和增强面部图像来提高系统识别率。由于系统的稳定性取决于预处理的好坏，所以预处理很关键。通过明确的标准化过程，系统增强了抵抗尺寸、姿势、面部表情和光照的能力。光学标准化包括去除几何标准图像的平均值，以标准化值缩放像素比例，估计整个扭曲的图像。光学标准化技术包括直方图均衡和同态滤波。 1）直方图均衡 直方图均衡是最通用的直方图规格化和灰度转换方法，它的目的是为了处理后的图像在所有的灰度级均匀分布。为了增强图像质量和提高人脸识别的性能通常将它用于太亮或太暗的图像，它改变了图像灰度相对范围，使一些重要特征变得显而易见。 直方图均衡的步骤如下： 1．对一个N*M的图像，创建两个长度为G的矩阵H和T，并将它们初始化为0 2．形成图像直方图：扫描每一个像素值，并把对应每一个像素值的数目记在H矩阵中 H[p]=H[p]+1 3．累加直方图H,并保存在H中 H[0]=H[0] H[p]= H[p-1]+ H[p] For p=1 to G-1 step 1 4． G-1 T[p]=H[p] MN ，重新扫描图像并且输出图像灰度级像素q，其中q=T[P]. 2) 同态滤波
1.4 附录—matlab 源码 1.4.1 人脸识别 % FaceRec.m % PCA 人脸识别修订版，识别率88％ % calc xmean,sigma and its eigen decomposition allsamples=[];%所有训练图像 for i=1:40 for j=1:5 a=imread(strcat('e:\ORL\s',num2str(i),'\',num2str(j),'.jpg')); % imshow(a); b=a(1:112*92); % b 是行矢量1×N，其中N＝10304，提取顺序是先列后行，即从上 到下，从左到右 b=double(b); allsamples=[allsamples; b]; % allsamples 是一个M * N 矩阵，allsamples 中每一行数 据代表一张图片，其中M＝200 end end samplemean=mean(allsamples); % 平均图片，1 ×N for i=1:200 xmean(i,:)=allsamples(i,:)-samplemean; % xmean 是一个M ×N 矩阵，xmean 每一行保存的数据是“每个图片数据-平均图片” end; % 获取特征值及特征向量 sigma=xmean*xmean'; % M * M 阶矩阵 [v d]=eig(sigma); d1=diag(d); % 按特征值大小以降序排列 dsort = flipud(d1); vsort = fliplr(v); %以下选择90%的能量 dsum = sum(dsort); dsum_extract = 0; p = 0; while( dsum_extract/dsum < 0.9) p = p + 1; dsum_extract = sum(dsort(1:p)); end i=1; % (训练阶段)计算特征脸形成的坐标系 base = xmean' * vsort(:,1:p) * diag(dsort(1:p).^(-1/2)); % base 是N×p 阶矩阵，除以dsort(i)^(1/2)是对人脸图像的标准化（使其方差为1） % 详见《基于PCA 的人脸识别算法研究》p31 % xmean' * vsort(:,i)是小矩阵的特征向量向大矩阵特征向量转换的过程
数学建模B P神经网 络论文
BP 神经网络 算法原理： 输入信号i x 通过中间节点（隐层点）作用于输出节点，经过非线形变换，产生输出信号k y ，网络训练的每个样本包括输入向量x 和期望输出量d ，网络输出值y 与期望输出值d 之间的偏差，通过调整输入节点与隐层节点的联接强度取值ij w 和隐层节点与输出节点之间的联接强度jk T 以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数（权值和阈值），训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。 变量定义： 设输入层有n 个神经元，隐含层有p 个神经元,输出层有q 个神经元 输入向量：()12,, ,n x x x x = 隐含层输入向量：()12,,,p hi hi hi hi = 隐含层输出向量：()12,,,p ho ho ho ho = 输出层输入向量：()12,,,q yi yi yi yi = 输出层输出向量：()12,,,q yo yo yo yo = 期望输出向量: ()12,, ,q do d d d = 输入层与中间层的连接权值: ih w 隐含层与输出层的连接权值: ho w 隐含层各神经元的阈值:h b 输出层各神经元的阈值: o b 样本数据个数: 1,2, k m =
激活函数: ()f ? 误差函数：21 1(()())2q o o o e d k yo k ==-∑ 算法步骤： Step1.网络初始化 。给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e ，给定计算精度值ε和最大学习次数M 。 Step2.随机选取第k 个输入样本()12()(),(), ,()n x k x k x k x k =及对应期望输出 ()12()(),(),,()q d k d k d k d k =o Step3.计算隐含层各神经元的输入()1 ()()1,2, ,n h ih i h i hi k w x k b h p ==-=∑和输出 ()()(())1,2, ,h h ho k f hi k h p ==及输出层各神经元的输入 ()1 ()()1,2, p o ho h o h yi k w ho k b o q ==-=∑和输出()()(())1,2, ,o o yo k f yi k o p == Step4.利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数()o k δ。 o ho o ho yi e e w yi w ???=??? (()) () ()p ho h o o h h ho ho w ho k b yi k ho k w w ?-?==??∑ 2 1 1((()()))2(()())()(()())f (()) () q o o o o o o o o o o o o d k yo k e d k yo k yo k yi yi d k yo k yi k k δ=?-?'==--??'=---∑ Step5.利用隐含层到输出层的连接权值、输出层的()o k δ和隐含层的输出计算误差函数对隐含层各神经元的偏导数()h k δ。
传统的BP 算法简述 BP 算法是一种有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。具体步骤如下： （1）初始化，随机给定各连接权[w],[v]及阀值θi ，rt 。 （2）由给定的输入输出模式对计算隐层、输出层各单元输出 （3）计算新的连接权及阀值，计算公式如下： （4）选取下一个输入模式对返回第2步反复训练直到网络设输出误差达到要求结束训练。 第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e ，给定计算精度值 和最大学习次数M 。 第二步,随机选取第k 个输入样本及对应期望输出 ()12()(),(),,()q k d k d k d k =L o d ()12()(),(),,()n k x k x k x k =L x 第三步，计算隐含层各神经元的输入和输出 第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数()o k a δ 第五步，利用隐含层到输出层的连接权值、输出层的()o k δ和隐含层的输出计算误差函数对隐含层各神经元的偏导数()h k δ 第六步，利用输出层各神经元的()o k δ和隐含层各神经元的输出来修正连接权值()ho w k 第七步，利用隐含层各神经元的()h k δ和输入层各神经元的输入修正连接权。 第八步，计算全局误差211 1(()())2q m o o k o E d k y k m ===-∑∑ 第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。 ε
PS：这篇介绍神经网络是很详细的，有一步一步的推导公式！神经网络是DL（深度学习）的基础。 如果对神经网络已经有所了解，可以直接跳到“三、BP算法的执行步骤“ 部分，算法框架清晰明了。 另外，如果对NN 很感兴趣，也可以参阅最后两篇参考博文，也很不错！ 学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中，学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算法相应的。所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法．而有的算法可能可用于多种模型。不过，有时人们也称算法为模型。 自从40年代Hebb提出的学习规则以来，人们相继提出了各种各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传播法，即BP(error BackPropagation)法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。 1．2．1 神经网络的学习机理和机构 在神经网络中，对外部环境提供的模式样本进行学习训练，并能存储这种模式，则称为感知器；对外部环境有适应能力，能自动提取外部环境变化特征，则称为认知器。 神经网络在学习中，一般分为有教师和无教师学习两种。感知器采用有教师信号进行学习，而认知器则采用无教师信号学习的。在主要神经网络如BP网络，Hopfield网络，ART网络和Kohonen 网络中；BP网络和Hopfield网络是需要教师信号才能进行学习的；而ART网络和Kohonen网络则无需教师信号就可以学习。所谓教师信号，就是在神经网络学习中由外部提供的模式样本信号。 一、感知器的学习结构 感知器的学习是神经网络最典型的学习。 目前，在控制上应用的是多层前馈网络，这是一种感知器模型，学习算法是BP法，故是有教师学习算法。 一个有教师的学习系统可以用图1—7表示。这种学习系统分成三个部分：输入部，训练部和输出部。