1.简述模式的概念及其直观特性，模式识别的分类，有哪几种方法。（6’） 答（1）：什么是模式？广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。 模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。 模式的直观特性：可观察性；可区分性；相似性。 答（2）：模式识别的分类： 假说的两种获得方法（模式识别进行学习的两种方法）： 监督学习、概念驱动或归纳假说； 非监督学习、数据驱动或演绎假说。 模式分类的主要方法： 数据聚类：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据 集。是一种非监督学习的方法，解决方案是数据驱动的。 统计分类：基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。 特征向量分布的获得是基于一个类别已知的训练样本集。是一种监督分类的方法， 分类器是概念驱动的。 结构模式识别：该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目 的。（句法模式识别） 神经网络：由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以 在不同的神经元之间传递增强或抑制信号。增强或抑制是通过调整神经元相互间联 系的权重系数来（weight）实现。神经网络可以实现监督和非监督学习条件下的分 类。 2.什么是神经网络？有什么主要特点？选择神经网络模式应该考虑什么因 素？（8’） 答（1）：所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统（计算机）。由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 人工神经网络的两种操作过程：训练学习、正常操作（回忆操作）。 答（2）：人工神经网络的特点： 固有的并行结构和并行处理； 知识的分布存储； 有较强的容错性； 有一定的自适应性； 人工神经网络的局限性： 人工神经网络不适于高精度的计算； 人工神经网络不适于做类似顺序计数的工作； 人工神经网络的学习和训练往往是一个艰难的过程； 人工神经网络必须克服时间域顺序处理方面的困难； 硬件限制； 正确的训练数据的收集。 答（3）：选取人工神经网络模型，要基于应用的要求和人工神经网络模型的能力间的匹配，主要考虑因素包括：
Analysis and Design of Algorithms Analysis and Design of Algorithms Transform Coding Chapter 3: Recursive Algorithm School of Software Engineering ?Yanling Xu
Recursive Algorithm Recursive Algorithm Recursion : a procedure or subroutine, whose implementation references itself E l 1R i l ti f ! Example 1: Recursive evaluation of n ! ?n initial condition 0 0)!1(1 !>=?? ?=n n n n recurrence relation C(n)=C(n 1)+1 Times of Basic operation for n ! C()C(n-1)+1 =[C(n-2)+1]+1 = C(n-2)+2=[C(n-3)+1]+2 = C(n-3)+3 Iterative Definition C(n)= n …… =[C(n-n)+1]+n-1 = n 2 n n n ×××××=）－（1...321!
Recursive Algorithm Recursive Algorithm Example 4: The Tower of Hanoi Puzzle void hanoi(int n, int a, int b, int c) { if (n > 0) if(0) { hanoi(n-1, a, c, b); move(a,b); (b) hanoi(n-1, c, b, a); } } C(n) ∈Θ (2n) C(n) = 2C(n –1) + 1 =2n-1 for every n > 0 5
中国科学院自动化研究所 2014年招收攻读博士学位研究生入学统一考试试卷 科目名称：模式识别 考生须知： 1. 本试卷满分为100分，全部考试时间总计180分钟。 2. 所有答案必须写在答题纸上，写在试题纸上或草稿纸上一律无效。 1． (16分) 关于统计学习与支持向量机，请回答如下问题：(1) 给出机器学习问题的形式化表示 (4分)；(2) 解释学习机器的推广能力 (4分)；(3) 从几何的角度阐述线性支持向量机的原理 (4分)；(4) 基于两类支持向量机，设计一个c 类(c > 2)分类训练策略 (4分)。 2． (10分) (1) 请描述径向基函数网络的结构和功能 (4分)；(2) 指出径向基函数网络的参数，分析在训练一个径向基函数网络时如何调节这些参数 (6分)。 3． (10分) (1) 简述Fisher 线性判别分析的原理 (4分)；(2) 针对两类分类问题，试证明在正态等方差条件下，Fisher 线性判别等价于贝叶斯判别 (6分)。 4． (10分) 假设在某个局部地区细胞识别中正常 (1ω)和异常(2ω)两类的先验分别为 1()0.85P ω=和2()0.15P ω=。现有一待识别细胞，其观察值为x ，从类条件概率密度分布曲线上查得1(|)0.2=P x ω，2(|)0.4=P x ω，请对该细胞x 进行分类，并给出计算过程。 5． (10分) 现有七个位于二维空间的样本：1(1,0)=T x ，2(0,1)=T x ，3(0,1)=-T x ，4(0,0)=T x ，5(0,2)=T x ，6(0,2)=-T x ，7(2,0)=-T x ，其中上标T 表示向量的转置。假定前三个样本属于第一类，后四个样本属于第二类，请画出最近邻法决策面。 6． (16分) 在一个模式识别问题中，有下列8个样本: 1(1,1)T =-x ，2(1,1)T =--x ，3(0,1)T =x ，4(0,1)T =-x ，5(2,1)T =x ，6(2,1)T =-x ，7(3,1)T =x ，8(3,1)T =-x ，其中上标T 表示向量的转置。请回答如下问题：(1) 如果不知道这8个样本的类别标签，请采用K-L 变换，计算其特征值和特征向量（10分）；(2) 对上述8个样本，假设前4个样本属于第一类，后4个样本属于第二类，请给出一种特征选择方法，并写出相应的计算过程 (6分)。 7． (16分) (1) 给定m 维空间中的n 个样本，请给出C -均值聚类算法的计算步骤(包含算法输入和输出) (8分)；(2) 针对C -均值聚类算法，指出影响聚类结果的因素，并给出相应的改进措施 (8分)。 8． (12分) 某单位有n 位职员，现从每位职员采集到m (m >10)张正面人脸图像(可能因姿态、表情、光照条件的略微不同而不同)。每张人脸图像为200(高度) ?160(宽度)像素大小的灰度图像。现在拟设计一个人脸识别系统，请回答如下问题：(1) 描述拟采用的特征提取方法及计算步骤 (4分)；(2) 描述拟采用的分类器构造方法及计算步骤 (4分)；(3) 请从特征提取和分类器构造两方面对你所采用的方法进行评价(即解释采用它们的原因) (4分)。 科目名称：模式识别 第1页 共1页
第5章：线性判别函数 第一部分：计算与证明 1． 有四个来自于两个类别的二维空间中的样本，其中第一类的两个样本为(1,4)T 和(2,3)T ，第二类的两个样本为(4,1)T 和(3,2)T 。这里，上标T 表示向量转置。假设初始的权向量a=(0,1)T ，且梯度更新步长ηk 固定为1。试利用批处理感知器算法求解线性判别函数g(y)=a T y 的权向量。 解： 首先对样本进行规范化处理。将第二类样本更改为(4,1)T 和(3,2)T .然后计算错分样本集： g(y 1)=(0,1)(1,4)T = 4 > 0 (正确) g(y 2)=(0,1)(2,3)T = 3 > 0 (正确) g(y 3)=(0,1)(-4,-1)T = -1 < 0 (错分) g(y 4)=(0,1)(-3,-2)T = -2 < 0 (错分) 所以错分样本集为Y={(-4,-1)T ,(-3,-2)T }. 接着，对错分样本集求和：(-4,-1)T +(-3,-2)T = (-7,-3)T 第一次修正权向量a ，以完成一次梯度下降更新：a=(0,1)T + (-7,-3)T =(-7,-2)T 再次计算错分样本集： g(y 1)=(-7,-2)(1,4)T = -15 <0 (错分) g(y 2)=(-7,-2)(2,3)T = -20 < 0 (错分) g(y 3)=(-7,-2)(-4,-1)T = 30 > 0 (正确) g(y 4)=(-7,-2)(-3,-2)T = 25 > 0 (正确) 所以错分样本集为Y={(1,4)T ,(2,3)T }. 接着，对错分样本集求和：(1,4)T +(2,3)T = (3,7)T 第二次修正权向量a ，以完成二次梯度下降更新：a=(-7,-2)T + (3,7)T =(-4,5)T 再次计算错分样本集： g(y 1) = (-4,5)(1,4)T = 16 > 0 (正确) g(y 2) =(-4,5)(2,3)T = 7 > 0 (正确) g(y 3) =(-4,5)(-4,-1)T = 11 > 0 (正确) g(y 4) =(-4,5)(-3,-2)T = 2 > 0 (正确) 此时，全部样本均被正确分类，算法结束，所得权向量a=(-4,5)T 。 2． 在线性感知算法中，试证明引入正余量b 以后的解区(a T y i ≥b)位于原来的解区之中(a T y i >0)，且与原解区边界之间的距离为b/||y i ||。 证明：设a*满足a T y i ≥b,则它一定也满足a T y i >0，所以引入余量后的解区位于原来的解区a T y i >0之中。 注意，a T y i ≥b 的解区的边界为a T y i =b,而a T y i >0的解区边界为a T y i =0。a T y i =b 与a T y i =0两个边界之间的距离为b/||y i ||。（因为a T y i =0过坐标原点，相关于坐标原点到a T y i =b 的距离。） 3． 试证明感知器准则函数正比于被错分样本到决策面的距离之和。 证明：感知器准则函数为： ()() T Y J ∈=-∑y a a y 决策面方程为a T y=0。当y 为错分样本时，有a T y ≤0。此时，错分样本到决策面的
人脸识别实验报告 ---- 基于PCA 和欧氏距离相似性测度 一、理论知识 1、PCA 原理 主成分分析(PCA) 是一种基于代数特征的人脸识别方法,是一种基于全局特征的人脸识别方法,它基于K-L 分解。基于主成分分析的人脸识别方法首次将人脸看作一个整体,特征提取由手工定义到利用统计学习自动获取是人脸识别方法的一个重要转变[1]。简单的说,它的 原理就是将一高维的向量,通过一个特殊的特征向量矩阵,投影到一个低维的向量空间中,表示为一个低维向量,并不会损失任何信息。即通过低维向量和特征向量矩阵,可以完全重构出所对应的原来高维向量。特征脸方法就是将包含人脸的图像区域看作是一种随机向量,因此,可以采用K-L 变换获得其正交K-L 基底。对应其中较大特征值的基底具有与人脸相似的形状,因此又称为特征脸。利用这些基底的线性组合可以描述、表达和逼近人脸图像,因此可以进行人脸识别与合成。识别过程就是将人脸图像映射到由特征脸张成的子空间上,比较其与己知人脸在特征空间中的位置,从而进行判别。 2、基于PCA 的人脸识别方法 2.1 计算特征脸 设人脸图像f(x,y)为二维N×M 灰度图像,用NM 维向量R 表示。人脸图像训练集为{}|1,2,...,i R i P =,其中P 为训练集中图像总数。这P 幅图像的平均向量为: _ 11P i i R R P ==∑ 对训练样本规范化,即每个人脸i R 与平均人脸_ R 的差值向量: i A =i R -_R (i= 1,2,…,P) 其中列向量i A 表示一个训练样本。 训练图像由协方差矩阵可表示为: T C AA = 其中训练样本NM ×P 维矩阵12[,,...,]P A A A A = 特征脸由协方差矩阵C 的正交特征向量组成。对于NM 人脸图像,协方差矩
1. 简述模式的概念及其直观特性，模式识别的分类，有哪几种方法。（6' 答（1）：什么是模式？广义地说，存在于时间和空间中可观察的物体，如果我们可以 区别它们是否相同或是否相似，都可以称之为模式。 模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。 模式的直观特性：可观察性；可区分性；相似性。 答（2）:模式识别的分类： 假说的两种获得方法（模式识别进行学习的两种方法）： 监督学习、概念驱动或归纳假说；非监督学习、数据驱动或演绎假说。 模式分类的主要方法： 数据聚类:用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据 集。是一种非监督学习的方法，解决方案是数据驱动的。 统计分类：基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。特征向量分布 的获得是基于一个类别已知的训练样本集。是一种监督分类的方法，分类器是概念驱动的。 结构模式识别：该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目的。（句法模 式识别） 神经网络：由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以在不同的神经 元之间传递增强或抑制信号。增强或抑制是通过调整神经元相互间联 系的权重系数来（weight）实现。神经网络可以实现监督和非监督学习条件下的分类。 2. 什么是神经网络？有什么主要特点？选择神经网络模式应该考虑什么因素？ （8'） 答（1）：所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处_______________ 理系统（计算机）。由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 人工神经网络的两种操作过程：训练学习、正常操作（回忆操作）。 答（2）:人工神经网络的特点： 固有的并行结构和并行处理； 知识的分布存储：有较强的容错性；有一定的自适应性； 人工神经网络的局限性： 人工神经网络不适于高精度的计算； 人工神经网络不适于做类似顺序计数的工作； 人工神经网络的学习和训练往往是一个艰难的过程； 人工神经网络必须克服时间域顺序处理方面的困难；硬件限制； 正确的训练数据的收集。 答（3）：选取人工神经网络模型，要基于应用的要求和人工神经网络模型的能力间的_______________ 匹配，主要考虑因素包括： 网络大小；所需输出类型；联想记忆类型；训练方法；时间的限定。 3. 画出句法模式识别的框图，并解释其工作原理。（8' 答（1）:句法模式识别框图如下：
模式识别国家重点实验室(中科院自动化研究所).txt吃吧吃吧不是罪，再胖的人也有权利去增肥！苗条背后其实是憔悴，爱你的人不会在乎你的腰围！尝尝阔别已久美食的滋味，就算撑死也是一种美！减肥最可怕的不是饥饿，而是你明明不饿但总觉得非得吃点什么才踏实。本文由renlian111贡献 doc文档可能在WAP端浏览体验不佳。建议您优先选择TXT，或下载源文件到本机查看。 模式识别国家重点实验室 简介 模式识别国家重点实验室,于 1984 年由国家计委批准筹建, 1987 年通过国家验收并正式对外开放.依托于中国科学院自动化研究所.实验室第一任主任是现任国家科技部副部长的马颂德研究员,现任主任为谭铁牛研究员.实验室现有固定人员 22 人,平均年龄 37.8 岁,科研骨干均具有博士学位.实验室流动人员包括博士后,在读博士生与硕士生,高级访问学者及客座研究人员.实验室计划发展规模为固定人员 25-30 人,流动人员 100 人左右. 实验室以"面向世界,面向未来,开展前瞻性的基础研究;立足国内, 面对现实,推进定向性的应用研究与技术开发"为发展战略,追求个人事业与集体事业共同协调发展,力争成为具有国际水准的科学研究,技术创新和高科技人才培养基地. 实验室目前的主要研究方向为模式识别,计算机视觉,图像处理与图形学,口语信息处理,自然语言处理以及模式识别应用与系统等. 实验室目前承担了三十余项科研项目,其中包括国家重点基础研究规划"973"项目(图象,语音,自然语言理解与知识发掘),国家基金委重大,重点项目,国家杰出青年科学基金项目,国家攻关项目,国家高技术计划"863"项目,国家基金委面上项目及国际合作项目等. 实验室成员每年在国内外重要的学术期刊和国际学术会议上发表论文百余篇,其中不少发表在国际权威刊物与国际重要会议上,如 IEEE 汇刊(PAMI 等),International Journal of Computer Vision, Pattern Recognition, Image and Vision Computing, Automatica, EuroSpeech, ICSLP, ICASSP, ICCV, ICPR, ACCV 等. 近年来,实验室已获准和申请发明专利 26 项,获国家科技进步二等奖 1 项,中科院自然科学二等奖 2 项,其它部委级三等奖 3 项,国际发明金奖与世界知识产权专项奖各 1 项. 实验室在开展国际国内学术交流与合作方面,有着优良的传统. 实验室借各种机会,积极组织学术交流,每年一批在美国,法国,德 国,日本,英国,新加坡等地工作的优秀中国留学生,定期到实验室从事短期客座研究,来自美国,加拿大,英国,法国,日本等二十多个国家或地区的知名学者到实验室做学术报告达几十人次.实验室通过中科院自动化所和法国国立信息与自动化研究院(INRIA)成立了 "中法信息,自动化与应用数学联合实验室",与香港科技大学成立了信息技术联合实验室.实验室成员积极参与国内外学术组织的工作,担任许多国内外学术期刊的主编,副主编或编委,以及国际重要学术会议的大会主席或程序委员会委员等. 实验室十分重视与高新技术企业的交流与合作,希望通过与社会资源的有效组合,促进成果转化,为我国的经济建设和社会发展服务! 研究方向与目标 人类具有很强的模式识别能力.通过视觉信息识别文字,图片和周围的环境,通过听觉信息识别与理解语言.模式识别能力是人类智能的重要组成部分.从信息处理的角度搞清它的机理,研究它的计算理论与算法,以使计算机来实现人的视觉,听觉等模式识别能力,是人类在基础理论与应用研究中面临最重大的挑战之一.用计算机实现模式的自动识别,是开发智能机器的一个最关键的突破口(如果机器不能自动感知与识别周围环境,机器智能也就无从谈起!).它的成功应用将大大推动人工智能系统的发展,拓广计算机与各种自动机器的应用范围. 随着数字化和网络通讯技术的飞速发展,"信息过载"(Information Overload) 已成为日益严重的问题.如何用智能化的手段处理和识别网上的海量信息(包括文字,图像,语音等)已成为当前信息技术领域所面临的一个巨大挑战.解决这个问题,使普通百姓能方便地获取所需信息,将互联网上丰富的信息资源转换为发展知识经济的宝贵财富,是我国在推进国
中国科学院自动化研究所 2009年招收攻读博士学位研究生入学统一考试试题 科目名称科目名称：：模式识别 考生须知考生须知：： 1．本试卷满分为100分，全部考试时间总计180分钟。 2．所有答案必须写在答题纸上，写在试题纸上或草稿纸上一律无效。 1.（12分）描述Bayes 最小风险决策规则并说明该规则如何用于实际的模式识别问题。 2.（14分）给定一组有类别标号（M 类）的样本x 1,x 2,…,x N (d i R ∈x )。现有两种 特征提取（降维）方法F1和F2及两种分类方法（分类器）C1和C2。请设计一个实验方案，分别比较特征提取方法和分类方法的性能。写出详细实验过程。 3．（15分）写出正态分布（(|)~(,)i i i p N ωμΣx ，d R ∈x ）下最大后验概率分类的判别函数，并说明在什么情况下该判别函数分别等价于线性判别函数和最近欧氏距离规则。 4．（14分）给定N 个样本x 1,x 2,…,x N (d i R ∈x )，窗函数()?x 及窗宽h N ，写出概 率密度函数p (x )的Parzen 窗估计公式?()N p x 。若一维空间中2()(,)p x N μσ～，()(0,1)x N ?～，证明22?[()](,)N N E p x N h μσ+～ 5.（15分）分别描述k-means 聚类算法和基于Expectation-Maximization (EM)的Gaussian mixture 密度估计方法，并分析二者之间的关系。 （续下页） 科目名称：模式识别 第1页 共2页
6．（15分）二维空间中三类模式服从正态分布：(|)~(,)i i i p N ωμΣx ，2R ∈x , i=1,2,3。三类的均值和方差分别为 123412214 (,),(,,(,333333 T T T μμμ∈∈?∈?? 123212121111,,121212999?? Σ=Σ=Σ= ?? 求分别使S t 和1w b S S ?最大化的最优特征矢量。 7．（15分）选做一题。（1）描述三层前馈神经网络（一个隐层）的输出公式和反向传播（BP ）学习算法的过程。（2）描述支持向量机的判别函数和学习方法（包括原空间和对偶空间的优化目标函数）。 科目名称：模式识别 第2页 共2页