下载文档原格式
《模式识别》试题库一、基本概念题1.1 模式识别的三大核心问题是：、、。
1.2、模式分布为团状时，选用聚类算法较好。
1.3 欧式距离具有。
马式距离具有。
（1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性1.4 描述模式相似的测度有：。
（1）距离测度（2）模糊测度（3）相似测度（4）匹配测度1.5 利用两类方法处理多类问题的技术途径有：（1）；（2）；（3）。
其中最常用的是第个技术途径。
1.6 判别函数的正负和数值大小在分类中的意义是：，。
1.7 感知器算法。
（1）只适用于线性可分的情况；（2）线性可分、不可分都适用。
1.8 积累位势函数法的判别界面一般为。
（1）线性界面；（2）非线性界面。
1.9 基于距离的类别可分性判据有：。
（1）1[]w BTr S S-（2）BWSS（3）BW BSS S+1.10 作为统计判别问题的模式分类，在（）情况下，可使用聂曼-皮尔逊判决准则。
1.11 确定性模式非线形分类的势函数法中，位势函数K(x,x k)与积累位势函数K(x)的关系为（）。
1.12 用作确定性模式非线形分类的势函数法，通常，两个n维向量x和x k的函数K(x,x k)若同时满足下列三个条件，都可作为势函数。
①（）；②（ ）； ③ K(x,x k )是光滑函数，且是x 和x k 之间距离的单调下降函数。
1.13 散度J ij 越大，说明ωi 类模式与ωj 类模式的分布（ ）。
当ωi 类模式与ωj 类模式的分布相同时，J ij =（ ）。
1.14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。
1.15 信息熵可以作为一种可分性判据的原因是： 。
1.16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。
1.17 随机变量l(x )=p( x |ω1)/p( x |ω2)，l( x )又称似然比，则E {l( x )|ω2}=（ ）。
1第三章参数估计与非参数估计•参数估计与监督学习•参数估计理论•非参数估计理论2基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数分类器功能结构基于样本直接确定判别函数方法3基于样本的Bayes 分类器设计•Bayes 决策需要已知两种知识：–各类的先验概率P (ωi )–各类的条件概率密度函数p(x |ωi )(|)()(|)(|)()i i i j j jp P P p P ωωωωω=∑x x x 知识的来源：对问题的一般性认识或一些训练数据基于样本两步Bayes 分类器设计¾利用样本集估计P (ωi )和p(x |ωi )¾基于上述估计值设计判别函数及分类器面临的问题：¾如何利用样本集进行估计¾估计量的评价¾利用样本集估计错误率4基于样本的Bayes 分类器训练样本集样本分布的统计特征：概率密度函数决策规则：判别函数决策面方程•最一般情况下适用的“最优”分类器：错误率最小，对分类器设计在理论上有指导意义。
•获取统计分布及其参数很困难，实际问题中并不一定具备获取准确统计分布的条件。
5直接确定判别函数•基于样本直接确定判别函数方法：–针对各种不同的情况，使用不同的准则函数，设计出满足这些不同准则要求的分类器。
–这些准则的“最优”并不一定与错误率最小相一致：次优分类器。
–实例：正态分布最小错误率贝叶斯分类器在特殊情况下，是线性判别函数g (x)=w T x （决策面是超平面），能否基于样本直接确定w ?训练样本集决策规则：判别函数决策面方程选择最佳准则6一．参数估计与非参数估计参数估计：先假定研究问题具有某种数学模型，如正态分布，二项分布，再用已知类别的学习样本估计里面的参数。
非参数估计：不假定数学模型，直接用已知类别的学习样本先验知识估计数学模型。
§3-1 参数估计与监督学习13¾估计量：样本集的某种函数f (X)，X ={X 1, X 2 ,…, X N }¾参数空间：总体分布未知参数θ所有可能取值组成的集合(Θ)12ˆ(,,...,)N d θθ=x x x 的（）是样本集的函数，它对样本集的一次实现估计称计量点估为估计值¾点估计的估计量和估计值§3-2 参数估计理论14¾估计量评价标准: 无偏性，有效性，一致性–无偏性：E ( )=θ–有效性：D ( )小，估计更有效–一致性：样本数趋于无穷时，依概率趋于θ：ˆθˆlim ()0N P θθε→∞−>=ˆθˆθ15最大似然估计计算方法•Maximum Likelihood (ML)估计–估计参数θ是确定而未知的，Bayes 估计方法则视θ为随机变量。
第3章基本概念本章介绍机器学习中的常用概念，包括算法的分类，算法的评价指标，以及模型选择问题。
按照样本数据是否带有标签值，可以将机器学习算法分为有监督学习与无监督学习。
按照标签值的类型，可以将有监督学习算法进一步细分为分类问题与回归问题。
按照求解的方法，可以将有监督学习算法分为生成模型与判别模型。
比较算法的优劣需要使用算法的评价指标。
对于分类问题，常用的评价指标是准确率；对于回归问题，是回归误差。
二分类问题由于其特殊性，我们为它定义了精度与召回率指标，在此基础上可以得到ROC曲线。
对于多分类问题，常用的评价指标是混淆矩阵。
泛化能力是衡量有监督学习算法的核心标准。
与模型泛化能力相关的概念有过拟合与欠拟合，对泛化误差进行分解可以得到方差与偏差的概念。
正则化技术是解决过拟合问题的一种常见方法，在本章中我们将会介绍它的实例-岭回归算法。
3.1算法分类按照样本数据的特点以及求解手段，机器学习算法有不同的分类标准。
这里介绍有监督学习和无监督学习，分类问题与回归问题，生成模型与判别模型的概念。
强化学习是一种特殊的机器学习算法，它的原理将在第20章详细介绍。
3.1.1监督信号根据样本数据是否带有标签值（label），可以将机器学习算法分成有监督学习和无监督学习两类。
要识别26个英文字母图像，我们需要将每张图像和它是哪个字符即其所属的类别对应起来，图像的类别就是标签值。
有监督学习（supervised learning）的样本数据带有标签值，它从训练样本中学习得到一个模型，然后用这个模型对新的样本进行预测推断。
样本由输入值与标签值组成：(),y x其中x为样本的特征向量，是模型的输入值；y为标签值，是模型的输出值。
标签值可以是整数也可以是实数，还可以是向量。
有监督学习的目标是给定训练样本集，根据它确定映射函数：()y f=x确定这个函数的依据是它能够很好的解释训练样本，让函数输出值与样本真实标签值之间的误差最小化，或者让训练样本集的似然函数最大化。
