下载文档原格式
问答1. 什么是模式？通过对具体个别事物进行观测所得到的具有时间和空间分布的信息称为模式。
模式所指的不是事物本身，而是我们从事物中获得的信息。
2. 模式识别系统主要由哪些部分组成？信息获取，预处理，特征提取与选择，分类决策，后处理。
3. 最小错误率贝叶斯分类器设计过程?答：根据训练数据求出先验概率类条件概率分布 p ( x |W i ), i =1,2 \ P (X | W j ) P (w j )如果输入待测样本 X ,计算X 的后验概率根据后验概率大小进行分类决策分析。
4. 怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？答：假设各属性独立，P(x| 3 i) =P(x1, x2, …,xn | 3 i) = P(x1| 3 i) P(x2| 3 i)…P(xn| 3 i)后验概率： P( 3 i|x) = P( 3 i) P(x1|3 i) P(x2| 3 i)…P(xn| 3 i) 类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均 值方差，最后得到类条件概率分布。
方差：var(x) (x^x)A 2 m —1 i 二二：解答1.设有如下三类模式样本集 3 1, 3 2和3 3,其先验概率相等，求 S W 和Sb3 1 : {(1 0) T , (2 0) T , (1 1)、3 2 : {(-1 0) T , (0 1) T, (-1 1)T}3 3: {(-1-1) T, (0 -1) T , (0 -2) T }答：由于三类样本集的先验概率相等，则概率均为1/3。
多类情况的类内散度矩阵，可写成各类的类内散布矩阵的先验概率的加权和，即:ccS w P®i )E{(x —m)(x —mJ T|斜}=送 C ii =1i 4类间散布矩阵常写成：cS b「P(・i)(m i - m °)(m i - m °)T其中，m 。
为多类模式(如共有 c 类)分布的总体均值向量，即:P ( X | W i ) P (W i ) 2利用贝叶斯公式得到后验概率 P(W i | x)二均值:1mmean(x)xim y 其中Ci 是第i 类的协方差矩阵。
模式识别试卷及答案一、选择题（每题5分，共30分）1. 以下哪一项不是模式识别的主要任务？A. 分类B. 回归C. 聚类D. 预测答案：B2. 以下哪种算法不属于监督学习？A. 支持向量机（SVM）B. 决策树C. K最近邻（K-NN）D. K均值聚类答案：D3. 在模式识别中，以下哪一项是特征选择的目的是？A. 减少特征维度B. 增强模型泛化能力C. 提高模型计算效率D. 所有上述选项答案：D4. 以下哪种模式识别方法适用于非线性问题？A. 线性判别分析（LDA）B. 主成分分析（PCA）C. 支持向量机（SVM）D. 线性回归答案：C5. 在神经网络中，以下哪种激活函数常用于输出层？A. SigmoidB. TanhC. ReLUD. Softmax答案：D6. 以下哪种聚类算法是基于密度的？A. K均值聚类B. 层次聚类C. DBSCAND. 高斯混合模型答案：C二、填空题（每题5分，共30分）1. 模式识别的主要任务包括______、______、______。
答案：分类、回归、聚类2. 在监督学习中，训练集通常分为______和______两部分。
答案：训练集、测试集3. 支持向量机（SVM）的基本思想是找到一个______，使得不同类别的数据点被最大化地______。
答案：最优分割超平面、间隔4. 主成分分析（PCA）是一种______方法，用于降维和特征提取。
答案：线性变换5. 神经网络的反向传播算法用于______。
答案：梯度下降6. 在聚类算法中，DBSCAN算法的核心思想是找到______。
答案：密度相连的点三、简答题（每题10分，共30分）1. 简述模式识别的基本流程。
答案：模式识别的基本流程包括以下几个步骤：（1）数据预处理：对原始数据进行清洗、标准化和特征提取。
（2）模型选择：根据问题类型选择合适的模式识别算法。
（3）模型训练：使用训练集对模型进行训练，学习数据特征和规律。
大学模式识别考试题及答案详解Document number：PBGCG-0857-BTDO-0089-PTT1998一、填空与选择填空（本题答案写在此试卷上，30分）1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择和模式分类。
2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。
3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。
（1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。
（1）距离测度（2）模糊测度（3）相似测度（4）匹配测度5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。
（1）（2） (3)(4)6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。
（1）二维空间（2）一维空间（3）N-1维空间7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。
（1）感知器算法（2）H-K算法（3）积累位势函数法8、下列四元组中满足文法定义的有（1）（2）（4）。
（1）({A, B}, {0, 1}, {A?01, A? 0A1 , A? 1A0 , B?BA , B? 0}, A)（2）({A}, {0, 1}, {A?0, A? 0A}, A)（3）({S}, {a, b}, {S ? 00S, S ? 11S, S ? 00, S ? 11}, S)（4）({A}, {0, 1}, {A?01, A? 0A1, A? 1A0}, A)二、(15分)简答及证明题（1）影响聚类结果的主要因素有那些？（2）证明马氏距离是平移不变的、非奇异线性变换不变的。
答：（1）分类准则，模式相似性测度，特征量的选择，量纲。
（2）证明：(2分)(2分)(1分)设，有非奇异线性变换：(1分)(4分)三、(8分)说明线性判别函数的正负和数值大小在分类中的意义并证明之。
模式识别期末试题及答案正文：模式识别期末试题及答案1. 选择题1.1 下列关于机器学习的说法中，正确的是：A. 机器学习是一种人工智能的应用领域B. 机器学习只能应用于结构化数据C. 机器学习不需要预先定义规则D. 机器学习只能处理监督学习问题答案：A1.2 在监督学习中，以下哪个选项描述了正确的训练过程？A. 通过输入特征和预期输出，训练一个模型来进行预测B. 通过输入特征和可能的输出，训练一个模型来进行预测C. 通过输入特征和无标签的数据，训练一个模型来进行预测D. 通过输入特征和已有标签的数据，训练一个模型来进行分类答案：D2. 简答题2.1 请解释什么是模式识别？模式识别是指在给定一组输入数据的情况下，通过学习和建模，识别和分类输入数据中的模式或规律。
通过模式识别算法，我们可以从数据中提取重要的特征，并根据这些特征进行分类、聚类或预测等任务。
2.2 请解释监督学习和无监督学习的区别。
监督学习是一种机器学习方法，其中训练数据包含了输入特征和对应的标签或输出。
通过给算法提供已知输入和输出的训练样本，监督学习的目标是学习一个函数，将新的输入映射到正确的输出。
而无监督学习则没有标签或输出信息。
无监督学习的目标是从未标记的数据中找到模式和结构。
这种学习方法通常用于聚类、降维和异常检测等任务。
3. 计算题3.1 请计算以下数据集的平均值：[2, 4, 6, 8, 10]答案：63.2 请计算以下数据集的标准差：[1, 3, 5, 7, 9]答案：2.834. 综合题4.1 对于一个二分类问题，我们可以使用逻辑回归模型进行预测。
请简要解释逻辑回归模型的原理，并说明它适用的场景。
逻辑回归模型是一种用于解决二分类问题的监督学习算法。
其基本原理是通过将特征的线性组合传递给一个非线性函数（称为sigmoid函数），将实数值映射到[0,1]之间的概率。
这个映射的概率可以被解释为某个样本属于正类的概率。
逻辑回归适用于需要估计二分类问题的概率的场景，例如垃圾邮件分类、欺诈检测等。
大学模式识别考试题及答案详解Last revision on 21 December 2020一、填空与选择填空（本题答案写在此试卷上，30分）1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择和模式分类。
2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。
3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。
（1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。
（1）距离测度（2）模糊测度（3）相似测度（4）匹配测度5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。
（1）（2） (3)(4)6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。
（1）二维空间（2）一维空间（3）N-1维空间7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。
（1）感知器算法（2）H-K算法（3）积累位势函数法8、下列四元组中满足文法定义的有（1）（2）（4）。
（1）({A, B}, {0, 1}, {A01, A 0A1 , A 1A0 , B BA , B 0}, A)（2）({A}, {0, 1}, {A0, A 0A}, A)（3）({S}, {a, b}, {S 00S, S 11S, S 00, S 11}, S)（4）({A}, {0, 1}, {A01, A 0A1, A 1A0}, A)二、(15分)简答及证明题（1）影响聚类结果的主要因素有那些（2）证明马氏距离是平移不变的、非奇异线性变换不变的。
答：（1）分类准则，模式相似性测度，特征量的选择，量纲。
（2）证明：(2分)(2分)(1分)设，有非奇异线性变换：(1分)(4分)三、(8分)说明线性判别函数的正负和数值大小在分类中的意义并证明之。
一、填空与选择填空（本题答案写在此试卷上，30分）1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择和模式分类。
2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。
3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。
（1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。
（1）距离测度（2）模糊测度（3）相似测度（4）匹配测度5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。
（1）（2） (3)(4)6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。
（1）二维空间（2）一维空间（3）N-1维空间7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。
（1）感知器算法（2）H-K算法（3）积累位势函数法8、下列四元组中满足文法定义的有（1）（2）（4）。
（1）({A, B}, {0, 1}, {A→01, A→ 0A1 , A→ 1A0 , B→BA , B→ 0}, A)（2）({A}, {0, 1}, {A→0, A→ 0A}, A)（3）({S}, {a, b}, {S → 00S, S → 11S, S → 00, S → 11}, S)（4）({A}, {0, 1}, {A→01, A→ 0A1, A→ 1A0}, A)二、(15分)简答及证明题（1）影响聚类结果的主要因素有那些？（2）证明马氏距离是平移不变的、非奇异线性变换不变的。
答：（1）分类准则，模式相似性测度，特征量的选择，量纲。
（2）证明：(2分)(2分)(1分)设，有非奇异线性变换：(1分)(4分)三、(8分)说明线性判别函数的正负和数值大小在分类中的意义并证明之。
答：（1）（4分）的绝对值正比于到超平面的距离平面的方程可以写成式中。
四川⼤学模式识别期末考试内容⼀．计算题1、在图像识别中，假定有灌⽊和坦克2种类型，它们的先验概率分别是0.7和0.3，损失函数如下表所⽰。
其中，类型w 1和w 2分别表⽰灌⽊和坦克，判决a 1=w 1，a 2=w 2。
现在做了2次实验，获得2个样本的类概率密度如下：5.02.0)|(1=ωx P 3.06.0)|(2=ωx P（1）试⽤最⼩错误率贝叶斯准则判决2个样本各属于哪⼀类？坦克、灌⽊。
（2）试⽤最⼩风险决策规则判决2个样本各属于哪⼀类？灌⽊、灌⽊。
答：（1）最⼩错误率贝叶斯准则，决策为坦克第⼀个样本：2121221111)|()|(5625.04375.01)|(1)|(4375.032143.0*6.07.0*2.07.0*2.0)()|()()|()|(ωωωωωωωωωω∈?>=-=-===+==∑=x x P x P x P x P P x p P x p x P j j j ，决策为灌⽊第⼆个样本：1121221111)|()|(449205.0795.01)|(1)|(795.044353.0*3.07.0*5.07.0*5.0)()|()()|()|(ωωωωωωωωωω∈?<==-≈-=≈=+==∑=x x P x P x P x P P x p P x p x P j j j（2）最⼩风险决策规则，决策为灌⽊第⼀个样本1212221212122212111211122211211)|()|(3175.25625.0*0.14375.0*4)|()|()|()|(35375.15625.0*24375.0*5.0)|()|()|()|(0.1425.0ωωλωλωλωλωλωλλλλλ∈?<=+=+===+=+======∑∑==x x a R x a R x P x P x P x a R x P x P x P x a R j j j j j j ，决策为灌⽊第⼆个样本12122212121222121112111)|()|(385.3205.0*0.1795.0*4)|()|()|()|(8075.0205.0*2795.0*5.0)|()|()|()|(ωωλωλωλωλωλωλ∈?<=+=+===+=+==∑∑==x x a R x a R x P x P x P x a R x P x P x P x a R j j j j j j2、给出⼆维样本数据(-1,1),(2,2),(1,-1),(-2,-2)，试⽤K-L 变换作⼀维数据压缩。
《模式识别》期末考试试题（B ）一、填空题（15个空，每空2分，共30分）1．基于机器学习的模式识别系统通常由两个过程组成, 即分类器设计和（ ）。
2．统计模式识别把( )表达为一个随机向量(即特征向量), 将模式类表达为由有穷或无穷个具有相似数值特性的模式组成的集合。
3．特征一般有两种表达方法：(1)将特征表达为数值；(2)将特征表达为( )。
4．特征提取是指采用( )实现由模式测量空间向特征空间的转变。
5．同一类模式类样本的分布比较集中，没有或临界样本很少，这样的模式类称为( )。
6．加权空间的所有分界面都通过( )。
7．线性多类判别： 若每两个模式类间可用判别平面分开， 在这种情况下，M 类有( )个判别函数,存在有不确定区域。
8．当取0-1损失函数时, 最小风险贝叶斯判决准则等价于( )判决准则。
9．Neyman-Pearson 决策的基本思想是( )某一错误率，同时追求另一错误率最小。
10．聚类/集群：用事先不知样本的类别，而利用样本的先验知识来构造分类器属于( )学习。
11．相似性测度、聚类准则和( )称为聚类分析的三要素。
12．K/C 均值算法使用的聚类准则函数是误差平方和准则，通过反复迭代优化聚类结果，使所有样本到各自所属类别的中心的( )达到最小。
13．根据神经元的不同连接方式，可将神经网络分为分层网络和相互连接型网络两大类。
其中分层网络可细分为前向网络、( )和层内互连前向网络三种互连方式。
14．神经网络的特性及能力主要取决于网络拓扑结构及( )。
15．BP 神经网络是采用误差反向传播算法的多层前向网络，其中，神经元的传输函数为S 型函数，网络的输入和输出是一种( )映射关系。
二、简答题（2题，每小题10分，共20分）1．两类问题的最小风险Bayes 决策的主要思想是什么？ 2．已知一组数据的协方差矩阵为11/21/21⎡⎤⎢⎥⎣⎦，试问： (1)协方差矩阵中各元素的含义是什么？ (2)K-L 变换的最佳准则是什么？(3)为什么说经K-L 变换后消除了各分量之间的相关性？三、 计算题(2题，每小题13分，共26分)1．已知有两类样本集，分别为ω1={x 1, x 2}={(1,2)T , (-1,0)T }; ω2={x 3, x 4} ={(-1,-2)T , (1,-1)T } 设初始权值w 1=(1,1,1)T , ρk =1，试用感知器固定增量法求判别函数，画出决策面。
大学模式识别考试题及答案详解HUA system office room 【HUA16H-TTMS2A-HUAS8Q8-HUAH1688】一、填空与选择填空（本题答案写在此试卷上，30分）1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择和模式分类。
2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。
3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。
（1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。
（1）距离测度（2）模糊测度（3）相似测度（4）匹配测度5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。
（1）（2） (3)(4)6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。
（1）二维空间（2）一维空间（3）N-1维空间7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。
（1）感知器算法（2）H-K算法（3）积累位势函数法8、下列四元组中满足文法定义的有（1）（2）（4）。
（1）({A, B}, {0, 1}, {A01, A 0A1 , A 1A0 , B BA , B 0}, A)（2）({A}, {0, 1}, {A0, A 0A}, A)（3）({S}, {a, b}, {S 00S, S 11S, S 00, S 11}, S)（4）({A}, {0, 1}, {A01, A 0A1, A 1A0}, A)二、(15分)简答及证明题（1）影响聚类结果的主要因素有那些？（2）证明马氏距离是平移不变的、非奇异线性变换不变的。
答：（1）分类准则，模式相似性测度，特征量的选择，量纲。
（2）证明：(2分)(2分)(1分)设，有非奇异线性变换：(1分)(4分)三、(8分)说明线性判别函数的正负和数值大小在分类中的意义并证明之。
模式识别期末考试试题# 模式识别期末考试试题## 一、选择题（每题2分，共20分）1. 模式识别中，特征提取的目的是什么？A. 降低数据维度B. 提高计算效率C. 增强数据的可解释性D. 以上都是2. 在K-近邻算法中，K值的选择对结果的影响是什么？A. 无影响B. 影响分类的准确性C. 影响算法的运行时间D. 影响数据的可读性3. 决策树算法中，信息增益的计算是基于以下哪个概念？A. 熵B. 互信息C. 条件熵D. 联合熵4. 支持向量机（SVM）的主要思想是？A. 寻找数据点之间的最大间隔B. 寻找数据点之间的最小间隔C. 寻找数据点的平均间隔D. 寻找数据点的中心点5. 以下哪个算法属于聚类算法？A. K-近邻B. 决策树C. K-均值D. 支持向量机## 二、简答题（每题10分，共30分）1. 描述主成分分析（PCA）的基本原理及其在模式识别中的应用。
2. 解释什么是过拟合（Overfitting）现象，并给出避免过拟合的几种常用方法。
3. 给出神经网络在模式识别中的基本工作原理，并说明其优缺点。
## 三、计算题（每题25分，共50分）1. 给定以下数据点，使用K-均值算法将它们分为两个簇，并说明算法的步骤：- 数据点：(1, 2), (2, 3), (5, 6), (8, 7), (9, 8)2. 假设有一个二维数据集，其中包含两类数据点，分别用圆形和三角形表示。
数据点的特征如下表所示：| 特征1 | 特征2 | 类别 || | | - || 1.5 | 2.5 | 圆形 || 2.0 | 3.0 | 圆形 || 3.5 | 4.5 | 三角形 || 4.0 | 5.0 | 三角形 |使用线性判别分析（LDA）方法，找出最佳线性边界，并将数据点分为两类。
## 四、论述题（共30分）1. 论述深度学习在图像识别领域的应用，并讨论其与传统机器学习方法相比的优势和局限性。
## 五、案例分析题（共30分）1. 假设你是一名数据科学家，你的团队正在开发一个用于识别手写数字的系统。
一．计算题1、 在图像识别中，假定有灌木和坦克2种类型，它们的先验概率分别是0.7和0.3，损失函数如下表所示。
其中，类型w 1和w 2分别表示灌木和坦克，判决a 1=w 1，a 2=w 2。
现在做了2次实验，获得2个样本的类概率密度如下：5.02.0)|(1=ωx P 3.06.0)|(2=ωx P（1）试用最小错误率贝叶斯准则判决2个样本各属于哪一类？坦克、灌木。
（2）试用最小风险决策规则判决2个样本各属于哪一类？灌木、灌木。
答：（1）最小错误率贝叶斯准则，决策为坦克第一个样本：2121221111)|()|(5625.04375.01)|(1)|(4375.032143.0*6.07.0*2.07.0*2.0)()|()()|()|(ωωωωωωωωωω∈⇒>=-=-===+==∑=x x P x P x P x P P x p P x p x P j j j ，决策为灌木第二个样本：1121221111)|()|(449205.0795.01)|(1)|(795.044353.0*3.07.0*5.07.0*5.0)()|()()|()|(ωωωωωωωωωω∈⇒<==-≈-=≈=+==∑=x x P x P x P x P P x p P x p x P j j j（2）最小风险决策规则，决策为灌木第一个样本1212221212122212111211122211211)|()|(3175.25625.0*0.14375.0*4)|()|()|()|(35375.15625.0*24375.0*5.0)|()|()|()|(0.1425.0ωωλωλωλωλωλωλλλλλ∈⇒<=+=+===+=+======∑∑==x x a R x a R x P x P x P x a R x P x P x P x a R j j j j j j，决策为灌木第二个样本12122212121222121112111)|()|(385.3205.0*0.1795.0*4)|()|()|()|(8075.0205.0*2795.0*5.0)|()|()|()|(ωωλωλωλωλωλωλ∈⇒<=+=+===+=+==∑∑==x x a R x a R x P x P x P x a R x P x P x P x a R j j j j j j2、 给出二维样本数据(-1,1),(2,2),(1,-1),(-2,-2)，试用K-L 变换作一维数据压缩。
答：数据压缩结果：0，22，0，22-3、 已知两类的数据：ω1：(1,0),(2,0),(1,1)；ω2：(-1,0),(0,1),(-1,1)，试求该组数据的类内与类间散布矩阵。
⎪⎪⎭⎫ ⎝⎛--=⎪⎭⎫ ⎝⎛-⎪⎪⎪⎪⎭⎫ ⎝⎛-=--=⎪⎪⎭⎫ ⎝⎛=⎪⎪⎭⎫ ⎝⎛+⎪⎪⎭⎫ ⎝⎛--=+=⎥⎦⎤⎢⎣⎡-⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡--⎪⎪⎭⎫ ⎝⎛=--=⎥⎦⎤⎢⎣⎡-⎥⎦⎤⎢⎣⎡-⎥⎦⎤⎢⎣⎡--⎪⎪⎭⎫ ⎝⎛--=--=⎪⎭⎫⎝⎛-=⎪⎭⎫ ⎝⎛==∑∑∑∈∈∈166369131363136))((400431211231211231).3313131323231211231))((323131323131211231))(().23232,31341).1:2121212221112121T b w bw TTTx TTTTx TTT x ii m m m m S S S S S S m x m x S m x m x S m m x N m i与计算向量的距离平方和分别计算两个类与均值取均值向量答χχχ其中Sw 为类内，Sb 为类间4、已知欧氏二维空间中两类9个训练样本w 1:(-1,0)T ,(-2,0)T ,(-2,1)T ,(-2,-1)Tw 2:(1,1)T ,(2,0)T ,(1,-1)T ,(2,1)T ,(2,2)T ，试分别用最近邻法和K 近邻法求测试样本(0,0)T 的分类，取K=5，7。
答：最近邻法：最近邻为(-1，0)T 分类为w 1K 近邻法：K=5：5个近邻为1类的(-1,0)T ,(-2,0)T ，2类的(1,1)T ,(2,0)T ,(1,-1)T 分类为w 2K=7：1）若近邻为1类的(-1,0)T,(-2,0)T,(-2,1)T,(-2,-1)T，2类的(1,1)T,(2,0)T,(1,-1)T，则分类为w12）若近邻为1类的(-1,0)T,(-2,0)T,(-2,1)T或(-2,-1)T两个之一，2类的(1,1)T,(2,0)T,(1,-1)T,(2,1)T，则分类为w25.已知两类的训练样本：w1(0,0)T,(0,2)T;w2(2,0)T,(2,2)T，试用最小平方误差准则算法进行分类器训练，求解向量w*。
简答题简答题1.什么是模式与模式识别？模式：对象之间存在的规律性关系；模式识别：是研究用计算机来实现人类模式识别能力的一门学科。
/*模式：广义地说，模式是一些供模仿用的、完美无缺的标本。
本课程把所见到的具体事物称为模式，而将它们归属的类别称为模式类。
模式的直观特性:可观察性，可区分性，相似性模式识别：指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程。
*/2.一个典型的模式识别系统主要由哪几个部分组成3.什么是后验概率？系统在某个具体的模式样本X条件下位于某种类型的概率。
4.确定线性分类器的主要步骤①采集训练样本，构成训练样本集。
样本应该具有典型性②确定一个准则J=J(w,x)，能反映分类器性能，且存在权值w*使得分类器性能最优③设计求解w的最优算法，得到解向量w*5.样本集推断总体概率分布的方法6.近邻法的基本思想是什么？作为一种分段线性判别函数的极端情况，将各类中全部样本都作为代表点，这样的决策方法就是近邻法的基本思想。
7.什么是K近邻法？取未知样本x的k个近邻，看这k个近邻中多数属于哪一类，就把x归为哪一类。
7.监督学习与非监督学习的区别利用已经标定类别的样本集进行分类器设计的方法称为监督学习。
很多情况下无法预先知道样本的类别，从没有标记的样本集开始进行分类器设计，这就是非监督学习。
/*监督学习：对数据实现分类，分类规则通过训练获得。
该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。
非监督学习方法不需要单独的离线训练过程，也没有带分类号的训练数据集，一般用来对数据集进行分析。
如聚类，确定其分布的主分量等。
*/8.什么是误差平方和准则？对于一个给定的聚类，均值向量是最能代表聚类中所有样本的一个向量，也称其为聚类中心。
一个好的聚类方法应能使集合中的所有向量与这个均值向量的误差的长度平方和最小。
9.分级聚类算法的2种基本途径是什么按事物的相似性，或内在联系组织起来，组成有层次的结构，使得本质上最接近的划为一类，然后把相近的类再合并，依次类推，这就是分级聚类算法的基本思想。
聚合法：把所有样本各自看为一类，逐级聚合成一类。
基本思路是根据类间相似性大小逐级聚合，每级只把相似性最大的两类聚合成一类，最终把所有样本聚合为一类。
分解法：把所有样本看做一类，逐级分解为每个样本一类。
10.特征抽取与特征选择的区别？特征抽取：原始特征的数量可能很大，或者样本处于一个高维空间中，通过映射（或变换）的方法可以用低维空间来表示样本，这个过程叫特征抽取。
所谓特征抽取在广义上就是指一种变换。
特征选择：从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，这个过程叫特征选择。
特征抽取是通过变换的方法组合原始高维特征，获得一组低维的新特征，而特征选择是根据专家的经验知识或根据某种评价准则来挑选出那些对分类最有影响力的特征，并未形成新的特征。
11.什么是最优搜素算法？最优搜索算法：至今能得到最优解的唯一快速算法是“分支定界”算法。
属于自上而下的算法，具有回溯功能。
由于合理地组织搜索过程，使得有可能避免计算某些特征组合而不影响结果为最优。
12统计学习理论的核心问题统计学习理论被认为是目前针对小样本统计估计和预测学习的最佳理论。
主要内容包括4个方面：（1）经验风险最小化原则下统计学习一致性的条件（2）在这些条件下关于统计学习方法推广性的界的结论（3）在这些界的基础上建立的小样本归纳推理原则（4）实现这些新的原则的实际方法13什么是支持向量机？支持向量机：在统计学习理论基础上发展出的识别方法，在解决小样本、非线性及高维模式识别问题中表现出其优势。
问答题问答题1.描述贝叶斯公式及其主要作用3.请详细写出感知器训练算法步骤4.请详细写出Fisher算法实现步骤5.什么是两分剪辑近邻法和压缩近邻法6.请详细介绍初始聚类中心的选择方法8.什么是离散K-L变换以及离散有限K-L展开离散K-L变换又称主成分分析（PCA），是一种基于目标统计特性的最佳正交变换，被广泛应用于数据压缩、特征降维等方面。
一个非周期性随机过程用具有互不相关系数的正交函数的级数展开。
K-L展开式就是这样一种展开方法。
一、（15分）设有两类正态分布的样本集，第一类均值为T1μ=（2,0），方差11⎡⎤∑=⎢⎥⎣⎦11/21/2，第二类均值为T2μ=（2,2），方差21⎡⎤∑=⎢⎥⎣⎦1-1/2-1/2，先验概率12()()p p ωω=，试求基于最小错误率的贝叶斯决策分界面。
解 根据后验概率公式()()()()i i i p x p p x p x ωωω=， (2’)及正态密度函数1()()()/2]Ti i i i p x x x ωμμ-=--∑- ,1,2i =。
(2’)基于最小错误率的分界面为1122()()()()p x p p x p ωωωω=， (2’) 两边去对数，并代入密度函数，得1111112222()()/2ln ()()/2ln T T x x x x μμμμ----∑--∑=--∑--∑ (1) (2’)由已知条件可得12∑=∑，114/3-⎡⎤∑=⎢⎥⎣⎦4/3-2/3-2/3，214/3-⎡⎤∑=⎢⎥⎣⎦4/32/32/3，(2’) 设12(,)Tx x x =，把已知条件代入式（1），经整理得1221440x x x x --+=， (5’)二、（15分）设两类样本的类内离散矩阵分别为11S ⎡⎤=⎢⎥⎣⎦11/21/2, 21S ⎡⎤=⎢⎥⎣⎦1-1/2-1/2,各类样本均值分别为T 1μ=（1,0），T 2μ=（3,2），试用fisher 准则求其决策面方程，并判断样本Tx =（2,2）的类别。
解：122S S S ⎡⎤=+=⎢⎥⎣⎦200 (2’) 投影方向为*112-2-1()211/2w S μμ-⎡⎤⎡⎤⎡⎤=-==⎢⎥⎢⎥⎢⎥--⎣⎦⎣⎦⎣⎦1/200 (6’)阈值为[]*0122()/2-1-131T y w μμ⎡⎤=+==-⎢⎥⎣⎦(4’)给定样本的投影为[]*0-12241T y w x y ⎡⎤===-<⎢⎥-⎣⎦， 属于第二类 (3’)三、 （15分）给定如下的训练样例实例 x0 x1 x2 t(真实输出)111112 1 2 0 13 1 0 1 -14 1 1 2 -1用感知器训练法则求感知器的权值，设初始化权值为0120w w w ===；1 第1次迭代（4’）2 第2次迭代（2’）3 第3和4次迭代四、 （15分）i. 推导正态分布下的最大似然估计；ii.根据上步的结论，假设给出如下正态分布下的样本{}1,1.1,1.01,0.9,0.99，估计该部分的均值和方差两个参数。
