模式识别7.近邻法

k近邻算法笔记K近邻算法（K-Nearest Neighbors，简称KNN）是一种基本的分类和回归算法，常用于模式识别。

该算法的核心思想是：如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别。

以下是关于K近邻算法的一些笔记：1. 基本原理-根据给定的距离度量，找出训练集中与新样本距离最近的k个样本。

-统计这k个样本的类别分布。

-将新样本分类为在k个样本中占比最多的类别。

2. 距离度量-常用的距离度量包括欧氏距离、曼哈顿距离、闵可夫斯基距离等。

-选择合适的距离度量通常取决于数据的特点和问题的要求。

3. 确定k值- k的选择会影响算法的性能，通常通过交叉验证等方法确定。

-较小的k值容易受到噪声的影响，较大的k值则可能忽略了样本局部的特性。

4. 优缺点-优点：-简单、易于理解和实现。

-适用于小规模数据集。

-缺点：-随着样本数量的增加，计算量会显著增加。

-对异常值敏感。

5. 应用领域- K近邻算法在模式识别、图像识别、语音识别等领域有广泛应用。

-也可以用于推荐系统、回归分析等问题。

6. 实现步骤-选择合适的距离度量和k值。

-计算新样本与训练集中所有样本的距离。

-根据距离递增的顺序，找到k个最近邻的样本。

-统计k个样本的类别分布，将新样本分类。

7. 代码示例```pythonfrom sklearn.neighbors import KNeighborsClassifier# 创建K近邻分类器knn = KNeighborsClassifier(n_neighbors=3)# 训练模型knn.fit(X_train, y_train)# 预测新样本的类别y_pred = knn.predict(X_test)```这些笔记提供了K近邻算法的基本概念和实现步骤。

在实际应用中，根据具体问题的特点和数据的性质，可能需要进一步调整参数和优化模型。

邻(和它距离最近的代表点)所在的类。
假定有m个类别ω1, ω2, …, ωm的模式识别问题,
每类有Ni(i=1, 2, …, m)个样本, 规定类ωi的判别函数
为
gi (x) min x xik
i
k 1, 2,
, Ni
其中, xki表示第i类的第k个元素。 判决准则: gi (x) ，则x∈ω 若 g j (x) i min j 1,2, , m
定义Fisher线性判决函数为
( 1 2 )2 J F (w ) S1 S2
分子反映了映射后两类中心的距离平方,
该值越大, 类间可
分性越好;
分母反映了两类的类内离散度,
从总体上来讲,
其值越小越好;
JF(w)的值越大越好。 使JF(w)达到最大值的w即为最
在这种可分性评价标准下,
如果P(ω1|x)<P(ω2|x), 则判决x属于ω2;
如果P(ω1|x)=P(ω2|x), 则判决x属于ω1或属于ω2。
这种决策称为最大后验概率判决准则, 也称为贝叶斯 (Bayes)判决准则。 假设已知P(ωi)和p(x|ωi)(i=1, 2, …, m), 最大后验概率判 决准则就是把样本x归入后验概率最大的类别中, 也就是,
0
Sigmoid (a) 取值在(0, 1)内; (b) 取值在(－1, 1)内
神经网络结构 神经网络是由大量的人工神经元广泛互连而成 的网络。 根据网络的拓扑结构不同, 神经网络可分
R( j | x) ( j , i ) P(i | x)
i 1 m
最小风险贝叶斯判决准则: 如果
R( k | x) min R( j | x)
j 1, 2 ,, m

三、 近邻聚类算法1、实验目的掌握最近邻法和k -近邻法的基本原理和程序流程。

2、实验原理(1) 最近邻法设有c 个类别的模式识别问题，每类有标明类别的样本N i 个，i =1, 2, …, c 。

规定ωi 类的判别函数为：()min ,1,2,,i i k i kg k N =-= x x x(1.1)式中，ik x 表示ωi 类样本集中第k 个样本。

最近邻决策规则可以写为：若()()min ,1,2,,j i ig g i c == x x ，则决策x ∈ωj(2) k -近邻法在N 个已知样本中，找出x 的k 个近邻。

若k 1, …, k c 分别是k 个近邻中属于ω1, …, ωc 类的样本数，则判别函数定义为：()1,2,,i i g k i c == x(1.2)k -近邻法决策规则为：若()max ,1,2,,j i ig k i c == x ，则决策x ∈ωj3、 实验步骤理解并编写最近邻法和k -近邻法法，并用下表的样本集对程序进行验证。

x 1x 2x 3x 1x 2x 3x 1x 2 x 3 -5.01 -8.12 -3.68 -0.91 -0.18 -0.05 5.35 2.268.13-5.43 -3.48 -3.54 1.30 -2.06 -3.53 5.123.22 -2.661.08 -5.52 1.66 -7.75 4.54 -0.95 -1.34 -5.31 -9.87 0.86 -3.78 -4.11 -5.47 0.50 3.92 4.483.42 5.19 -2.67 0.63 7.39 6.14 5.72 -4.85 7.11 2.399.214.943.292.083.601.264.36 7.174.33 -0.98-2.51 2.09 -2.59 5.37 -4.63 -3.65 5.75 3.97 6.65-2.25 -2.13 -6.94 7.18 1.46 -6.66 0.77 0.27 2.415.56 2.86 -2.26 -7.39 1.176.30 0.90 -0.43 -8.711.03 -3.33 4.33 -7.50 -6.32 -0.31 3.52 -0.36 6.434、实验报告分析实验结果；总结本实验的心得体会，对不足之处提出改进意见；试分析最近邻法和k-近邻法的异同和优劣。

人工智能之模式识别_北京理工大学中国大学mooc课后章节答案期末考试题库2023年1.采用非线性激活函数可以实现感知器解决非线性分类问题。

参考答案:错误2.下列关于最大池化的说法中错误的是？参考答案:LeNet采用的是最大池化方法3.填充树法由顶向底的方法和由底向顶填充相反。

参考答案:正确4.语言可以是无限的但是句子必须是有限的。

参考答案:正确5.文法是由下列哪些参数构成的？参考答案:起始符S_终止符V_T_非终止符V_N_产生式P6.感知器算法应用什么方法求解准则函数的最优值？参考答案:梯度下降法7.下列关于对比散度算法的说法中错误的是？参考答案:深度信念网中多层受限玻尔兹曼机同时通过对比散度算法完成预训练8.下列选项中，属于模式识别系统的环节是？参考答案:分类器训练_模式采集_分类决策_预处理与特征生成9.分类器函数的VC维h越大，将使下列选项中的哪些数据发生变化？参考答案:置信风险越大_结构风险越大_分类器泛化能力越差10.利用SVM将低维空间中的非线性问题映射到高维空间，存在哪些问题？参考答案:不确定需要映射到多少维的空间上，非线性问题才会转化为线性问题_如何找到合适的映射函数φ_增加计算量，可能会因为维数灾难无法解决11.本课程中介绍的与句法模式识别相关的基本概念有？参考答案:字母表_句子（链）_文法_语言12.下列选项中属于贝叶斯分类器的特点的是？参考答案:分类决策存在错误率_先验概率已知，以新获得的信息对先验概率进行修正13.贝叶斯分类器的训练，是从样本集数据中估计出____。

参考答案:类条件概率_先验概率14.下列选项中属于特征降维的优点的是？参考答案:降低模式识别任务的复杂度_提升分类决策的正确率_用更少的代价设计出更加优秀的模式识别系统15.下列说法中正确的是？参考答案:聚类结果受特征选取和聚类准则的影响_数据聚类没有预先分好类的样本集_聚类结果受各特征量纲标尺的影响_数据聚类没有已知的分类决策规则16.设计一个组合分类器需要满足什么要求？参考答案:每个基分类器的训练集和训练结果要有差异_组合分类器需要重点考虑方差和偏差_基分类器的分类正确率大于50%17.下列选项中属于决策树分类器的特点的是？参考答案:需选择分支后两个子节点纯度最高的特征作为一个节点的测试特征_速度快，分类决策规则明确_未考虑特征间的相关性_有监督学习方法18.下列选项中属于Adaboost算法的特点的是？参考答案:异常数据（离群点）影响大_不易实现并行化训练_只能解决二分类问题_算法的组合过程能减小偏差19.下列选项中属于反馈型神经网络的是？参考答案:Hopfield网络_受限玻尔兹曼机20.调节以下哪些部分可以对神经网络的性能造成影响？参考答案:权值_激活函数_隐层单元_阈值21.下列选项中关于前馈网络和反馈网络的说法中正确的是？参考答案:前馈网络输出不作用在网络的输入中_前馈网络为静态网络_反馈网络下一时刻的输出与上一时刻的输出有关_反馈网络为动态网络22.下列选项中属于BP网络的不足的是？参考答案:容易陷入局部极小值_全连接网络计算大_隐层神经元数量难以确定_无法做到深度很深，会产生梯度消失23.下列选项中属于深度学习的特点的是？参考答案:需要大量样本进行训练_逐层抽象，发现数据集的特征_是层数较多的大规模神经网络_需要大规模并行计算能力的支持24.利用链式求导法则需要哪些信息？参考答案:损失函数与网络输出向量之间的函数关系_激活函数输出对净激励的导数25.深度信念网不能用于图像识别的原因是？参考答案:深度信念网为一维向量输入，不能直接用于二位图像_需要进行认知－重构的双向计算，学习速度不够快_受限玻尔兹曼机的层间全连接，权值数量太多26.Jp作为类内、类间可分性的概率距离度量时应该满足下列选项中哪些条件？参考答案:当两类完全不可分时，Jp等于0_当两类完全可分时，Jp取得最大值27.特征选择的算法包括以下哪些？参考答案:分支定界法_顺序后退法_穷举法_顺序前进法28.特征降维的方法包括特征选择和特征提取。