安全knn算法

竺　／　

文章编号：１００７—１４２３（２０１４）１７—００４３—０５　ＤＯＩ：１０．３９６９６．ｉｓｓｎ．１００７—１４２３．２０１４．１７．０１０　

ＫＮＮ一均值算法　

仲媛　，杨健　，涂庆华　，李小舟。　

（１．南京理工大学信息化建设与管理处，南京２１００９４；２．南京理工大学计算机科学与工程学院，南京２１００９４；　

３．南京航空航天大学发展计划处，南京２１００９４）　

摘要：　基于传统ＫＮＮ的弱点，提出一种新的改进方法：在训练样本中取与待测样本最近邻的Ｋ个样本；把这Ｋ个样本按类　

划分取每类的平均样本；计算每个类的平均样本与待测样本的欧氏距离，并将样本归为距离最小的那一类。在南京理　

工大学ＮＵＳＴ６０３ＨＷ手写体汉字库以及Ｃｏｎｃｏｒｄｉａ大学的ＣＥＮＰＡＲＭＩ手写体阿拉伯数字数据库上的试验结果表明，　

新方法较传统ＫＮＮ的识别率有明显提高。　

关键词：　

分类算法：ＫＮＮ：均值；字符识别　

基金项目：　

国家自然科学基金（Ｎｏ．６０９７３０９８、Ｎｏ．６０６３２０５０、Ｎｏ．９０８２０３０６／Ｆ０３０７）　

０　引言　

Ｃ０ｖｅｒ和Ｈａｒｔ在１９６８年提出了最初的近邻法，直　

到现在仍是模式识别非参数法中最重要的方法之－－［”。　

最简单的近邻决策规则是最近邻决策规则。所谓最近　

邻决策．是寻找与待测样本最近的已知样本，认为待分　

类样本与后者同属一类。最近邻分类器因其简单高效　

性而成为广泛应用的分类器之一．由此也引发了相当　

大的研究热潮。　

Ｋ一最近邻分类算法ｆ以下简称为ＫＮＮ）是最近邻　

法的一个推广．也是在实践中比较流行的一种分类方　

法　该算法将最近邻中取最近邻的１个样本扩展为Ｋ　

个．在这Ｋ个样本中。哪个类的样本多，就把待测样归　

为哪个类。较最近邻算法，ＫＮＮ利用了更多的测试样　

本。　

与最近邻方法相比．最小距离分类器作为一种简　

单的基于向量空间模型的分类算法．其速度优势很明　

显，经常被选择应用在有实时要求的系统中［２１。在图像　

pythonKNN算法实现鸢尾花数据集分类

⼀、knn算法描述

1.基本概述

knn算法，⼜叫k-近邻算法。属于⼀个分类算法，主要思想如下：

⼀个样本在特征空间中的k个最近邻的样本中的⼤多数都属于某⼀个类别，则该样本也属于这个类别。其中k表⽰最近邻居的个

数。

⽤⼆维的图例，说明knn算法，如下：⼆维空间下数据之间的距离计算：

在n维空间两个数据之间:

2.具体步骤：

（1）计算待测试数据与各训练数据的距离

（2）将计算的距离进⾏由⼩到⼤排序

（3）找出距离最⼩的k个值

（4）计算找出的值中每个类别的频次

（5）返回频次最⾼的类别

⼆、鸢尾花数据集

Iris 鸢尾花数据集内包含 3 类分别为⼭鸢尾（Iris-setosa）、变⾊鸢尾（Iris-versicolor）和维吉尼亚鸢尾（Iris-virginica），共

150 条记录，每类各 50 个数据，每条记录都有 4 项特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度，可以通过这4个特征

预测鸢尾花卉属于哪⼀品种。

iris数据集包含在sklearn库当中，具体在sklearn\datasets\data⽂件夹下，⽂件名为iris.csv。以本机为例。其路径如下：

D:\python\lib\site-packages\sklearn\datasets\data\iris.csv其中数据如下格式：

第⼀⾏数据意义如下：

150：数据集中数据的总条数

4：特征值的类别数，即花萼长度、花萼宽度、花瓣长度、花瓣宽度。

setosa、versicolor、virginica：三种鸢尾花名

从第⼆⾏开始：

第⼀列为花萼长度值

第⼆列为花萼宽度值

第三列为花瓣长度值

第四列为花瓣宽度值

第五列对应是种类（三类鸢尾花分别⽤0，1，2表⽰）

三、算法实现

1.算法流程图：

从以上流程图可以看出，knn算法包含后四步操作，所以将整个程序分为三个模块。

2.具体实现

（1）⽅法⼀

①利⽤slearn库中的load_iris()导⼊iris数据集

最近邻算法（KNN）

最近邻算法：

1.什么是最近邻是什么？

kNN算法全程是k-最近邻算法(k-Nearest Neighbor)

kNN算法的核⼼思想是如果⼀个样本在特征空间中的k个最相邻的样本中的⼤多数数以⼀个类型别，则该样本也属于这个类别，并具有

该类别上样本的特征。该⽅法在确定分类决策上，只依据最近邻的⼀个或者⼏个样本的类别来决定待分样本所属的类别。下⾯举例说明：

即使不知道未知电影属于哪个类型，我们也可以通过某种⽅式计算，如下图

现在，我们得到了样本集中与未知电影的距离，按照距离的递增顺序，可以找到k个距离最近的电影，假设k=3，则三个最靠近的电影是he is

not realy into Dudes,Beautiful women, California man ， kNN 算法按照距离最近的三部电影类型决定未知电影的类型，这三部都是爱情

⽚，所以未知电影的类型也是爱情⽚。

2：kNN算法的⼀般流程

step.1---初始化距离为最⼤值

step.2---计算未知样本和每个训练样本的距离dist

step.3---得到⽬前K个最邻近样本中的最⼤距离maxdist

step.4---如果dist⼩于maxdist, 则将训练样本作为K-最近邻样本

step.5---重复步骤2，3，4，直到未知样本和所有训练样本的距离都算完

step.6---统计K-最近邻样本中每个类标号出现的次数

step.7---出现频率最⼤的类标号最为未知样本的类标号

3.距离公式

在KNN算法中，通过计算对象间距离作为各个对象之间的⾮相似性指标，避免了对象之间的匹配问题，在这⾥距离⼀般使⽤欧式距离或者曼哈顿距离：

对应代码如下

# kNN算法全称是k-最近邻算法（K-Nearest Neighbor）

from numpy import *

import operator

# 创建数据函数

def createDataSet():

""" 创建数据集,array 创建数组 array数组内依次是打⽃次数, 接吻次数

手写数字识别算法的比较研究

近年来，随着人工智能技术的不断发展，手写数字识别技术也得到了快速的发展。手写数字识别算法作为人工智能领域的一个重要分支，已经被广泛应用于各个领域中，例如图像识别、语音识别等。本文将比较研究几种手写数字识别算法，包括KNN算法、SVM算法、神经网络算法以及深度学习算法。

一、KNN算法

KNN算法是一种基于邻居的分类算法。该算法的基本思想是，对于一个待分类的观测对象，将其划分到与其距离最近的K个邻居所在的类别中。在手写数字识别中，KNN算法通过计算待分类数字与训练数据集中所有数字的距离，将其归类为与其距离最近的K个数字的类别中。

KNN算法的优点是简单易懂，算法的准确度高，并且可以随时进行模型的更新，缺点是计算效率不高，对于大规模数据集，算法的时间复杂度会很高。

二、SVM算法

SVM算法是一种常用的分类算法，其基本思想是通过构建一个最优化的超平面，将不同类别的数据点分隔开。在手写数字识别中，SVM算法通过将数字图像特征提取出来，构造一个最优的超平面，将数字区分开来。 SVM算法的优点是可以处理高维空间数据、泛化能力强，并且算法的准确度很高，缺点是对于大规模数据集来说，算法的计算复杂度较高。

三、神经网络算法

神经网络算法是一种基于神经元模型的分类算法，其基本思想是将输入样本数据传入多层神经元中，通过每个神经元的激活函数计算，最终得到输出结果。在手写数字识别中，神经网络算法通过构建多层神经网络，对数字图像进行特征提取和分类识别。

神经网络算法的优点是对于非线性数据分类效果好，并且算法的准确度较高，缺点是需要大量的训练数据以及计算资源，同时运算速度较慢。

四、深度学习算法

深度学习算法是一种基于深度神经网络的分类算法，其基本思想是通过多层神经元进行特征提取和分类识别。在手写数字识别中，深度学习算法可以通过搭建一个深度卷积神经网络来实现数字图像特征提取和分类识别。

深度学习算法的优点是可以自动提取特征、训练时间短、准确度高，并且对于数字识别问题来说，深度学习算法的效果最好。但缺点是需要大量的训练数据和计算资源，并且算法的复杂度较高。 综合比较