当前位置：文档之家 › 弹性核k-NN分类算法及其在药物构效关系中的应用

弹性核k-NN分类算法及其在药物构效关系中的应用

  • 格式：pdf
  • 大小：3.38 MB
  • 文档页数：5

第28

卷第4

期

2019

年7

月Vol.28 No.4

Jul. 2019湖南城市学院学报(自然科学版)

Journal of Hunan City University (Natural Science)

弹性核肛NN分类算法及其在药物构效关系中的应用

黄 新，罗逸平，王梦贤，周 密

(湖南城市学院管理学院，湖南益阳413000)

摘 要：核方法利用核函数可以有效地解决非线性问题，在药物构效关系领域得到了广泛的应用.本文

提出了一种新的弹性核4最近邻算法(EKJI-NN).

首先，基于加权多项式核和径向基函数核构造了一种信息丰

富的弹性核，所构造的弹性核能有效地利用局部核和全局核的优点，同时也为构造核函数提供了一种可行的

方法；然后，在核方法的框架下，将弹性核耦合到最近邻算法.实际数据集的实验和分析表明，EKA-NN

能

明显提高分类性能.

关键词：核方法；A-

最近邻；构效关系；弹性核

中图分类号：TP301.6; TP181

文献标识码：A doi:10.3969/j.issn.l672-7304.2019.04.0010

文章编号：1672-7304(2019)040047-05

Elastic Kernel A-Nearest Neighbor Classifier and Its Application in Drug

Structure-Activity Relationship

HUANG Xin, LUO Yiping, WANG Mengxian, ZHOU Mi

(Management School, Hunan City University, Yiyang, Hunan 413000, China)

Abstract: The kernel approaches have been gaining popularity in the field of drug Structure-Activity

Relationship, which could effectively solve nonlinear problems by using the kernel function. In the present

study, a novel Elastic Kernel

层Nearest Neighbor algorithm (EKZr-NN) has been proposed. First, an

informative novel elastic kernel is constructed based on polynomial kernel and radial basis function kernel.

The constructed elastic kernel can effectively integrate the advantages of local kernel and global kernel, which

can provide a feasible way for building the kernel function. Then, under the framework of kernel methods,

this elastic kernel is extended to the ^-Nearest Neighbor algorithm. Compared with the traditional kernel k・NN,

experiments and analysis on the real data sets have shown that EK/>NN can significantly improve the

performance of classification, which is really an attractive alternative technique.

Key words: kernel methods; A-Nearest Neighbor

伙・NN); Structure-Activity Relationship (SAR); elastic

kernel

屆

NN伙・

Nearest Neighbor)是一种基于实例的

机器学习方法，它根据

k个最近邻的训练样本类别

对测试样本进行分类，具有直观、简单和无需先

验统计知识等特点，被人们广泛应用在模式分类

中2】.但《_

NN算法进行的是全局搜索，其计算的

复杂性大、速度慢，同时，样本距离的度量方法

决定了

k-NN算法的分类准确率，像常用的马氏距

离与欧氏距离.然而，距离度量难以发现训练样

本与其类别之间的统计规律，而且当数据无明显

的距离表示的时候，如人脸识别、文本等高维数

据，辰

NN算法则难以取得较好的分类效果.

近年来，许多学者针对

E-NN算法的分类性能提出了一些很好的改进方法

©J.特别是借助

核方法将

E-NN推广到非线性形式，并且通过改

进距离的度量方法能有效地挖掘数据内部的非线

性特征.定量结构与性质关系研究是信息学研究

中一个十分活跃的领域，该研究的基本假设是分

子性质的变化依赖于其结构的变化，可以用分子结

构特征的各种参数来阐释分子结构，也就是能用结

构的函数来表示物质的性质或生物的活性.辰最

近邻算法是被经常使用的方法之一.本文针对

辰

NN算法在处理

SAR数据中样本距离的度量问

题，利用常见径向基核函数与多项式核函数的特

点，提岀了一种基于局部核函数和全局核函数的

收稿日期：

2019-03-19

基金项目：湖南省哲学社会科学基金项目

(18YBA065)

第一作者简介：黄新

(1971-),男，湖南益阳人.副教授，博士，硕士生导师，主要从事应用统计学研究.

E-mail:

729314661@qq.com48湖南城市学院学报(自然科学版)2019

年第4

期

弹性核

k-NN 分类算法

(Elastic Kernel 斤-

Nearest

Neighbor, EK/r-NN).径向基核函数是局部核函

数，只有相距很近的数据才会对核函数值产生影

响.多项式核函数则是全局核函数，相距很远的

数据对核函数值也能有影响.弹性核k-Wi分类

算法综合考虑局部核函数和全局核函数，能够充

分发挥各自优势，弥补它们在应用上的不足.在

核方法的框架下,将构造的弹性核融合到核k-NN

中

，得到弹性核辰

NN分类算法.实际

SAR数据

集的实验和分析表明，与常用的核乙

NN算法比

较，弹性核辰

NN分类性能有明显提高.

1

肛NN

的核化

k-NN算法最初由

Cover和

Hart提岀，并用

来解决文本的分类问题，是一种被广泛应用的非

参数学习方法.其关键点是如何在多维空间中找

到与未知样本最近邻的k个点，然后根据这k个

点的类别投票来判定.但

k-NN算法也存在一些

缺陷，如需要进行全局搜索，计算复杂性大、速

度慢，当出现非椭圆分布或者非高斯分布时，其

效果较差.

但是，核方法能有效解决数据的线性不可分

问题，且其复杂度不依赖于数据的维数，因此能

较好地应用于高维数据.核方法基本思想是：把

原始数据用非线性映射变换到高维特征空间，再

进行对应的线性算法.通过这种操作，核方法处

理非线性问题的能力得到了加强，已成为了统计

学习研究领域的一个热点问题.

假设有/类

c„ -, c,的模式分类问题，每

类的样本数为”

i = l,2,…,c ,可定义

c,类的判别

函数为

X(x) = min 卜

-x：A = l,2,…,"r (1)

其中，

i为第

c,类皿为

c,类"，个样本中的第

E个；

|| ||表示距离，例如欧式距离.

按照公式

(1),对于

1个新样本

x,判别规则

可进一步表示为：若fj

(X)= min /(x)，则

x e勺，

称之为最近邻算法，即把样本

X与"= £",个已

*=1

知类别样本的距离进行比较，判为距离最近的那

个样本所属的类.把它作下推广，就可得肚最近

邻算法，即得到样本

X的

k个近邻，近邻中多数

属于哪个类，

X就属于哪类，也就是通常所说的

投票.具体说，就是在已知类别的"=£”,样本

J=1 中，找出

X的

k个近邻.若“,巾

2,…,也分别是

k

个近邻中属于

q, q,…，q类的样本数，则可定义

判别函数：设 = i = 1,2, -,1 ,若

力

(x) = max mi,贝!]

x e c..

在核方法的框架下，原始数据通过非线性映

射变换到高维的特征空间，然后在高维特征空间

中进行

E-NN算法.这样能够克服辰

NN的一些不

足，较好地解决数据的线性不可分问题，提高分

类效果.基于核的

k-NN算法实质上是将核函数

应用到

E-NN之中.

设

X|,X2，・“,X” (x, eRp,z = l,2,••■,«)是原输入

空间的"个样本点,k-NN方法首先通过非线性映

射。将这n个样本点映射到一个高维的特征空间

F,即

0 ：附

T F,

X (p(x) 6 F.

那么原空间中的训练集｛(耳,必),

(x2,y2),-,

(X”,儿

)｝通过非线性映射

0 ,就变换成了特征空间

样本点

｛(0(Xjj),(0仪

2),儿)，

…，9(X”),儿)｝，其中

y,(i = 1,2,•••,«)代表类的标签.K表示一核函数，

高维特征空间中的内积可以在原空间中用核函数

来表示，对于训练样本

(x,,xj ,则有

K(x,,Xj)=<0(xJ,0(x))> .

在实际运用中，并不需要知道非线性映射

0

的具体形式，只要知道映射后内积对应的核函数

形式，这正是核方法的优点.如何选择一个合适

的核函数是应用核方法的重点，并不需要关心非

线性映射

0的表达式和维数.

为了在高维特征空间砒行辰

NN算法，必须

计算

2个样本 呱

)和

0(Xj)之间距离

，这里采用欧

式距离.容易证明，该距离可用内积来表示为

沪

=||0(X,)-0(Xj)『=

< 0(X, ) - 0(X, ), 0(X,) - 0(Xj ) >=

< 0(X J, 0(XJ > -2 < 0(x,), 0(Xj ) > +

<0(Xj),0(XJ>=

K(x<,

x,) - 2K

(

x“X

j)+K(X

j, X.). (2)

同样，在训练样本

0(xj和测试样本

0(X)之间

的距离也能按公式

(3)计算.

沪

=||0(X,)-0(X)『=

< 0(XJ - 0(X), 0(XJ - 0(X)>=

< 0(XJ,0(X,) > -2 < 0(X,J,0(X)> + < 0(X),0(X)>=

Km

(x,, xJ - 2Km

(x,, x) + 心。

(x, x). (3)

合集下载

R语言非参数方法：使用核回归平滑估计和K-NN（K近邻算法）分类预测心脏病数据

R语言非参数方法：使用核回归平滑估计和K-NN（K近邻算法）分类预测心脏病数据

R语言非参数方法：使用核回归平滑估计和K-NN（K近邻算法）分类预测心脏病数据

原文链接：/?p=22181

本文考虑一下基于核方法进行分类预测。注意，在这里，我们不使用标准逻辑回归，它是参数模型。

非参数方法

用于函数估计的非参数方法大致上有三种：核方法、局部多项式方法、样条方法。

非参的函数估计的优点在于稳健，对模型没有什么特定的假设，只是认为函数光滑，避免了模型选择带来的风险；但是，表达式复杂，难以解释，计算量大是非参的一个很大的毛病。所以说使用非参有风险，选择需谨慎。

非参的想法很简单：函数在观测到的点取观测值的概率较大，用x附近的值通过加权平均的办法估计函数f(x)的值。

核方法

当加权的权重是某一函数的核,这种方法就是核方法，常见的有Nadaraya-Watson核估计与Gasser-Muller核估计方法，也就是很多教材里谈到的NW核估计与GM核估计，这里我们还是不谈核的选择，将一切的核估计都默认用Gauss核处理。

NW核估计形式为：

GM核估计形式为：

式中

数据

使用心脏病数据，预测急诊病人的心肌梗死，包含变量：

心脏指数 心搏量指数

舒张压

肺动脉压

心室压力

肺阻力

是否存活

既然我们知道核估计是什么，我们假设k是N（0,1）分布的密度。在x点，使用带宽h，我们得到以下代码

dnorm(( 心搏量指数-x)/bw, mean=0,sd=1)

weighted.mean( 存活,w)}

plot(u,v,ylim=0:1,

当然，我们可以改变带宽。 Vectorize( mean_x(x,2))(u)

我们观察到：带宽越小，我们得到的方差越大，偏差越小。“越大的方差”在这里意味着越大的可变性（因为邻域越小，计算平均值的点就越少，估计值也就越不稳定），以及“偏差越小”，即期望值应该在x点计算，所以邻域越小越好。

使用光滑函数

用R函数来计算这个核回归。

smooth( 心搏量指数, 存活, ban = 2*exp(1)

knn算法的原理与应用书籍

knn算法的原理与应用书籍

KNN算法的原理与应用书籍

简介

K最近邻（K-Nearest Neighbors，简称KNN）算法是一种基于实例的学习，用于分类和回归问题。本文档将介绍一些值得阅读的书籍，涵盖KNN算法的原理和应用。

书籍推荐

1. 《Pattern Recognition and Machine Learning》 by Christopher M.

Bishop

– 书籍简介：这本书是机器学习领域的经典著作之一。第1章介绍了KNN算法的基本概念和原理，同时讨论了相似度度量和选择K值的方法。后续章节深入探讨了更多机器学习算法和相关主题。

– 推荐理由：这本书系统地介绍了模式识别和机器学习的基础概念，对KNN算法的原理进行了深入的解释，并提供了丰富的案例和实践。适合对KNN算法和机器学习有一定基础的读者。

2. 《Data Mining: Concepts and Techniques》 by Jiawei Han,

Micheline Kamber, and Jian Pei

– 书籍简介：这本书涵盖了数据挖掘的各个方面，包括KNN算法在分类和聚类中的应用。第8章中，该书详细介绍了KNN算法的原理、变种和应用场景。

– 推荐理由：该书是数据挖掘领域的经典教材，系统地介绍了数据挖掘的各种方法和技术，其中涉及了KNN算法的详细讨论。适合对数据挖掘感兴趣的读者。

3. 《Python Machine Learning》 by Sebastian Raschka and Vahid

Mirjalili

– 书籍简介：这本书是一本实际的Python机器学习指南，涵盖了多种机器学习算法和工具。第3章中，该书介绍了KNN算法的基本原理以及在分类和回归问题中的应用。

– 推荐理由：该书以Python为实现语言，详细介绍了机器学习的基本原理和实践技术，涉及了KNN算法的具体应用。适合使用Python进行机器学习的读者。

4. 《Hands-On Machine Learning with Scikit-Learn, Keras, and

KNN算法应用范文

KNN算法应用范文

KNN算法应用范文

K近邻算法（K-Nearest Neighbors，简称KNN）是一种经典的非参数化监督学习方法，常用于分类和回归问题。其基本思想是通过计算样本之间的距离，并据此为未知样本确定其类别或数值。KNN算法的应用非常广泛，下面将从分类和回归两个方面详细介绍KNN算法的应用。

首先是分类应用。KNN算法在分类问题中非常常见，它根据邻居的类别来确定未知样本的类别。具体操作如下：

1.确定K的值，即确定要考虑的最近邻居的数量。

2.计算未知样本与训练集中每个样本的距离，常用的距离度量方法包括欧氏距离、曼哈顿距离等。

3.根据距离大小，选择最近的K个样本。

4.根据这K个最近邻居的类别，通过投票或求平均值的方式确定未知样本的类别。

1.垃圾邮件分类：根据已知的垃圾和非垃圾邮件样本，通过KNN算法识别未知邮件是否为垃圾邮件。

2.手写数字识别：利用MNIST数据集中的训练样本，通过KNN算法对手写数字进行识别。

3.电影推荐系统：基于用户的历史浏览记录和评分数据，通过KNN算法推荐用户可能感兴趣的电影。

其次是回归应用。除了分类问题，KNN算法也可以应用于回归问题，即用于预测数值型变量。在回归问题中，KNN算法可以通过计算最近K个训练样本的平均值或加权平均值来预测未知样本的数值。 1.房价预测：根据房屋的特征（如面积、地理位置等），通过KNN算法预测房价。

2.股票价格预测：结合历史的股票价格数据和相关指标，通过KNN算法预测未来的股票价格。

3.人群流量预测：根据历史的人群流量数据（如公交站点、商场等），通过KNN算法预测未来一些时段的人群数量。

尽管KNN算法简单而直观，但在实际应用中也存在一些问题和挑战。首先，KNN算法对样本中的离群值敏感，因此需要进行必要的数据预处理和异常值处理。其次，KNN算法的计算复杂度较高，在大规模数据集上的使用可能会面临效率问题。此外，KNN算法还需要选取合适的K值，这需要基于实际问题进行调优。

knn算法的应用场景

knn算法的应用场景

knn算法的应用场景

KNN算法是机器学习领域中较为简单和易于理解的一种分类算法，它是基于样本特征相似度的一种无参数算法。本文将着重探讨KNN算法的应用场景。

1. 商品推荐系统

在商品推荐系统中，KNN算法是一种常用的协同过滤方法。该算法利用用户对商品的评价命中相似的其他用户，并将这些相似用户所喜欢的商品推荐给用户。在该场景中，用户和商品均为KNN算法的对象，而用户对商品的评价即为样本特征。

2. 文本分类

在文本分类应用中，KNN算法利用文本数据集中文档之间相似性进行分类，即判断未知文档属于哪个类别。在该场景中，KNN算法可以将文档转化为高维向量空间，并通过计算文档向量之间的余弦相似度来衡量文档之间的相似度，从而实现文本分类。

3. 异常检测

在一些场景下，需要通过检测数据中的异常值来保证数据的安全性。在这种情况下，KNN算法也有着重要的应用。通过计算异常点与其周围数据点的距离，在所有数据点中寻找最近的K个数据点，从而判断该数据点是否为异常点。

4. 图像处理

KNN算法在图像处理领域中也有着广泛应用。在图片搜索场景中，KNN算法可以在图像数据库中寻找与所查找图片最为相似的图片。另外，在图像识别方面，KNN算法还能够通过计算图像的特征向量之间的距离来判断图像分类。

总之，KNN算法的应用场景非常广泛，除了上述场景之外，它还可以用于数据挖掘，信用风险评估等领域。虽然KNN算法在实际应用时需要准备大量的样本数据，但是其简单易用的特点，使其在许多领域中得到了广泛的应用。