文章编号:10062979820021204
基于神经网络聚类的研究
李戈,邵峰晶,朱本浩
(青岛大学信息工程学院,青岛 266071)
摘要:提出了一种基于K ohonen网络的改进聚类算法,并给出了基于数据仓库平台的具体实现方案。通过对实例的聚类测试,对算法本身的若干指标进行了研究分析。
关键词:数据挖掘;聚类分析;K ohonen网络
中图分类号: TP183 文献标识码: A
聚类分析在数据挖掘研究中占有重要的位置。所谓聚类,是将一个数据单位(对象)的集合(数据源)分割成几个称为类或类别的子集,每个类内的对象之间是相似的,但不同类的对象间区别较大[1]。
聚类分析是根据事物本身的特性研究对象分类的方法。聚类分析依据的原则是使同一类中的对象具有尽可能大的相似性,而不同类中的对象具有尽可能大的差异性。聚类分析要解决的就是实现满足这种要求的类的聚合。在进行聚类分析之前,这些类别是潜在的,可分成的类的个数(聚类数)也是不可知的。
聚类分析方法的典型代表是基于距离的传统聚类算法,如K-means[2]算法等。这些聚类学习具有聚类结果清晰,无模糊、二义的优点,但也存在许多问题,如要求事先指定K个聚类初始点。如前所述聚类是一个事先未知的过程,而聚类结果对K值(聚类数)大小非常敏感,对于不同K值的聚类结果往往大相径庭。因此,如何事先确定K值是传统聚类算所存在的最大问题[3]。
神经网络是近年来广泛兴起的可应用于模式识别、智能控制等信息处理的有力工具,具有很强的自适应学习能力、鲁棒性和容错能力,从而可以代替复杂的传统算法,使信号处理过程更接近于人类思维活动。针对传统聚类算法存在的问题,本研究实现了采用神经网络学习的聚类分析器,并通过实例对聚类分析的重要指标进行了分析。1 K ohonen网络模型
由于聚类分析结果的不可知性,聚类不是基于训练数据的,而是直接对数据源进行处理,其过程是一个无导师指导的学习过程。因此,我们在实现的聚类分析器中采用了最典型的无导师指导学习网络-自组织特征映射网(K ohonen网)。
1.1 K ohonen
网络模型
图1 二维阵列K ohonen模型
1981年T1K ohonen提出了自组织特征映射SOM(Self2Organizing feature Map)的概念,并给出了相应的K ohonen神经网络的模型[4]。由于K oho2 nen网络的自调整过程模仿了人类大脑的自组织过程,因而它可以用来模仿有关外界信息在人脑中自组织地形成概念的过程。
图1给出了由输入层和竞争层组成的无隐层K ohonen网络模型。输入层是由N个神经元组成的一维序列,竞争层是由m3n=H个神经元组成
第16卷第4期2001年12月
青 岛 大 学 学 报
JOURNAL OF QING DAO UNIVERSIT Y
Vol.16No.4
Dec.2001
第一作者简介:李戈(19772),男,青岛大学信息工程学院计算机软件与理论专业硕士研究生。收稿日期:2001207211
的二维平面阵列,输入层与竞争层各神经元之间实现全互连接。
1.2 K ohonen 网络学习过程
K ohonen 网络的工作原理,是利用其自组织特点,将N 个输入模式组成的一维序列映射到二维神经元阵列上,通过自调整进行信息的特征提取或称聚类。这种自组织聚类过程是系统自主、无导师指导的条件下完成的。
K ohonen 网络的学习过程可分为两步:竞争学习过程及竞争层神经元的侧交互过程。
(1)神经元竞争学习过程对于每一个输入向量,通过输入向量值与权重值之间的比较,在神经元之间产生竞争,权重向量与输入模式最相近的神经元被认为对输入模式反映最为强烈,将其标定为获胜的神经元,并称此神经元为输入模式的象,相同的输入向量会在输出层产生相同的象。
(2)竞争层神经元的侧反馈过程
对于每个输入向量,会使竞争层相邻近的神经元之间产生侧反馈,这种神经元之间的局部影响作用遵从下列规则:
a.以获胜神经元为圆心,对近邻的神经元表现为兴奋性侧反馈。
b.以获胜神经元为圆心,对远邻的神经元表现为抑制性侧反馈。
这说明在竞争层,近邻神经元相互激励,远邻神经元相互抑制,比远邻更远的神经元则表现弱激励作用,通常用“墨西哥小帽”函数对神经元侧反馈进行计算
。
图2 侧向反馈的“墨西哥小帽”函数
应用侧反馈原理,在每个获胜神经元附近形成
一个“聚类区”。学习的结果总是使聚类区内各神经元的权重向量保持向输入向量逼近的趋势,从而使具有相近特性的输入向量聚集在一起,这个过程被称为自组织。K ohonen 网络利用自组织特点,将N 个一维输入模式,映射到二维神经元阵列上,实现了
信息的特征提取或称聚类,这种自组织聚类过程是系统自主、无导师指导的过程下完成的。
K ohonen 网络的学习算法
(1)为网络中每一个神经元的权重赋较小的随机值。
(2)设网络输入向量X =[X 0,X 1,…,X n -1],神经元I 的权重向量W i =[W 0,W 1,…,W n -1],求得
I i =
∑N -1
j =0
||
x j -w ij ||,Πi
(3)令I c =min{I i },以c 所对应的神经元为竞争得胜神经元。
(4)在以c 为中心,Nc 范围内的神经元,按照公式w ij (t +1)=w ij (t )+a[x j -w ij (t )]调节权重,Nc 范围外的神经元权重不调整,其中,a 是学习增益系数。
(5)取下一个输入向量,回到(2)反复执行。
2 聚类Kohonen 网络的实现
2.1 数据挖掘系统中聚类分析模块体系结构
基于神经网络聚类分析器的体系结构如图3所示
。
图3 基于神经网络聚类过程的体系结构
本聚类分析器的数据源是数据仓库,数据仓库中的数据存储格式采用数据立方体Cube [5],输入数据以子立方体(S ub 2Cube )的形式,通过统一的数据接口(如ODB C 、JDB C )送至聚类分析器。
数据仓库类分析部分由聚类模块和输出模块组成,聚类模块的神经网络对输入数据进行预处理,并完成数据聚类过程。正如前成所讨论的,在有些情况下,经神经网络聚类后,结果比较模糊。所以,对于这种情况还应使用其他算法(如(K 2Means )在输出模块中确定每一类中的内容,以获得更为精确的聚类结果。
2
2 青岛大学学报 第16卷
2.2 Kohonen神经网络的Java面向对象实现
面向对象、面向网络是Java语言最主要的特点,与神经网络的结构和运作方式有明显和潜在的联系,为神经网络技术的发展提供了有力的支持。
在神经网络中,对每一个神经元、每一种网络,它们有相似的模型,如每个神经元有输入、输出、权重等属性,有连接函数、传递函数等运算。利用面向对象技术,将神经元、神经网络模型的属性和运算抽象出来,封装成类。这样在编程时,是对神经元、神经网络进行操作。而不像使用非面向对象语言那样对一大堆意义不明确的变量进行操作。这样使得神经网络编程概念清晰,易于理解,增加了代码的重用性,使得神经元或某种神经网络被定义成类后,就可以为所有神经网络程序使用。利用Java语言的继承性,可以从最为抽象的神经元、神经网络模型中方便的扩充出各种有自己特点的神经元、神经网络,通过神经元对象之间的消息传递,可以实现神经元之间的侧向交互原理。所以我们选择Java语言来实现Kohonen神经网络。
3 侧反馈邻域Nc与学习增益系数a(t)的确定
对待处理的数据集合进行归约处理:
(1)原始数据中,各属性之间其数据值往往相差很大。在Kohonen算法中,可能会抹杀部分属性值,使的本应聚为同一类的数据单元被分到不同类中。
(2)算法初始化神经元权重向量为(0,1)之间的值,若输入模式不归约,与权重相差过大,会导致聚类结果不精确[6](尤其对学习初期的输入模式)。
归约处理可避免属性间的偏废问题。但有时不同的属性对聚类具有不同的重要性(参与度),为此,我们根据属性的参与度对其分配适当的权重:较重要的属性使其权重的值较小。通过对属性值加权处理可增加聚类的灵活性和精度[7]。
在学习过程中,侧反馈邻域Nc和学习增益系数a都随学习次数的加而递减[829]。
1)Nc在开始时可以选择范围宽一些,实验发现取网络宽度的1/2-1/3效果较好,太大或太小都会影响聚类效果;随着时间的推移,Nc向以C为中心的小范围单调变小,最后甚至可以终结在神经元C处,即Nc=1,保证了学习过程的必然收敛。
2)Kohonen网中权重调节公式为
w ij(t+1)=w ij(t)+a(t)[x i(t)-w ij(t)]
i∈Nc
w ij(t+1)=w ij(t) i|
Nc
由公式可见,在学习初期输入模式对神经元的权中向量的影响较大,随着学习次数的增加,影响渐小。在学习后期,a(t)应趋于0,以保证学习过程的收敛性[10]。
实验中,对a(t)在一次函数、幂函数、指数函数级别做过如下研究。
(1)取a(t)=1-β(t/T)(T聚类对象总数β调节因子)
聚类结果较为理想,但收敛速度较慢,而且学习后期系数仍然比较大。
(2)取a(t)=αt-β(α、β调节因子)
聚类结果较为理想,收敛速度也较一次函数快,更符合理论要求。
(3)取a(t)=αe-βt(α、β调节因子)
聚类结果不理想,且由于收敛过快,使学习中期a(t)就已经为0。
4 实例测试与分析
为了对完成的聚类分析器进行性能测试,就给定的数据集进行了实际聚类分析
。
图4 输出结果
4.1 测试数据集描述
(1)数据源类型:某地考试成绩数据库。
(2)数据源规模:8000条记录,8个属性。
(3)数据分布情况:从随机抽取的样本看基本符合正态分布。
4.2 算法参数
学习增益系数 a(t)=1-t/T
反应领域 Nc=网络宽度/2
相似程度衡量标准 欧拉差
32
第4期 李戈,等:基于神经网络聚类的研究
4.3 输出结果图示及分析
所用成绩数据库,以考生成绩为基本数据单位,在成绩评估中,成绩一般的个体较多,较好和较差的个体次之,正如图4中所体现的由竞争层神经元输出值所形成的三个大集簇,所以可以考虑将原数据集分为三类。但数据集中也存在成绩极好与极差的个体,他们在输出中表现为脱离集簇而存在的孤点。可见通过Kohonen网络的自组织特征映射,可以较好的体现出被挖掘数据集的类别特征。
5 结束语
以上工作仅较成功的完成了基于神经网络的聚类分析的实现过程,但仍存在许多问题有待于进一步的探讨和解决。
(1)神经网络学习是一个模糊处理的过程,在遇到数据集合类别特征较为复杂、数据量较大的情况下,还不能精确的表达类别信息,因此,今后还要对如何提高聚类准确性进行研究。
(2)在数据量较大的情况下,随着学习次数的增多,反而使学习效果递减,这被称为学习过度,对于Kohonen网络也存在这个问题,如何避免学习过度仍有待研究[11]。
参考文献:
[1] Hartigan J A.Clustering A lgorithms[M].New York:
John W iley&Sons,1975.
[2] Hartigan J.A K2means clustering algorithm[J].A p2
plied S tatistics,1979,28:1002108.
[3] M atsuoka K,Ohya,Kaw amoto M.A neural net f or
blind separation of nonstationary signals[J].Neural
Netw orks,1995,8(3):4112419.
[4] L eouski A V,Crof t W B.A n Evaluation of Techniques
f or Clusterin
g Searc
h Results Technical Report[R].
(IR276).Depart ment of Com puter Science,U niversity of Mesechusetts,1996.
[5] Kohonen T.Self2Organiz ation and Associative Memory
[M].Berlin:S pringer2V erlag,1989.
[6] J udd D,Mckinley P,Jain A.L arge2scale parallel data
clustering.In:Int’l Conf.Pattern Recognition,1996. [7] Fayyad U M,Piatetsky-S hapiro G,S myth P.From
data mining to know ledge discovery:A n overview[A].
In:A dvances in know ledge Discovery and Data Mining.
A A A I Press and the M I T Press,1993.
[8] 李昕,郑宇,江芳泽.用改进的R PCL算法提取聚类的
最佳数目[J].上海大学学报,1999,5.
[9] 王士同.神经模糊系统及其应用[M].北京:北京航空
航天大学出版社,1998.
[10] 冯天瑾.神经网络技术[M].青岛:青岛海洋大学出版
社,1994.
[11] 朱明,王俊普.一种聚类学习的新方法[J].模式识别
与人工智能.2000,9.
RESEARCH OF THE C L USTERING AL G ORITHM
BASED ON NEURAL NETWORK
Li G e,Shao Fengjing,Zhu Benhao
(College of Information Science Engineering,Qingdao University,Qingdao,266071.China)
Abstract:An advanced clustering algorithm is discussed based on the neural network,a detail project of cluster2 ing tools is also expounded based on the data warehouse.Many parameters of the algorithm are analyzed by the experiments.
K ey w ords:data mining;clustering analysis;kohonen neural network
42 青岛大学学报 第16卷
目录 摘要 (1) 1概率神经网络 (1) 1.1网络模型 (1) 1.2分类思想 (2) 1.3 PNN分类的优点 (3) 2 PNN网络的构建 (3) 2.1 构建步骤 (3) 2.2 Matlab中的主要代码 (4) 3 Matlab编程及结果分析 (4) 3.1 Matlab中的编程 (4) 3.2 仿真结果分析 (7) 3.3 结论 (10) 4 总结 (11) 参考文献 (12)
PNN神经网络聚类法 摘要 近几年来，对于神经网络的研究越来越普遍，神经网络在我们社会生活中的作用也越来越不可替代，尤其在模式识别的领域里，更是有着举足轻重的作用。 酒是由多种成分按不同的比例构成的，兑酒时需要三种原料（X,Y,Z），现在已测出不同酒中三种原料的含量，本文正是基于PNN神经网络针对酒中X、Y、Z三种含量的不同来对酒进行识别分类。本文首先介绍了PNN神经网络的网络模型以及它对不同的模式进行分类判别的思想，然后针对本文的酒类判别的要求来构建PNN网络，并在Matlab中进行编程仿真，最后对所仿真的结果进行了分析比较，最后找出最优的模式分类。 1概率神经网络 概率神经网络(Probabilistic Neural Networks,PNN)是由D. F. Specht在1990年提出的。主要思想是用贝叶斯决策规则,即错误分类的期望风险最小,在多维输入空间内分离决策空间。它是一种基于统计原理的人工神经网络,它是以Parzen 窗口函数为激活函数的一种前馈网络模型。PNN吸收了径向基神经网络与经典的概率密度估计原理的优点,与传统的前馈神经网络相比,在模式分类方面尤其具有较为显著的优势。 1.1网络模型 PNN的结构如图1所示,共由四层组成。 图1 概率神经网络结构
#i n c l u d e"" #include <> const double e = ; //设置一个神经网络 //有一个隐藏层（含有两个节点） //输出层有一个节点 //输入数据是二维（两个节点） //一个样本数据为：x = , 标签为 //初始权值输入节点1到隐藏层：， //输入节点2到隐藏层：, //隐藏层到输出层初始权值为：, //学习速率为1 double changeWeightFromHiddenToOutput(double cost,double output,double hiddenLayerCode) { double result=0; result = cost*output*(1-output)*hiddenLayerCode; return result; } double changeWeightFromInputToHidden(double cost,double output,double weightOfHiddenCodeToOutput,double weightOfHiddenCode,double inputNum)
double result=0; result = cost*output*(1-output)*weightOfHiddenCodeToOutput*weightOfHiddenC ode*(1-weightOfHiddenCode)*inputNum; return result; } double sigmoidFunction(double x) { double result=0; result = 1/(1+pow(e,-x)); return result; } double costFunction(double originalSignal,double outputOfOurCalculation) { //此处采取的损失函数是最小二乘法 double cost=0; cost = (1/*(originalSignal-outputOfOurCalculation)*(originalSignal-outpu tOfOurCalculation); return cost;
人工神经网络原理及实际应用 摘要：本文就主要讲述一下神经网络的基本原理，特别是BP神经网络原理，以及它在实际工程中的应用。 关键词：神经网络、BP算法、鲁棒自适应控制、Smith－PID 本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在“计算＂某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年Macullocu和Pitts融合了生物物理学和数学提出了第一个神经元模型。从这以后，人工神经网络经历了发展，停滞，再发展的过程，时至今日发展正走向成熟，在广泛领域得到了令人鼓舞的应用成果。本文就主要讲述一下神经网络的原理，特别是BP神经网络原理，以及它在实际中的应用。 1.神经网络的基本原理 因为人工神经网络是模拟人和动物的神经网络的某种结构和功能的模拟，所以要了解神经网络的工作原理，所以我们首先要了解生物神经元。其结构如下图所示： 从上图可看出生物神经元它包括，细胞体：由细胞核、细胞质与细胞膜组成；
轴突：是从细胞体向外伸出的细长部分，也就是神经纤维。轴突是神经细胞的输出端，通过它向外传出神经冲动；树突：是细胞体向外伸出的许多较短的树枝状分支。它们是细胞的输入端，接受来自其它神经元的冲动；突触：神经元之间相互连接的地方，既是神经末梢与树突相接触的交界面。 对于从同一树突先后传入的神经冲动，以及同一时间从不同树突输入的神经冲动，神经细胞均可加以综合处理，处理的结果可使细胞膜电位升高；当膜电位升高到一阀值（约40mV），细胞进入兴奋状态，产生神经冲动，并由轴突输出神经冲动；当输入的冲动减小，综合处理的结果使膜电位下降，当下降到阀值时。细胞进入抑制状态，此时无神经冲动输出。“兴奋”和“抑制”，神经细胞必呈其一。 突触界面具有脉冲/电位信号转换功能，即类似于D/A转换功能。沿轴突和树突传递的是等幅、恒宽、编码的离散电脉冲信号。细胞中膜电位是连续的模拟量。 神经冲动信号的传导速度在1～150m/s之间，随纤维的粗细，髓鞘的有无而不同。 神经细胞的重要特点是具有学习功能并有遗忘和疲劳效应。总之，随着对生物神经元的深入研究，揭示出神经元不是简单的双稳逻辑元件而是微型生物信息处理机制和控制机。 而神经网络的基本原理也就是对生物神经元进行尽可能的模拟，当然，以目前的理论水平，制造水平，和应用水平，还与人脑神经网络的有着很大的差别，它只是对人脑神经网络有选择的，单一的，简化的构造和性能模拟，从而形成了不同功能的，多种类型的，不同层次的神经网络模型。 2.BP神经网络 目前，再这一基本原理上已发展了几十种神经网络，例如Hopficld模型，Feldmann等的连接型网络模型，Hinton等的玻尔茨曼机模型，以及Rumelhart 等的多层感知机模型和Kohonen的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。 这里我们重点的讲述一下BP神经网络。多层感知机神经网络的研究始于50年代，但一直进展不大。直到1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算），实现了Minsky的多层网络设想，其网络模型如下图所示。它可以分为输入层，影层（也叫中间层），和输出层，其中中间层可以是一层，也可以多层，看实际情况而定。
增量式神经网络聚类算法* 刘培磊1,2，唐晋韬1，谢松县1，王挺1 （1.国防科学技术大学 计算机学院，湖南 长沙 410073； 2.国防信息学院 信息化建设系 信息资源管理教研室，湖北 武汉 430010） 摘要：神经网络模型具有强大的问题建模能力，但是传统的反向传播算法只能进行批量监督学习，并且训练开销很大。针对传统算法的不足，提出了全新的增量式神经网络模型及其聚类算法。该模型基于生物神经学实验证据，引入了新的神经元激励函数和突触调节函数，赋予模型以坚实的统计理论基础。在此基础上，提出了一种自适应的增量式神经网络聚类算法。算法中引入“胜者得全”式竞争等学习机制，在增量聚类过程中成功避免了“遗忘灾难”问题。在经典数据集上的实验结果表明，该聚类算法与K-means 等传统聚类算法效果相当，特别是在增量学习任务的时空开销方面具有较大优势。 关键词：神经网络；增量学习；聚类算法；时间开销 中图分类号：TP393 文献标志码：A 文章编号： Incremental clustering algorithm of neural network LIU Peilei 1,2, TANG Jintao 1, XIE Songxian 1, WANG Ting 1 (1. College of Computer, National University of Defense Technology, Changsha 410073, China 2. Teaching and Research Section of Information Resource Management, Department of Information Construction, Academy of National Defense Information, Wuhan 430010, China) Abstract: Neural network model is powerful in problem modelling. But the traditional back propagating algorithm can only execute batch supervised learning, and its time expense is very high. According to these problems, we put forward a novel incremental neural network model and corresponding clustering algorithm. This model is supported by biological evidences, and it is built on the foundation of novel neuron’s activation function and synapse adjusting functi on. On this base, we put forward an adaptive incremental clustering algorithm, in which mechanisms such as “winner -take-all” are introduced. As a result, “catastrophic forgetting” problem can be successfully solved in the incremental clustering process. Experiments results on classic datasets show that this algorithm ’s performance is comparable with traditional clustering models such as K-means. Especially, its time and space expenses on incremental tasks are much lower than traditional clustering models. Keywords: neural network; incremental learning; clustering algorithm; time expense ① *收稿日期：2015-09-28 基金项目：国家自然科学基金资助项目（61532001，61472436） 作者简介：刘培磊（1984－），男，江苏连云港人，博士研究生，E-mail ：plliu@https://www.doczj.com/doc/3d8468294.html, ； 王挺（通信作者），男，教授，博士，博士生导师，E-mail ：tingwang@https://www.doczj.com/doc/3d8468294.html, 随着互联网和社交媒体的广泛发展，大量无标注的数据源源不断地产生 [1,2]。这些数据的海量性、无标注性、实时性等特点给传统的机器学习模型带来了很大的挑战[3]。传统的神经网络模型具有强大的问题建模能力，理论上含有足够多隐藏层神经元的神经网络可以逼近任意函数。但是主流的学习算法如BP （Back propergating ）算法使用梯度下降的方法进行学习，是批量监督学习算法，即所有的训练数据必须一次性全部输入学习模型。而模型一旦训练完毕，再碰到新的输入数据时，只能将新数据与旧数据并在一起重新训练模型。这个问题被称为“遗忘灾难”[4]，即新学习的内容会导致已经学习的内容的“遗忘”。 梯度下降的方法带来的另一个问题是训练的时间开销很大，难以在线处理海量的实时性数据[5]。近年热门的深度学习模型也面临类似的计算时间开销问题[6] ，因此训练规模较大的深度神经网络往往需要使用大规模并行计算集群。ART （Adaptive Resonance Theory ）模型提出了一套不错的应对
研究生必备的人工神经网络电子书汇总（31本） 这些都是我从淘宝和百度文库里面搜集到的电子书，需要的可以联系我 QQ：415295747，或者登录我的博客https://www.doczj.com/doc/3d8468294.html,/u/1723697742 1.神经网络在应用科学和工程中的应用——从基础原理到复杂的模式识别 5 译者序 6 前 9 致谢 10 作者简介 11 目录 19 第1章从数据到模型:理解生物学、生态学和自然系统的复杂性和挑战 27 第2章神经网络基础和线性数据分析模型 72 第3章用于非线性模式识别的神经网络 105 第4章神经网对非线性模式的学习 166 第5章从数据中抽取可靠模式的神经网络模型的实现 205 第6章数据探测、维数约简和特征提取 235 第7章使用贝叶斯统计的神经网络模型的不确定性评估 276 第8章应用自组织映射的方法发现数据中的未知聚类 359 第9章神经网络在时间序列预测中的应用 458 附录 2.MATLB 神经网络30个案例分析 第1章BP神经网络的数据分类——语音特征信号分类 23 第2章BP神经网络的非线性系统建模——非线性函数拟合 33 第3章遗传算法优化BP神经网络——非线性函数拟合 48 第4章神经网络遗传算法函数极值寻优——非线性函数极值寻优 57 第5章基于BP_Adsboost的强分类器设计——公司财务预警建模 66 第6章PID神经元网络解耦控制算法——多变量系统控制 77 第7章RBF网络的回归——非线性函数回归的实现 85 第8章GRNN的数据预测——基于广义回归神经网络的货运量预测 93 第9章离散Hopfield神经网络的联想记忆——数字识别 102 第10章离散Hopfield神经网络的分类——高校科研能力评价 112 第11章连续Hopfield神经网络的优化——旅行商问题优化计算 124 第12章SVM的数据分类预测——意大利葡萄酒种类识别 134 第13章SVM的参数优化——如何更好的提升分类器的性能
BP神经网络实现（Java代码） 神经网络的原理虽然理解起来不难，但是要是想实现它，还是需要做一些工作的，并且有很多细节性的东西需要注意。通过参阅各种相关资料，以及参考网络上已有的资源，自己写了一个含有一个隐含层，且只能有一个输出单元的简单的BP网络，经过测试，达到了预期的效果。 需要说明的是，神经网络的每个输入都在[0,1]中，输出也在[0,1]中，在使用神经网络解决实际问题的时候，还需要对实际问题的输入输出进行归一化处理。另外，尽量不要使得神经网络的输入或输出接近于0或1，这样会影响拟合效果。 我用正弦函数进行了一次测试，效果如图所示： 以下是相关的代码： 1.神经网络代码 [java]view plaincopy 1.package pkg1; 2. 3.import java.util.Scanner; 4. 5./* 6.* 7.*/ 8.public class TestNeuro{
9. 10.private int INPUT_DIM=1; 11.private int HIDDEN_DIM=20; 12.private double LEARNING_RATE=0.05; 13.double[][]input_hidden_weights=new double[INPUT_DIM][HIDDEN_DIM]; 14.double[]hidden_output_weights=new double[HIDDEN_DIM]; 15.double[]hidden_thresholds=new double[HIDDEN_DIM]; 16.double output_threshold; 17. 18.public static void main(String[]args){ 19.Scanner in=new Scanner(System.in); 20.TestNeuro neuro=new TestNeuro(1,5); 21.neuro.initialize(); 22.for(int i=0;i<10000;i++){ 23.double[]input=new double[1]; 24.input[0]=Math.random(); 25.double expectedOutput=input[0]*input[0]; 26.//System.out.println("input:"+input[0]+"\t\texpectedOutput: "+expectedOutput); 27.//System.out.println("predict before training:"+neuro.predict (input)); 28.neuro.trainOnce(input,expectedOutput); 29.//System.out.println("predict after training:"+neuro.predict( input)); 30.//in.next(); 31.} 32.while(true){ 33.//neuro.printLinks(); 34.double[]input=new double[1]; 35.input[0]=in.nextDouble(); 36.double expectedOutput=in.nextDouble(); 37.System.out.println("predict before training:"+neuro.predict(i nput)); 38.neuro.trainOnce(input,expectedOutput); 39.System.out.println("predict after training:"+neuro.predict(in put)); 40. 41.} 42.} 43. 44.public TestNeuro(int input_dimension,int hidden_dimension){ 45.this.INPUT_DIM=input_dimension; 46.this.HIDDEN_DIM=hidden_dimension; 47.this.initialize();
论文关键词：数据挖掘；聚类算法；聚类分析论文摘要：该文详细阐述了数据挖掘领域的常用聚类算法及改进算法，并比较分析了其优缺点，提出了数据挖掘对聚类的典型要求，指出各自的特点，以便于人们更快、更容易地选择一种聚类算法解决特定问题和对聚类算法作进一步的研究。并给出了相应的算法评价标准、改进建议和聚类分析研究的热点、难点。上述工作将为聚类分析和数据挖掘等研究提供有益的参考。 1 引言随着经济社会和科学技术的高速发展，各行各业积累的数据量急剧增长，如何从海量的数据中提取有用的信息成为当务之急。聚类是将数据划分成群组的过程，即把数据对象分成多个类或簇，在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较大。它对未知数据的划分和分析起着非常有效的作用。通过聚类，能够识别密集和稀疏的区域，发现全局的分布模式，以及数据属性之间的相互关系等。为了找到效率高、通用性强的聚类方法人们从不同角度提出了许多种聚类算法，一般可分为基于层次的，基于划分的，基于密度的，基于网格的和基于模型的五大类。 2 数据挖掘对聚类算法的要求(1)可兼容性：要求聚类算法能够适应并处理属性不同类型的数据。(2)可伸缩性：要求聚类算法对大型数据集和小数据集都适用。(3)对用户专业知识要求最小化。(4)对数据类别簇的包容性：即聚类算法不仅能在用基本几何形式表达的数据上运行得很好，还要在以其他更高维度形式表现的数据上同样也能实现。(5)能有效识别并处理数据库的大量数据中普遍包含的异常值，空缺值或错误的不符合现实的数据。(6)聚类结果既要满足特定约束条件，又要具有良好聚类特性，且不丢失数据的真实信息。(7)可读性和可视性：能利用各种属性如颜色等以直观形式向用户显示数据挖掘的结果。(8)处理噪声数据的能力。(9)算法能否与输入顺序无关。 3 各种聚类算法介绍随着人们对数据挖掘的深入研究和了解，各种聚类算法的改进算法也相继提出，很多新算法在前人提出的算法中做了某些方面的提高和改进，且很多算法是有针对性地为特定的领域而设计。某些算法可能对某类数据在可行性、效率、精度或简单性上具有一定的优越性，但对其它类型的数据或在其他领域应用中则不一定还有优势。所以，我们必须清楚地了解各种算法的优缺点和应用范围，根据实际问题选择合适的算法。 3.1 基于层次的聚类算法基于层次的聚类算法对给定数据对象进行层次上的分解，可分为凝聚算法和分裂算法。 (1)自底向上的凝聚聚类方法。这种策略是以数据对象作为原子类，然后将这些原子类进行聚合。逐步聚合成越来越大的类，直到满足终止条件。凝聚算法的过程为：在初始时，每一个成员都组成一个单独的簇，在以后的迭代过程中，再把那些相互邻近的簇合并成一个簇，直到所有的成员组成一个簇为止。其时间和空间复杂性均为O(n2)。通过凝聚式的方法将两簇合并后，无法再将其分离到之前的状态。在凝聚聚类时，选择合适的类的个数和画出原始数据的图像很重要。 [!--empirenews.page--] (2)自顶向下分裂聚类方法。与凝聚法相反，该法先将所有对象置于一个簇中，然后逐渐细分为越来越小的簇，直到每个对象自成一簇，或者达到了某个终结条件。其主要思想是将那些成员之间不是非常紧密的簇进行分裂。跟凝聚式方法的方向相反，从一个簇出发，一步一步细化。它的优点在于研究者可以把注意力集中在数据的结构上面。一般情况下不使用分裂型方法，因为在较高的层很难进行正确的拆分。 3.2 基于密度的聚类算法很多算法都使用距离来描述数据之间的相似性，但对于非凸数据集，只用距离来描述是不够的。此时可用密度来取代距离描述相似性，即基于密度的聚类算法。它不是基于各种各样的距离，所以能克服基于距离的算法只能发现“类圆形”的聚类的缺点。其指导思想是：只要一个区域中的点的密度（对象或数据点的数目）大过某个阈值，就把它加到与之相近的聚类中去。该法从数据对象的分布密度出发，把密度足够大的区域连接起来，从而可发现任意形状的簇，并可用来过滤“噪声”数据。常见算法有DBSCAN，DENCLUE 等。[1][2][3]下一页 3.3 基于划分的聚类算法给定一个N个对象的元组或数据库，根据给定要创建的划分的数目k，将数据划分为k个组，每个组表示一个簇类（<=N）时满足如下两点：(1)每个组至少包含一个对象；(2)每个对
神经网络的应用及其发展 [摘要] 该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。 [关键词]遗传算法灰色系统专家系统模糊控制小波分析 一、前言 神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称BP 网络。目前，BP网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点： (1) 具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。 (2) 并行处理方法，使得计算快速。 (3) 自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。 (4) 可以充分逼近任意复杂的非线性关系。 (5) 具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。 二、神经网络应用现状 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： (1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。
神经网络 一、神经网络简介 人工神经网络(ANN)，简称神经网络，是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来探索数据的模式物理结构：人工神经元将模拟生物神经元的功能 计算模拟：人脑的神经元有局部计算和存储的功能，通过连接构成一个系统。人工神经网络中也有大量有局部处理能力的神经元，也能够将信息进行大规模并行处理存储与操作：人脑和人工神经网络都是通过神经元的连接强度来实现记忆存储功能，同时为概括、类比、推广提供有力的支持 训练：同人脑一样，人工神经网络将根据自己的结构特性，使用不同的训练、学习过程，自动从实践中获得相关知识 神经网络是一种运算模型，由大量的节点(或称“神经元”，或“单元”)和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。 二、BP神经网络算法描述 1、sigmoid函数分类 回顾我们前面提到的感知器，它使用示性函数作为分类的办法。然而示性函数作为分类器它的跳点让人觉得很难处理，幸好sigmoid函数y=1/(1+e^-x)有类似的性质，且有着光滑性这一优良性质。我们通过下图可以看见sigmoid函数的图像： 错误!
毕业论文（设计）论文（设计）题目：PAM聚类算法的分析与实现 系别： 专业： 学号： 姓名： 指导教师： 时间：
毕业论文（设计）开题报告 系别:计算机与信息科学系专业:网络工程 学号姓名高华荣 论文（设计）题目PAM聚类算法的分析与实现 命题来源□√教师命题□学生自主命题□教师课题 选题意义(不少于300字): 随着计算机技术、网络技术的迅猛发展与广泛应用，人们面临着日益增多的业务数据，这些数据中往往隐含了大量的不易被人们察觉的宝贵信息，为了得到这些信息，人们想尽了一切办法。数据挖掘技术就是在这种状况下应运而生了。而聚类知识发现是数据挖掘中的一项重要的内容。 在日常生活、生产和科研工作中，经常要对被研究的对象经行分类。而聚类分析就是研究和处理给定对象的分类常用的数学方法。聚类就是将数据对象分组成多个簇，同一个簇中的对象之间具有较高的相似性，而不同簇中的对象具有较大的差异性。 在目前的许多聚类算法中，PAM算法的优势在于：PAM算法比较健壮，对“噪声”和孤立点数据不敏感；由它发现的族与测试数据的输入顺序无关；能够处理不同类型的数据点。 研究综述(前人的研究现状及进展情况，不少于600字): PAM（Partitioning Around Medoid,围绕中心点的划分）算法是是划分算法中一种很重要的算法，有时也称为k-中心点算法，是指用中心点来代表一个簇。PAM算法最早由Kaufman和Rousseevw提出，Medoid的意思就是位于中心位置的对象。PAM算法的目的是对n个数据对象给出k个划分。PAM算法的基本思想：PAM算法的目的是对成员集合D中的N个数据对象给出k个划分，形成k个簇，在每个簇中随机选取1个成员设置为中心点，然后在每一步中，对输入数据集中目前还不是中心点的成员根据其与中心点的相异度或者距离进行逐个比较，看是否可能成为中心点。用簇中的非中心点到簇的中心点的所有距离之和来度量聚类效果，其中成员总是被分配到离自身最近的簇中，以此来提高聚类的质量。 由于PAM算法对小数据集非常有效，但对大的数据集合没有良好的可伸缩性，就出现了结合PAM的CLARA（Cluster LARger Application）算法。CLARA是基于k-中心点类型的算法，能处理更大的数据集合。CLARA先抽取数据集合的多个样本，然后用PAM方法在抽取的样本中寻找最佳的k个中心点，返回最好的聚类结果作为输出。后来又出现了CLARNS（Cluster Larger Application based upon RANdomized
基于k—means聚类算法的试卷成绩分析研 究 第39卷第4期 2009年7月 河南大学(自然科学版) JournalofHenanUniversity(NaturalScience) V o1.39NO.4 Ju1.2009 基于k—means聚类算法的试卷成绩分析研究 谭庆' (洛阳师范学院信息技术学院,河南洛阳471022) 摘要:研究_rk-means聚类算法,并将此算法应用于高校学生试卷成绩分析中.首先对数据进行了预处理,然后 使用k-means算法,对学生试卷成绩进行分类评价.用所获得的结果指导学生的学习和今后的教学工作. 关键词:数据挖掘;聚类;k-means算法;试卷成绩 中圈分类号:TP311文献标志码:A文章编号:1003—4978(2009)04—0412—04 AnalysisandResearchofGradesofExaminationPaper BasedonK—meansClusteringAlgorithm TANQing (Acaderny.l,InformationTechnologY,LuoyangNormalUniversity,LuoyangHenan47102 2,China) Abstract:Thispaperresearcheslhekmeansclusteringalgorithmandappliesittotheanalysiso fthegradedataof examinationpaperofhighereducationschoolSstudents.Firstly,itpreprocessesthedatabefor eminingThen,it usesthek—
摘要：本文采用无导师监督的som网络，对全国31个省市自治区的人民生活质量进行了综合评价，在没有先验信息的条件下，不采用人为主观赋予各指标权重的办法，转而运用自组织神经网络自组织竞争学习的网络方法来进行赋值、计算和评价，消除了主观确定各指标的权重的主观性，得到的结果较为符合各省市自治区的实际结果。 关键词：聚类分析；k-means聚类；系统聚类；自组织神经网络；人民生活质量 一、引言（研究现状） 自改革开放以来，我国生产力极大发展，生活水平总体上得到了提高。但是，地区间的发展不平衡始终存在，而且差距越来越大，不同地区人民的生活水平也存在显著的差异。据此，我们利用自组织人工神经网络方法对全国31个省市自治区的人民生活水平质量进行分析评价。 二、指标选取与预处理 1.指标选取 遵循合理性、全面性、可操作性、可比性的原则，从以下5个层面共11个二级指标构建了人民生活质量综合评价指标体系（如下表所示）。 人民生活质量综合评价指标体系 2.指标预处理 （1）正向指标是指标数据越大，则评价也高，如人均可支配收入，人均公园等。 正向指标的处理规则如下（1）： kohonen 自组织神经网络 输入层是一个一维序列，该序列有n个元素，对应于样本向量的维度；竞争层又称为输出层，该层是由m′n=h个神经元组成的二维平面阵列其神经元的个数对应于输出样本空间的维数，可以使一维或者二维点阵。 竞争层之间的神经元与输入层之间的神经元是全连接的，在输入层神经元之间没有权连接，在竞争层的神经元之间有局部的权连接，表明竞争层神经元之间的侧反馈作用。训练之后的竞争层神经元代表者不同的分类样本。 自组织特征映射神经网络的目标：从样本的数据中找出数据所具有的特征，达到能够自动对样本进行分类的目的。 2.网络反馈算法 自组织网络的学习过程可分为以下两步： （1）神经元竞争学习过程 对于每一个样本向量，该向量会与和它相连的竞争层中的神经元的连接权进行竞争比较（相似性的比较），这就是神经元竞争的过程。相似性程度最大的神经元就被称为获胜神经元，将获胜神经元称为该样本在竞争层的像，相同的样本具有相同的像。 （2）侧反馈过程 竞争层中竞争获胜的神经元会对周围的神经元产生侧反馈作用，其侧反馈机制遵循以下原则：以获胜神经元为中心，对临近邻域的神经元表现为兴奋性侧反馈。以获胜神经元为中心，对邻域外的神经元表现为抑制性侧反馈。 对于竞争获胜的那个神经元j，其邻域内的神经元在不同程度程度上得到兴奋的侧反馈，而在nj（t）外的神经元都得到了抑制的侧反馈。nj（t）是时间t的函数，随着时间的增加，nj（t）围城的面积越来越小，最后只剩下一个神经元，而这个神经元，则反映着一个类的特征或者一个类的属性。 3.评价流程 （1）对n个输入层输入神经元到竞争层输出神经元j的连接权值为（6）式：
基于动态BP神经网络的预测方法及其应用来源：中国论文下载中心 [ 08-05-05 15:35:00 ] 作者：朱海燕朱晓莲黄頔编辑：studa0714 摘要人工神经网络是一种新的数学建模方式，它具有通过学习逼近任意非线性映射的能力。本文提出了一种基于动态BP神经网络的预测方法，阐述了其基本原理，并以典型实例验证。 关键字神经网络，BP模型，预测 1 引言 在系统建模、辨识和预测中，对于线性系统，在频域，传递函数矩阵可以很好地表达系统的黑箱式输入输出模型；在时域，Box-Jenkins方法、回归分析方法、ARMA模型等，通过各种参数估计方法也可以给出描述。对于非线性时间序列预测系统，双线性模型、门限自回归模型、ARCH模型都需要在对数据的内在规律知道不多的情况下对序列间关系进行假定。可以说传统的非线性系统预测，在理论研究和实际应用方面，都存在极大的困难。相比之下，神经网络可以在不了解输入或输出变量间关系的前提下完成非线性建模[4，6]。神经元、神经网络都有非线性、非局域性、非定常性、非凸性和混沌等特性，与各种预测方法有机结合具有很好的发展前景，也给预测系统带来了新的方向与突破。建模算法和预测系统的稳定性、动态性等研究成为当今热点问题。目前在系统建模与预测中，应用最多的是静态的多层前向神经网络，这主要是因为这种网络具有通过学习逼近任意非线性映射的能力。利用静态的多层前向神经网络建立系统的输入/输出模型，本质上就是基于网络逼近能力，通过学习获知系统差分方程中的非线性函数。但在实际应用中，需要建模和预测的多为非线性动态系统，利用静态的多层前向神经网络必须事先给定模型的阶次，即预先确定系统的模型，这一点非常难做到。近来，有关基于动态网络的建模和预测的研究，代表了神经网络建模和预测新的发展方向。 2 BP神经网络模型 BP网络是采用Widrow-Hoff学习算法和非线性可微转移函数的多层网络。典型的BP算法采用梯度下降法，也就是Widrow-Hoff算法。现在有许多基本的优化算法，例如变尺度算法和牛顿算法。如图1所示，BP神经网络包括以下单元：①处理单元(神经元)（图中用圆圈表示），即神经网络的基本组成部分。输入层的处理单元只是将输入值转入相邻的联接权重，隐层和输出层的处理单元将它们的输入值求和并根据转移函数计算输出值。②联接权重(图中如V,W)。它将神经网络中的处理单元联系起来，其值随各处理单元的联接程度而变化。③层。神经网络一般具有输入层x、隐层y和输出层o。④阈值。其值可为恒值或可变值，它可使网络能更自由地获取所要描述的函数关系。⑤转移函数F。它是将输入的数据转化为输出的处理单元，通常为非线性函数。
如何用MA TLAB的神经网络工具箱实现三层BP网络？ % 读入训练数据和测试数据 Input = []; Output = []; str = {'Test','Check'}; Data = textread([str{1},'.txt']); % 读训练数据 Input = Data(:,1:end-1); % 取数据表的前五列（主从成分） Output = Data(:,end); % 取数据表的最后一列（输出值） Data = textread([str{2},'.txt']); % 读测试数据 CheckIn = Data(:,1:end-1); % 取数据表的前五列（主从成分） CheckOut = Data(:,end); % 取数据表的最后一列（输出值） Input = Input'; Output = Output'; CheckIn = CheckIn'; CheckOut = CheckOut'; % 矩阵赚置 [Input,minp,maxp,Output,mint,maxt] = premnmx(Input,Output); % 标准化数据 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%% % 神经网络参数设置 %====可以修正处 Para.Goal = 0.0001; % 网络训练目标误差 Para.Epochs = 800; % 网络训练代数 Para.LearnRate = 0.1; % 网络学习速率 %==== Para.Show = 5; % 网络训练显示间隔 Para.InRange = repmat([-1 1],size(Input,1),1); % 网络的输入变量区间 Para.Neurons = [size(Input,1)*2+1 1]; % 网络后两层神经元配置
第24卷第5期 2007年5月 计算机应用研究 Application Resea心h of Computers V01.24.No.5 Mav 2007 基于聚类分析的K—means算法研究及应用爿: 张建萍1,刘希玉2 (1.山东师范大学信息科学与工程学院,山东济南250014;2.山东师范大学管理学院,山东济南250014 摘要:通过对聚类分析及其算法的论述,从多个方面对这些算法性能进行比较,同时以儿童生长发育时期的数据为例通过聚类分析的软件和改进的K.means算法来进一步阐述聚类分析在数据挖掘中的实践应用。 关键词:数据挖掘;聚类分析;数据库;聚类算法 中图分类号:TP311文献标志码:A 文章编号:1001—3695(200705—0166-03 Application in Cluster’s Analysis Is Analyzed in Children DeVelopment Period ZHANG Jian—pin91,UU Xi—yu。 (1.coz比伊矿,咖mo砌n 5c掂Me&E蟛袱^增,|s胁础增Ⅳo丌mf‰洫瑙毋,五n 帆5^a蒯D昭250014,吼i胁;2.cozz学矿讹加舻删眦, s^0n幽凡g舳丌Mf‰i孵璐匆,^加n乩。砌。昭250014,傩iM Abstract: nis paper passed cluster’s analysis and its algorithm corTectly,compared
these algorithm perfbrnlances f}om a lot of respects,and explained that cluster analysis excavates the practice application of in datum further to come through software and impmved K—means aIgorithm,cIuster of analysis at the same time practise appIication. Key words:data mining; cluster analysis; database; cluster algorithm 随着计算机硬件和软件技术的飞速发展,尤其是数据库技 术的普及,人们面临着日益扩张的数据海洋,原来的数据分析工具已无法有效地为决策者提供决策支持所需要的相关知识, 从而形成一种独特的现象“丰富的数据,贫乏的知识”。数据挖掘…又称为数据库中知识发现(Knowledge Discovery from Database,KDD,它是一个从大量数据中抽取挖掘出未知的、有价值的模式或规律等知识的复杂过程。目的是在大量的数据中发现人们感兴趣的知识。 常用的数据挖掘技术包括关联分析、异类分析、分类与预测、聚类分析以及演化分析等。由于数据库中收集了大量的数据,聚类分析已经成为数据挖掘领域的重要技术之一。 1问题的提出 随着社会的发展和人们生活水平的提高,优育观念嵋一。逐渐渗透到每个家庭,小儿的生长发育越来越引起家长们的重视。中国每隔几年都要进行全国儿童营养调查,然而用手工计算的方法在大量的数据中分析出其中的特点和规律,显然是不现实的,也是不可行的。为了有效地解决这个问题,数据挖掘技术——聚类分析发挥了巨大的作用。 在数据挖掘领域,聚类算法经常遇到一些问题如聚类初始点的选择H J、模糊因子的确定‘5o等,大部分均已得到解决。现在的研究工作主要集中在为大型的数据库有效聚类分析寻找适当的方法、聚类算法对复杂分布数据和类别性数据聚类的有效性以及高维数据聚类技术等方面。本文通过对聚类分析算法的分析并重点