广东工业大学 毕业设计(论文)BP神经网络的异常点检测应用可行性研究
- 格式：doc
- 大小：2.05 MB
- 文档页数：50
文档推荐
-
广工大毕业设计(论文)格式综述页数:16
-
广东工业大学土木工程毕业设计任务书页数:6
-
毕业设计-广东工业大学教务处页数:11
-
广工2014毕业设计题目汇总页数:15
-
广东工业大学本科生毕业设计(论文)手册页数:24
下载文档原格式
合集下载
基于BP神经网络的疾病诊断模型（论文）
基于BP 神经网络的疾病诊断模型郑楷洪 兰妙萍中国矿业大学计算机学院摘要：医生诊断就诊人员是否患肾炎时，通常要化验人体内各种元素含量，通过分析元素含量来判断病人是否患病。
为了能够方便准确的诊断疾病，需要通过建立更加实用的数学模型来应用于诊断设备，实现更加准确的诊断。
本文引出了—种BP 神经网络预测模型，通过对已有数据记录进行数学分析，找出简单有效的肾炎诊断方法。
用Matlab 神经网络工具箱以7种元素化验结果作为网络的输入接点设计了三层神经网络模型，计算并对其检验，得到满意的结果，并对30组就诊病人数据进行了预测。
关键词：肾炎诊断；BP 神经网络；数学模型；数据分析一、 引言在现代生活当中，许多疾病困扰着我们的生活，在某种程度上说诊断疾病是一项相当复杂的过程，需要对许多因素进行分析，有时甚至会出现误诊，而且有时需要花销大量费用。
为了节约费用且能够方便准确的诊断疾病需要通过建立更加实用的数学模型来来应用于诊断设备,从而实现更加准确的诊断。
本文通过BP 神经网络构造出一个疾病诊断模型，通过对数据进行分析拟合来判断就诊人员是否患病。
二、 原理分析BP 神经网络可以是一种具有三层或三层以上的神经网络，包括输入层、中间层（隐层）和输出层，上下层之间实现全连接，而每层神经元间无连接。
当一对学习样本提供给网络后，神经元的激活值从输入层经各中间层向输出层传播，在输出层的各神经元获得网络的输入响应。
按照减少目标输出与实际误差的方向，从输出层经过各中间层逐层修正各连接权值，最后回到输入层,即BP 算法。
BP 算法通过“训练”这一事件来得到这种输入、输出间合适的线性或非线性关系。
“训练”的过程可以分为向前传输和向后传输两个阶段。
三、 实现方法或步骤流程下面我们就基于BP 人工神经理论来建模。
（1）初始化。
给每个连接权值mt lm v w ,，阈值t m γθ,赋予区间（-1,1）内的随机值。
（2）随机选取一组输入和目标样本),...,,(),...,,(n 21n 21k k k k k k k k s s s T a a a P ==、提供给网络。
BP神经网络风险评估论文-最新范文
BP神经网络风险评估论文摘要：软件需求分析不仅仅是为了让开发者满足用户要求,而且还可以帮助用户了解软件的性能和功能,具有一举两得的效果,但是如果软件需求不符合实际需求,就会出现风险,导致返工。
在BP神经网络的基础上,我们建立了软件需求分析风险评估模型,以减少软件开发的失败率,规避因软件需求分析失误而带来的实际存在的或潜在的风险。
关键词：风险;软件需求;BP神经网络;研究;分析软件开发过程中,需求分析是一个关键性的阶段。
导致它失败的原因有很多,例如开发者和用户之间的沟通障碍、软件本身的隐含性、需求信息的不对称等等。
这些问题导致的返工,增加了开发的成本,也损坏了企业形象,更可能流失掉部分用户。
因此,我们必须对软件需求分析进行风险评估管理,把负面影响降到最低。
现代商业发展中,各企业和企业之间的竞争日趋激烈,掌握最新的技术,对技术进行创新,才是企业在行业内立足脚跟,获得更加长远发展的方法,因此要想牢牢地把握企业的运命就需要我们保持对技术创新的热情,并在这条道路上乐此不疲。
21世纪,只有掌握了最新和最具有创造性的技术,才能赢的最后的胜利,本文把BP网络与软件需求分析风险评估模型相结合,具有十分重要的意义。
1BP神经网络BP神经网络是开发者使用最多的神经网络之一,它具有算法简单、极强的鲁棒性、收敛速度极快等优点。
最重要的一点是能够最大限度的接近其真实系统,非常适合于线性的、不确定的、模糊的软件风险数据。
BP算法是一种用于前向多层神经网络的的反传学习算法。
采用BP算法的数层感知器神经网络模型,它的基本思想是,学习过程由信号的正向传播和误差的反向传播两个过程组成。
模糊理论采用模糊数学的方法,通过抽象思维,对处于多种因素作用下的事物做出总体评价。
它的两大主要特征是：第一,结果清晰;第二,系统性强,这非常适合于各种非确定性问题的解决。
2软件需求分析风险评估模型开发过程中,了解软件需求是很重要的。
软件开发主要是依据需求的不同而设计出的产品。
毕业设计(论文)-基于BP神经网络的电路故障诊断
1.4模拟电路故障诊断的方法
模拟电路故障诊断是微电子技术中的一个重要课题，同时也是网络理论的一个重要课，模拟电路故障诊断方法主要有以下三种：
1.3模拟电路故障诊断的意义
模拟电路广泛应用于军工、通讯、自动控制、测量仪表、家用电器等各个方面。随着大规模模拟集成电路的发展，模拟电路的复杂度和密集度不断增长，对模拟电路运行可靠性的要求更为严格。就模拟电路生产工厂而言，也要求能诊断出故障以便分析原因，改进工艺以提高成品合格率。对某些用于重要设备的模拟电路，还要求能进行故障预测，也就是对模拟电路在正常工作时的响应作持续不断的监测，以确定哪些元件将要失效，以便在模拟电路故障发生前将那些将要失效的元件替换掉，以避免故障发生。所有这些，通常的人工诊断技术已无法满足需要。因而，电路故障的自动诊断成为一个急待要解决的问题，自动故障诊断的关键在于诊断程序的产生，而诊断程序产生的中心问题是电路故障诊断理论。因此，模拟电路故障诊断的研究引起世界各国电路理论工作者的高度重视。
现代社会中，电子设备或系统广泛应用于各个科学技术领域、工业生产部门以及人们的日常生活中，电子设备的可靠性直接影响着生产的效率、系统、设备及人类的生命安全。随着电子设备使用的日趋广泛，不论是在设备的生产阶段还是应用阶段，都对电路的故障诊断提出了迫切的要求，要求人们研究新的有效的诊断技术，进一步提高电子设备的可靠性，设备诊断技术引入生产现场已三十多年。最初，设备较为简单，维修人员主要靠感觉器官、简单仪表和个人经验就能胜任故障的诊断和排除工作，即为传统的诊断技术。随着科学技术的不断发展，动力机械设备越来越复杂化、精密化、系统化和自动化，同时价格也越来越昂贵，设备在现代工业生产中的作用和影响越来越大，生产的主体也逐渐由人力向设备转移，与设备有关的费用越来越高，传统的诊断方法已远远不能适应。机器运行中发生的任何故障或失效不仅会引起严重后果，造成重大的经济损失，甚至还可能导致灾难性的人员伤亡和恶劣的社会影响。
模拟电路故障诊断是微电子技术中的一个重要课题，同时也是网络理论的一个重要课，模拟电路故障诊断方法主要有以下三种：
1.3模拟电路故障诊断的意义
模拟电路广泛应用于军工、通讯、自动控制、测量仪表、家用电器等各个方面。随着大规模模拟集成电路的发展，模拟电路的复杂度和密集度不断增长，对模拟电路运行可靠性的要求更为严格。就模拟电路生产工厂而言，也要求能诊断出故障以便分析原因，改进工艺以提高成品合格率。对某些用于重要设备的模拟电路，还要求能进行故障预测，也就是对模拟电路在正常工作时的响应作持续不断的监测，以确定哪些元件将要失效，以便在模拟电路故障发生前将那些将要失效的元件替换掉，以避免故障发生。所有这些，通常的人工诊断技术已无法满足需要。因而，电路故障的自动诊断成为一个急待要解决的问题，自动故障诊断的关键在于诊断程序的产生，而诊断程序产生的中心问题是电路故障诊断理论。因此，模拟电路故障诊断的研究引起世界各国电路理论工作者的高度重视。
现代社会中，电子设备或系统广泛应用于各个科学技术领域、工业生产部门以及人们的日常生活中，电子设备的可靠性直接影响着生产的效率、系统、设备及人类的生命安全。随着电子设备使用的日趋广泛，不论是在设备的生产阶段还是应用阶段，都对电路的故障诊断提出了迫切的要求，要求人们研究新的有效的诊断技术，进一步提高电子设备的可靠性，设备诊断技术引入生产现场已三十多年。最初，设备较为简单，维修人员主要靠感觉器官、简单仪表和个人经验就能胜任故障的诊断和排除工作，即为传统的诊断技术。随着科学技术的不断发展，动力机械设备越来越复杂化、精密化、系统化和自动化，同时价格也越来越昂贵，设备在现代工业生产中的作用和影响越来越大，生产的主体也逐渐由人力向设备转移，与设备有关的费用越来越高，传统的诊断方法已远远不能适应。机器运行中发生的任何故障或失效不仅会引起严重后果，造成重大的经济损失，甚至还可能导致灾难性的人员伤亡和恶劣的社会影响。
基于BP神经网络的变压器故障诊断研究毕业设计
……………………. ………………. …………………毕业设计装题目：基于BP神经网络的变压器故障诊断研究订线……………….……. …………. …………. ………毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。
尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。
对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。
作者签名：日期：指导教师签名：日期：使用授权说明本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。
作者签名：日期：学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。
除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。
对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。
本人完全意识到本声明的法律后果由本人承担。
作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。
本人授权大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
涉密论文按学校规定处理。
作者签名：日期：年月日导师签名：日期：年月日注意事项1.设计（论文）的内容包括：1）封面（按教务处制定的标准封面格式制作）2）原创性声明3）中文摘要（300字左右）、关键词4）外文摘要、关键词5）目次页（附件不统一编入）6）论文主体部分：引言（或绪论）、正文、结论7）参考文献8）致谢9）附录（对论文支持必要时）2.论文字数要求：理工类设计（论文）正文字数不少于1万字（不包括图纸、程序清单等），文科类论文正文字数不少于1.2万字。
贝叶斯网络在无线网络故障诊断中的应用研究
广东工业大学工学硕士学位论文
（工学硕士）
贝叶斯网络在无线网络故障诊断中的应用 研究
游俊慧
二零零九年五月二十六日
分类号： UDC： 密级：
学校代号：11845 学 号：2110605409
广东工业大学硕士学位论文
（工学硕士）
贝叶斯网络在无线网络故障诊断中的应用 研究
游俊慧
指导教师姓名、职称： 滕少华教授 专业 或 领域 名称：计算机应用技术 学 生 所 属 学 院： 论 文 答 辩 日 期： 计算机学院 2009 年 5 月 _
IILeabharlann Abstractwireless network fault diagnosis based on Bayesian Network is discussed in detail. Two diagnosis models, one is based on causal relationship Bayesian Network, the other is based on Naï ve Bayesian Network, are established and separately applied to experiment. The two models are testified to be precise and reliable and the result is used to evaluate the advantage and disadvantage of the two models. Complete-data-set learning methods can be used to train complete data set, however, the actual performance data of wireless network is usually incomplete. Therefore, 3 mature incomplete-data-set learning methods, including Monte-Carlo method, Gaussian approximated algorithm and EM algorithm, are applied to solve the performance data absent, whose function and shortcoming are explained through the experiment. Keyword: Wireless Network Optimization; Fault Diagnosis; Data Mining; Bayesian Network
（工学硕士）
贝叶斯网络在无线网络故障诊断中的应用 研究
游俊慧
二零零九年五月二十六日
分类号： UDC： 密级：
学校代号：11845 学 号：2110605409
广东工业大学硕士学位论文
（工学硕士）
贝叶斯网络在无线网络故障诊断中的应用 研究
游俊慧
指导教师姓名、职称： 滕少华教授 专业 或 领域 名称：计算机应用技术 学 生 所 属 学 院： 论 文 答 辩 日 期： 计算机学院 2009 年 5 月 _
IILeabharlann Abstractwireless network fault diagnosis based on Bayesian Network is discussed in detail. Two diagnosis models, one is based on causal relationship Bayesian Network, the other is based on Naï ve Bayesian Network, are established and separately applied to experiment. The two models are testified to be precise and reliable and the result is used to evaluate the advantage and disadvantage of the two models. Complete-data-set learning methods can be used to train complete data set, however, the actual performance data of wireless network is usually incomplete. Therefore, 3 mature incomplete-data-set learning methods, including Monte-Carlo method, Gaussian approximated algorithm and EM algorithm, are applied to solve the performance data absent, whose function and shortcoming are explained through the experiment. Keyword: Wireless Network Optimization; Fault Diagnosis; Data Mining; Bayesian Network
BP神经网络实验报告
BP神经网络实验报告BP神经网络实验报告一、实验目的本实验的目的是熟悉MATLAB中神经网络工具箱的使用方法，同时通过编程实现BP网络逼近标准正弦函数，来加深对BP网络的了解和认识，理解信号的正向传播和误差的反向传递过程。
二、实验原理传统的感知器和线性神经网络无法解决线性不可分问题，因此在实际应用过程中受到了限制。
而BP网络却拥有良好的繁泛化能力、容错能力以及非线性映射能力，因此成为应用最为广泛的一种神经网络。
BP算法将研究过程分为两个阶段：第一阶段是信号的正向传播过程，输入信息通过输入层、隐层逐层处理并计算每个单元的实际输出值；第二阶段是误差的反向传递过程，若在输入层未能得到期望的输出值，则逐层递归的计算实际输出和期望输出的差值（即误差），以便根据此差值调节权值。
这种过程不断迭代，最后使得信号误差达到允许或规定的范围之内。
基于BP算法的多层前馈型网络模型的拓扑结构如下图所示：BP算法的数学描述：三层BP前馈网络的数学模型如下图所示。
三层前馈网中，输入向量为X=(x1,x2.xi。
xn)T；隐层输入向量为Y=(y1,y2.___。
y_m)T；输出层输出向量为O=(o1,o2.ok。
ol)T；期望输出向量为d=(d1,d2.dk。
dl)T。
输入层到隐层之间的权值矩阵用V表示，V=(v1,v2.其中列向量vj 为隐层第j个神经元对应的权向量；v_j。
v_m)Y，隐层到输出层之间的权值矩阵用W表示，W=(w1,w2.wk。
wl)，其中列向量wk为输出层第k个神经元对应的权向量。
下面分析各层信号之间的数学关系。
对于输出层，有：yj=f(netj)。
j=1,2.mnetj=∑vijxi。
j=1,2.m对于隐层，有：Ok=f(netk)。
k=1,2.l___∑wjk*yi。
k=1,2.lj=1其中转移函数f(x)均为单极性Sigmoid函数：f(x)=1/(1+e^-x)，具有连续、可导的特点，且f'(x)=f(x)[1-f(x)]。
BP神经网络-本科生毕业设计论文-小论文
基于智能计算的水质预测预警系统的设计与实现温子铭1,刘双印1（1.广东海洋大学信息学院，广东湛江524088）摘要：及时准确地掌握水质变化趋势是确保水产品健康养殖的关键，为此，本设计采用智能计算与现代Web开发技术有机结合，以软件工程为指导，按照面向对象程序设计的方法，构建5种基于智能计算的水质预测预警模型；采用J2EE为开发工具设计实现了B/S架构的水质预测预警系统。
该系统主要有水质数据管理、水质数据趋势展示、水质指标溶解氧浓度预测、水质预警管理等功能模块组成，用户界面友好，水质预测精度较高，能够满足水产养殖水质管理的需要。
该系统的研制为提前掌握水质未来发展趋势、水污染预警提供基础数据和手段，为应对突发水质事件、水质调节、水产养殖生产管理与规划提供科学的决策依据，有一定的实用价值。
关键词:水产养殖；水质趋势；J2EE；水质预测预警系统；智能计算；Design and Implementation of Water Quality Predicting and Early Warning SystemBase on Smart ComputingWen Ziming, Liu Shuangyin(1. Information Institute of Guangdong Ocean University, Zhanjiang,GuangDong 524088) Abstract:Have a good command of water quality trends in time and accurately is the key to assure health growth of the aquatic products. Therefore, this design is combined with intelligent computing and modern web development technology, on the guidance of software engineer, and also established five kinds of water quality predicting and early warning models based on intelligent technology according to the measure of Object-Oriented Programming; We adopted J2EE as development tool to achieve the water quality predicting and early warning system based on B/S framework. This system mainly included water quality data management module, water quality data trend module, dissolved oxygen prediction module and water quality early warning module. It’s useful for users and can meet the needs of aquatic water quality management. The establishment of this system provide the basic data and methods to handling the future water quality trend and water pollution early warning. And also provide the scientific decision for dealing with the water pollution events, water quality adjustment, aquaculture management and plans. It has practical value.Key words: Aquaculture, water quality trend, J2EE, water quality predicting and early warning system, intelligent computing.1引言我国是水产养殖大国，也是世界上唯一一个养殖产量超过捕捞产量的国家, 水产养殖为解决食品供给、粮食安全、改善民生，增加农民收入等方面发挥了重要作用。
神经网络技术在异常网络行为检测中的应用
神经网络技术在异常网络行为检测中的应用随着互联网的快速发展和普及，网络攻击也愈发凶猛和普遍，网络安全问题成为社会关注的焦点之一。
安全专家们提出了一系列的安全措施，例如防火墙、数据加密、身份验证等，用于防范恶意攻击。
但是这些方法并不能完全保证网络安全，因为攻击者总是能够找到漏洞并进行攻击。
因此，如何发现网络中的异常行为，成为了保障网络安全的一项重要任务。
而神经网络技术在这方面的应用也越来越重要。
一、异常网络行为检测的意义异常网络行为检测是一种防范网络攻击的有效手段，它对于网络安全的保障意义重大。
正常的网络流量在网络中传输，具有明显的规律性和特征性，而异常流量则与正常的网络流量不同，比较难以分辨。
网络黑客往往利用这种难以分辨的特点，对网络进行攻击。
异常网络行为检测能够及时发现异常流量，并对其进行处理，防止网络被攻击。
自动化的检测技术能够大大提高检测的效率，降低人员的工作量。
通过这种方式，网络安全体系将更加强大，网络攻击的风险也大大降低。
二、神经网络技术的概述神经网络是模拟人类大脑工作模式的一种计算机应用技术。
神经网络是由一组互相连接的处理单元所组成的，可以对输入的信息进行处理和学习，并对之后的信息做出响应。
神经网络技术可以在不断学习的过程中，自动地提取和学习信息和特征，并能够在非线性情况下进行分类、识别等操作。
在网络安全领域，神经网络技术能够自动地提取网络流量的特征，对攻击行为进行自动化识别和防范。
该技术可以识别网络流量中的异常行为，并进一步预测未来的网络安全威胁。
三、异常网络行为检测是神经网络技术在网络安全领域中的一个重要应用。
通过神经网络技术，可以对异常网络流量进行分类和识别，从而提高网络攻击的检测率和准确率。
从分类的角度来看，神经网络可以分类的行为包括以下几种：1. 正常网络流量检测通过对正常网络流量的特征提取和学习，可以识别和预测网络流量中的正常行为。
2. 入侵检测入侵检测是指对网络入侵行为的检测，根据入侵行为进行分类和识别，并采取适当的措施进行防范和打击。
多级优化BP神经网络的异常流量检测
设输入层的输入向量X=（ X”X2,X3,… x”），wip e”分别为输入层到隐含层的 权值和阈值因为神经元所使用的激活函 数必须处处可导，所以本文选用最常使用 的S型函数，隐含层的输出yj如下式：
hj^i^wijxr0ij
（1）
儿=/（",）=厂「
（2）
I +e
在反向传输的过程中，先计算神经网 络的误差：
人工蜂群优化算法(ABC )是模拟蜂 群中各个蜂种分工合作并将信息进行分享 的采蜜过程，从而找出问题的最优解。在 ABC算法中由食物源、雇佣蜂和非雇佣蜂 三个部分组成，其中非雇佣蜂又可以分为 观察蜂和侦查蜂.整个算法的目的就是寻 找花蜜量最大的食物源巾。
假设在N维空间中有S个食物源， 第i个食物源的位子为Xi ( x“,x；2,…,X；”)。 每个蜜源的位置是一个解，每个蜜源的花 蜜量对应该解的适应度。先初始化S个食 物源，雇佣蜂根据食物源信息寻找新的食 物源，然后再跟观察蜂分享信息，从而来 更新食物源位置，如下式：
BP神经网络算法具有良好的自学习、 自演化和非线性映射能力，能够在不熟悉 网络环境和异常流量背景信息的情况下对 复杂多变的异常流量训练，并能快速地检 测未知的异常流量，是•种满足当今网络 异常检测的方法|2|o但是纯粹的BP神经 网络模型存在一些不足，比如收敛速度慢 和容易陷入局部最优解等问题如果直接 将BP神经网络算法应用到异常流量检测 中会使系统出现较高的误报和漏报情况. 从而使检测的效率达不到保障网络安全的 要求。针对这些问题，研究人员采用了很 多方式去优化BP神经网络算法，例如： 傅德胜131采用全局优化算法的粒子群优化
■文/陈胜朱国胜 祁小云 雷龙飞 吴善超吴梦宇
随着“互联网+”时代的发展，网络 的规模越來越大.网络安全问题也变得 更加复杂。因此，有效准确地识别异常 流量对网络安全起到关键的作用.异常 检测的网络流量数据具有数据量大和随 机性强的特性，传统基于特征规则、统 计和阈值的异常检测系统检测效率低、 模型更新代价大、难以检测未知的异常， 不易建立检测模型，在复杂多变的网络 环境中难以满足安全检测的要求而神 经网络对模拟人类神经系统的模型有很 强的认知能力，是进行高效率异常检测 分析的较好选择'"o
基于BP神经网络算法的智能诊断用数据分析方法及系统[发明专利]
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201610840541.4(22)申请日 2016.09.21(71)申请人 广东工业大学地址 510090 广东省广州市越秀区东风东路729号(72)发明人 李志 黄少伟 (74)专利代理机构 北京精金石专利代理事务所(普通合伙) 11470代理人 刘晔(51)Int.Cl.G06F 19/00(2011.01)G06N 3/02(2006.01)(54)发明名称基于BP神经网络算法的智能诊断用数据分析方法及系统(57)摘要本发明公开了一种基于BP神经网络算法的智能诊断用数据分析方法，涉及智能诊断的数据分析的技术领域，包含有以下步骤：S1、采集数据，该数据包括结构化数据与非结构化数据；S2、对所采集的数据进行初步处理；S3、将经过初步处理的数据进行关键词的聚类；S4、将经过关键词聚类的数据通过训练好的BP神经网络算法建立数学模型，并将该数学模型作为分析结果进行输出。
本发明还公开了一种基于BP神经网络算法的智能诊断用数据分析系统。
本发明降低了诊断门槛，有效缓解看病难的形势。
权利要求书2页 说明书4页 附图1页CN 106485054 A 2017.03.08C N 106485054A1.基于BP神经网络算法的智能诊断用数据分析方法，其特征在于，包含有以下步骤：S1、采集数据，所述数据包括结构化数据与非结构化数据；S2、对所采集的数据进行初步处理；S3、将经过初步处理的数据进行关键词的聚类；S4、将经过关键词聚类的数据通过训练好的BP神经网络算法建立数学模型，并将所述数学模型作为分析结果进行输出。
2.如权利要求1所述的基于BP神经网络算法的智能诊断用数据分析方法，其特征在于，步骤S2中，所述初步处理包括清洗和格式转换。
3.如权利要求1所述的基于BP神经网络算法的智能诊断用数据分析方法，其特征在于，步骤S3中，将经过初步处理的数据进行关键词的聚类的步骤包括：S31、从数据中任意选取K个数据对象作为聚类中心、从而形成K个聚类，其中K为大于1、小于数据量的正整数；S32、分别计算聚类中心外其余数据到各个聚类中心的距离，并将聚类中心外其余数据分配到离自己最近的聚类中；S33、顺序选取一个数据以代替原来的聚类中心，并计算替代后消耗的方差E，选择消耗的方差E最小的数据作为确定的聚类中心；S34、重复步骤S32，若数据分配发生变化则继续按步骤进行数据处理，若数据分配未发生变化则输出聚类结果。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于密度方法是在基于距离的方法上改进而来。基于密度的异常观点比基于距离的异常观点更贴近Hawkins的异常定义，因此能够检测出基于距离异常算法所不能识别的局部异常。局部异常观点摒弃了以前所有的异常定义中非此即彼的绝对异常观念，更加符合现实生活的中的应用。
所谓密度是基于任意一点和P点距离小于给定半径R的邻域空间内的数据点的个数计算得到的。一般的对密度的定义是点到其量近邻的平均距离，平均距离小则密度小。基于密度的异常点检测，就是探测局部密度，通过不同的密度估计策略来检测异常点。代表性算法主要有以下几种。
基于距离方法最早是由Knorr和Ng在1998年提出的。他们用DB(p,d)来表示数据集中的异常点，采用不同的参数 与 ， 可以表示所有的异常点。与此定义相应的算法有三种，它们是基于索引(Index-based)的算法，嵌套循环(Nest-Loop，NL)算法，基于单元或划分(cell-based)的算法等。基于索引的方法依赖多维索引结构(R-trees,X -trees,KD -tress等)的性能。随着维数的增加，所有的索引结构的性能迅速下降，使得算法性能不佳。NL算法可以避免构建索引结构，减少了算法的 次数。以上两方法的算法时间复杂度为 ，当遇到大量数据集时它们还有待改进。基于单元的方法是把数据集划分为单元，逐个单元的检测，而非逐个对象的检测。它的时间复杂度为 ，其中 取决于单元的个数和维数 。Knorr和Ng通过试验证明，当 时此算法优于NL算法。
1.2
1.2.1基于统计学的异常点检测算法
早期的异常点检测算法大多数是基于统计学实现的，通常可以分为基于分布的检测算法和基于深度的检测算法两类。前者一般通过先构造一个标准概率分布来拟合数据集，然后根据概率分布来确定异常点，例如Rosner提出的单样本多个异常检测算法ESD算法，和Yamnishi等使用混合高斯模型的异常点检测算法。此类算法估计多维分布的概率模型的难度较大，且准确性低。基于深度方法主要以计算几何为基础，通过计算不同层的K-D凸包将外层的对象判定为异常点。但当数据集较大，此类方法在维数上的伸缩性不好。
Key Words：Outliers-Data，BP，Algorithms，Neural Networks
1引言
1.1背景
异常点（离群点或者孤立点）检测是数据挖掘中一个重要方面，Hawkins[1]最早给出了异常点的本质定义：异常点是数据集中与众不同地数据，以至于使人怀疑这些数据并非随机偏差，而是产生与完全不同的机制。异常点可能由于度量或执行错误产生，也可能是由于固有数据可变性的结果。例如，一个公司首席执行官的工资自然远远高于公司其他雇员的工资，成为一个异常点。许多数据挖掘算法试图减少异常点的对挖掘结果的影响，或者在挖掘过程中排除异常点。然而异常点可能隐藏着重要的信息，也许比一般的数据更有价值。因此人们开始逐渐研究异常点挖掘算法。目前异常点检测已经开始用于信用卡欺诈、网络入侵检测以及金融申请和交易欺诈等领域[2]，近年来异常点检测已成为数据挖掘研究中的一个热点问题。
(1)Brito等提出相互k近邻图(Mutual k—Nearest Neighbor，简称MkNN)算法，其主要思想是对每个连通子图进行检测，如果包含多个结点就组成一个簇，如果仅有一个结点，那么该结点就是异常点。该算法针对数据点的分布对各种特殊形状都有效，但算法执行效率不高。
(2)Ville Hautamaki等提出两种基于密度的异常点检测算法，第一种算法思路为在kNN图中，若顶点u成为其它点的k近邻的次数少于给定阈值T时就被认为是异常点，另一种算法则是先对所有顶点的平均k近邻距离进行排序，然后将平均k近邻距离大于T点顶点视为异常点。
与基于统计的方法相比，它有以下几个优点:则可找出数据集中的异常点。
(1)在理论上可以处理任意维任意类型的数据，这就克服了基于统计方法仅能检测单个属性的缺点。
(2)不必对数据集的相关信息(数据服从哪种统计分布模型，数据类型特点等)足够了解。实际上在给出了距离的度量，并对数据进行预处理后。
1.2.3基于密度的算法
相对前两者，基于单元的算法无论是在数据量还是在维数增加时，性能都是最好的。此算法需要将数据空间分隔成彼此独立的单元结构，经过多次选择来判断离群数据。对于参数的每个变化都需要调整单元结构，因此会影响了算法的结果。后来，Rastogi和Ramaswamy提出了一个新的基于距离的异常点定义，即基于距离的第 最近邻(k-th Nearest Neighbor)异常点挖掘方法。给定 维空间中包含 个点的数据集 、参数 和 (自然数), 表示点 和它的第 最近邻的距离。如果满足 的点q不超过n-1个，即 ，那么称 为 异常点。如果对数据对象根据它们的 距离进行排序，那么前n个点就被看作异常点。他们用聚类算法首先对数据预的因素要小一些。但它也有自身缺陷，就是要计算数据集中所有点的 ，这显然影响到算法的效率。对低维空间的数据此方法优于索引算法和NL算法，但对于高维数据此算法性能不高。
传统数据挖掘主要有以下几类：基于统计的方法，基于距离的方法，基于偏移方法，基于聚类方法，基于密度方法。本文从特征与异常检测的关系出发进行研究。BP神经网络适用于储存和描述这种复杂的关系。但是异常检测过程，通常数据的位数较高，在高维特征存在冗余特征干扰，以及高维特征下数据不充分的问题，因此，本文研究了BP神经网络应用于不同情况。
1.2.2基于距离的异常点检测算法
基于距离的异常点检测算法的基本思想是把数据点看作空间中的点，异常点被定义为与大多数数据距离较远的点。通常这类异常被描述为 。当且仅当数据集 中至少有 个数据点与 点的距离大于 时，数据对象 点称为异常点。这类方法与基于密度的检测算法有很大的相似之处，不需要事先知道数据集的分布模型，对于任意分布模型均有效。
基于统计的异常点检测方法易于理解，实现方便，但此方法检测出来的异常点很可能被不同的分布模型检测出来，解释异常点意义时经常发生多义性。其次，此方法在很大程度上依赖于待挖掘的数据集是否满足某种概率分布模型、模型的参数、异常点的数目等对基于统计的方法都有非常重要的意义，而确定这些参数通常比较困难；另外，此方法大多适合于挖掘单变量的数值型数据，然而许多数据挖掘问题要求在多维空间中发现异常点，目前几乎没有多元的不一致检验，当没有特定的检验时，或观察到的分布不能恰当地用任何标准的分布建模时，此类方法不能确保所有的异常点被发现。
Bay和Sc hwabacher在沿用Rastogi和Ramaswamy对于异常定义的基础上，提出了一种基于随机抽样的检测方法，它通过随机抽样的方法，减少了寻找k近邻的范围，在试验数据上获得了几乎线性的计算复杂度。
随着人们对基于距离的方法的不断研究，一些新的、较好的算法也不断的涌现。代表性的算法有:陆声链等提出一个判断异常点的新定义，并设计基于抽样近似检测算法。使得算法性能有所提高;另外，徐雪松等利用聚类算法与第k个最近邻的原理提出了基于距离的再聚类的异常点算法，它克服一些基于距离算法的缺点，并取得较好的试验结果。
关键字：异常，BP，异常点检测，神经网络
注：本设计（论文）题目来源于教师的国家级（或部级、省级、厅级、市级、校级、企业）科研项目，项目编号为：。
Abstract
Outlier data is the data set different data. This part of the small amount of data, but for our daily production and life of great. Therefore, the anomaly detection is widely used in network intrusion detection, finance, insurance, weather, and new drug development and other fields. Relative to the large number of normal data mining, the anomaly detection model is called data mining small. BP algorithm is a commonly used data mining algorithm. But the BP algorithm to real data outliers exist in the data mining process: the higher the dimension of the actual data, there are redundant features of the interference, and high-dimensional feature, the issue of inadequate data. Therefore, this paper analyzes a variety of BP neural network processing of data, and to get the following results. (1) BP neural network can better separation characteristics of a single simulation data; but (2) the characteristics of similar large data sets, separation is difficult to judge; (3) normal data is not sufficient or not representative, so the normal data class learning is not sufficient, leading to abnormal can not judge. To solve the above problem, this paper proposes the following improvements: (1) BP algorithm before feature reduction (map) benefit from anomaly detection features selected (2) integration of multiple neural networks, different neural network to recognize the different characteristics of each each other, the final fusion result.
所谓密度是基于任意一点和P点距离小于给定半径R的邻域空间内的数据点的个数计算得到的。一般的对密度的定义是点到其量近邻的平均距离，平均距离小则密度小。基于密度的异常点检测，就是探测局部密度，通过不同的密度估计策略来检测异常点。代表性算法主要有以下几种。
基于距离方法最早是由Knorr和Ng在1998年提出的。他们用DB(p,d)来表示数据集中的异常点，采用不同的参数 与 ， 可以表示所有的异常点。与此定义相应的算法有三种，它们是基于索引(Index-based)的算法，嵌套循环(Nest-Loop，NL)算法，基于单元或划分(cell-based)的算法等。基于索引的方法依赖多维索引结构(R-trees,X -trees,KD -tress等)的性能。随着维数的增加，所有的索引结构的性能迅速下降，使得算法性能不佳。NL算法可以避免构建索引结构，减少了算法的 次数。以上两方法的算法时间复杂度为 ，当遇到大量数据集时它们还有待改进。基于单元的方法是把数据集划分为单元，逐个单元的检测，而非逐个对象的检测。它的时间复杂度为 ，其中 取决于单元的个数和维数 。Knorr和Ng通过试验证明，当 时此算法优于NL算法。
1.2
1.2.1基于统计学的异常点检测算法
早期的异常点检测算法大多数是基于统计学实现的，通常可以分为基于分布的检测算法和基于深度的检测算法两类。前者一般通过先构造一个标准概率分布来拟合数据集，然后根据概率分布来确定异常点，例如Rosner提出的单样本多个异常检测算法ESD算法，和Yamnishi等使用混合高斯模型的异常点检测算法。此类算法估计多维分布的概率模型的难度较大，且准确性低。基于深度方法主要以计算几何为基础，通过计算不同层的K-D凸包将外层的对象判定为异常点。但当数据集较大，此类方法在维数上的伸缩性不好。
Key Words：Outliers-Data，BP，Algorithms，Neural Networks
1引言
1.1背景
异常点（离群点或者孤立点）检测是数据挖掘中一个重要方面，Hawkins[1]最早给出了异常点的本质定义：异常点是数据集中与众不同地数据，以至于使人怀疑这些数据并非随机偏差，而是产生与完全不同的机制。异常点可能由于度量或执行错误产生，也可能是由于固有数据可变性的结果。例如，一个公司首席执行官的工资自然远远高于公司其他雇员的工资，成为一个异常点。许多数据挖掘算法试图减少异常点的对挖掘结果的影响，或者在挖掘过程中排除异常点。然而异常点可能隐藏着重要的信息，也许比一般的数据更有价值。因此人们开始逐渐研究异常点挖掘算法。目前异常点检测已经开始用于信用卡欺诈、网络入侵检测以及金融申请和交易欺诈等领域[2]，近年来异常点检测已成为数据挖掘研究中的一个热点问题。
(1)Brito等提出相互k近邻图(Mutual k—Nearest Neighbor，简称MkNN)算法，其主要思想是对每个连通子图进行检测，如果包含多个结点就组成一个簇，如果仅有一个结点，那么该结点就是异常点。该算法针对数据点的分布对各种特殊形状都有效，但算法执行效率不高。
(2)Ville Hautamaki等提出两种基于密度的异常点检测算法，第一种算法思路为在kNN图中，若顶点u成为其它点的k近邻的次数少于给定阈值T时就被认为是异常点，另一种算法则是先对所有顶点的平均k近邻距离进行排序，然后将平均k近邻距离大于T点顶点视为异常点。
与基于统计的方法相比，它有以下几个优点:则可找出数据集中的异常点。
(1)在理论上可以处理任意维任意类型的数据，这就克服了基于统计方法仅能检测单个属性的缺点。
(2)不必对数据集的相关信息(数据服从哪种统计分布模型，数据类型特点等)足够了解。实际上在给出了距离的度量，并对数据进行预处理后。
1.2.3基于密度的算法
相对前两者，基于单元的算法无论是在数据量还是在维数增加时，性能都是最好的。此算法需要将数据空间分隔成彼此独立的单元结构，经过多次选择来判断离群数据。对于参数的每个变化都需要调整单元结构，因此会影响了算法的结果。后来，Rastogi和Ramaswamy提出了一个新的基于距离的异常点定义，即基于距离的第 最近邻(k-th Nearest Neighbor)异常点挖掘方法。给定 维空间中包含 个点的数据集 、参数 和 (自然数), 表示点 和它的第 最近邻的距离。如果满足 的点q不超过n-1个，即 ，那么称 为 异常点。如果对数据对象根据它们的 距离进行排序，那么前n个点就被看作异常点。他们用聚类算法首先对数据预的因素要小一些。但它也有自身缺陷，就是要计算数据集中所有点的 ，这显然影响到算法的效率。对低维空间的数据此方法优于索引算法和NL算法，但对于高维数据此算法性能不高。
传统数据挖掘主要有以下几类：基于统计的方法，基于距离的方法，基于偏移方法，基于聚类方法，基于密度方法。本文从特征与异常检测的关系出发进行研究。BP神经网络适用于储存和描述这种复杂的关系。但是异常检测过程，通常数据的位数较高，在高维特征存在冗余特征干扰，以及高维特征下数据不充分的问题，因此，本文研究了BP神经网络应用于不同情况。
1.2.2基于距离的异常点检测算法
基于距离的异常点检测算法的基本思想是把数据点看作空间中的点，异常点被定义为与大多数数据距离较远的点。通常这类异常被描述为 。当且仅当数据集 中至少有 个数据点与 点的距离大于 时，数据对象 点称为异常点。这类方法与基于密度的检测算法有很大的相似之处，不需要事先知道数据集的分布模型，对于任意分布模型均有效。
基于统计的异常点检测方法易于理解，实现方便，但此方法检测出来的异常点很可能被不同的分布模型检测出来，解释异常点意义时经常发生多义性。其次，此方法在很大程度上依赖于待挖掘的数据集是否满足某种概率分布模型、模型的参数、异常点的数目等对基于统计的方法都有非常重要的意义，而确定这些参数通常比较困难；另外，此方法大多适合于挖掘单变量的数值型数据，然而许多数据挖掘问题要求在多维空间中发现异常点，目前几乎没有多元的不一致检验，当没有特定的检验时，或观察到的分布不能恰当地用任何标准的分布建模时，此类方法不能确保所有的异常点被发现。
Bay和Sc hwabacher在沿用Rastogi和Ramaswamy对于异常定义的基础上，提出了一种基于随机抽样的检测方法，它通过随机抽样的方法，减少了寻找k近邻的范围，在试验数据上获得了几乎线性的计算复杂度。
随着人们对基于距离的方法的不断研究，一些新的、较好的算法也不断的涌现。代表性的算法有:陆声链等提出一个判断异常点的新定义，并设计基于抽样近似检测算法。使得算法性能有所提高;另外，徐雪松等利用聚类算法与第k个最近邻的原理提出了基于距离的再聚类的异常点算法，它克服一些基于距离算法的缺点，并取得较好的试验结果。
关键字：异常，BP，异常点检测，神经网络
注：本设计（论文）题目来源于教师的国家级（或部级、省级、厅级、市级、校级、企业）科研项目，项目编号为：。
Abstract
Outlier data is the data set different data. This part of the small amount of data, but for our daily production and life of great. Therefore, the anomaly detection is widely used in network intrusion detection, finance, insurance, weather, and new drug development and other fields. Relative to the large number of normal data mining, the anomaly detection model is called data mining small. BP algorithm is a commonly used data mining algorithm. But the BP algorithm to real data outliers exist in the data mining process: the higher the dimension of the actual data, there are redundant features of the interference, and high-dimensional feature, the issue of inadequate data. Therefore, this paper analyzes a variety of BP neural network processing of data, and to get the following results. (1) BP neural network can better separation characteristics of a single simulation data; but (2) the characteristics of similar large data sets, separation is difficult to judge; (3) normal data is not sufficient or not representative, so the normal data class learning is not sufficient, leading to abnormal can not judge. To solve the above problem, this paper proposes the following improvements: (1) BP algorithm before feature reduction (map) benefit from anomaly detection features selected (2) integration of multiple neural networks, different neural network to recognize the different characteristics of each each other, the final fusion result.