第21卷第2期V ol 121N o 12 三明高等专科学校学报JOURNA L OF S ANMI NG C O LLEGE
2004年6月
Jun 12004
收稿日期:2004204226
作者简介:陈秀琼(1969-),女,福建尤溪人,三明高等专科学校计算机科学系讲师。
基于贝叶斯网络的数据挖掘技术
陈秀琼
(三明高等专科学校计算机科学系,福建三明 365004)
摘 要:从海量数据中挖掘有用的信息为高层的决策支持和分析预测服务,已成为网络时代人们对信息系统提出的新的需求,但我们发现数据处理和数据的提炼技术是匮乏的。起源于贝叶斯统计学的贝叶斯网络以其独特的不确定性知识表达形式、丰富的概率表达能力、综合先验知识的增量学习方法等特性表示了客体的概率分布和因果联系,成为当前数据挖掘众多方法中最为引人注目的焦点之一。本文首先对贝叶斯网络、贝叶斯网络推理和贝叶斯网络学习进行综合性的阐述,然后讨论其在数据挖掘中的应用和优势。
关键词:贝叶斯网络;贝叶斯推理;贝叶斯学习;数据挖掘
中图分类号:O211 文献标识码:A 文章编号:1671-1343(2004)02-0047-06
随着计算机网络和存储技术的迅猛发展,数据传播和积累的速度不断提高,我们迫切需要强有力的数据挖掘工具从海量数据中挖掘有用的信息,为高层的决策支持和分析预测服务。起源于贝叶斯统计学的贝叶斯网络以其独特的不确定性知识表达形式、丰富的概率表达能力、综合先验知识的增量学习方法等特性表示了客体的概率分布和因果联系,利用其模型进行数据挖掘能从数据库中挖掘出多层、多点的因果概念联系,推理出客观世界客体间存在的普遍联系,因此成为当前数据挖掘众多方法中最引人注目的焦点之一[1]。
1 贝叶斯网络
图1 贝叶斯网络结构示例
贝叶斯网络(Bayesian netw ork ),又叫概率因果网络、信任网络、知识图等,是一种有向无环图[2]。一个贝叶斯网络由两个部分构成:
(1)具有k 个节点的有向无环图G (如图1)。图中的节点代表随机变量,节点间的有向边代表了节点间的相互关联关系。节点变量可以是任何问题的抽象,如测试值、观测现象、意见征询等。通常认为有向边表达了一种因果关系,故贝叶斯网络有时叫做因果网络(causal netw ork )。重要的是,有向图蕴涵了条件独立性假设,贝叶斯网络规
定图中的每个节点V i 条件独立于由V i 的父节点给定的非V i 后代节点构成的任何节点子
集,即如果用A (V i )表示非V i 后代节点构成的任何节点子集,用∏(V i )表示V i 的直接双
亲节点,则
p (V i |A (V i ),∏(V i ))=p (V i |∏(V i ))
(1)(2)一个与每个节点相关的条件概率表(C onditional Probabilities T able ,CPT )P 。条件概率表可以用p (V i |∏(V i ))来描述,它表达了节点同其父节点的相关关系———条件概率。没
有任何父节点的节点概率为其先验概率。可以按照一个条件概率链来表达一个联合概率,其一般形式为
p (V 1,V 2,...,V k )=∏n
i =1P (V i |V i -1...V 1)
(2)
由图G 和概率表P 构成的网络,称贝叶斯网络。它通过有向图的形式来表示随机变量间的因果关系,并通过条件概率将这种关系数量化,可以包含随机变量集的联合概率分布,是一种将因果知识和概率知识相结合的信息表示框架。
2 贝叶斯网络的推理
贝叶斯网络的推理是指从先验概率入手,按贝叶斯规则沿网络弧线层层演进而计算出我们感兴趣的结点子集的条件概率分布的过程。
从理论上讲,给定一个随机变量集合的完全联合概率函数,就能计算出所有的边缘概率和更低阶的联合概率。但是当有一个很大的随机变量集合时,指定所有的联合概率或更低阶联合概率的任务就难于处理了(N P -hard 问题)。但在贝叶斯网络中有很多条件独立性,将条件独立性应用于链接规则式(2),便可得
P (V 1,V 2...,V k )=∏n
i =1P (V i |∏(V i ))
(3)
用式(3)表达图1中变量的联合概率,可得
p (V 1,V 2,...,V 6)=∏6i =1P (V i |∏(V i ))
=p (V 6|V 5)p (V 5|V 2,V 3)p (V 4|V 2)p (V 3|V 1)p (V 2|V 1)p (V 1)
可见,贝叶斯网络表示的变量间条件独立性使得我们只需对每一个结点V i 计算P (V i |∏(V i ),而不是计算概率空间的所有2n 个概率,这使变量的联合概率求解大大简化。当k 值增
大时,需要指定的概率减少将更为显著,这种减少使得难于处理的问题变得容易处理。
虽然独立性简化了概率推理,但对于多连接网络,其概率推理依然是个NP -hard 问题。第一个被提出来的用于多连接网络概率更新的精确算法的是Pearl 的信息传递方法[3],但该算法仅限于树型网络和单连通网络。目前,对该算法已经改善并发展了许多的算法,用来把树型传播方法扩展到更一般的多连通网络。其中常见的有Shachter 的节点排除法、Lauritzen 和S piegelhalter 的小范围树传播方法以及环切断条件方法。
小范围树传播方法又叫做联合树方法,是上述最常见的三种方法之一,其工作原理如下:开始是一个有向网络表示,然后该网络被转变成无向图,同时保持了所有最初的依赖关系,之后无向图被三角化以形成局部节点簇(Clique ),这一结构是树型的。观测得到的证据通过保证簇的交集的边缘概率的一致来从一个簇传到另一个簇,而不用考虑哪个簇是需要计算的。最后,当传播过程平静下来,变量的后验概率通过把所在簇的概率分布投射到这个变量上计算出来。
该算法的复杂性与网络中某些三角化的最大簇的大小成指数关系。幸运的是这些算法的复杂性都可以在实际处理前被估计出来。如果估计到耗时超出合理的界限,我们就必须用近似的方法来进行更新。主要的近似方法有:随机方法———根据大数定理用平均值近似大量随
机变量;抽样方法———从隐藏变量的分布P (x )中抽取随机样本X ,然后通过它们的似然度P (y |x )来给样本加权。此外,还有多圈信任网络、参数近似方法等。这些方法都采取一定的方式在运行时间和推理精度上寻求一个折衷,可在较短的时间内得到一个满足精度要求的结果。
3 贝叶斯网络学习
根据用户的先验知识构造的贝叶斯网络称为先验贝叶斯网络,把先验贝叶斯网络和数据相结合而得到的贝叶斯网络称为后验贝叶斯网络,由先验的贝叶斯网络得到后验的贝叶斯网络的过程称为贝叶斯网络学习。贝叶斯网络能够持续学习,上次学习得到的后验贝叶斯网络可变成下一次学习的先验贝叶斯网络。每一次学习前用户都可以对先验贝叶斯网络进行调整,使得新的贝叶斯网络更能体现数据中蕴涵的知识,如图2。
图2 贝叶斯网络持续学习图
基于贝叶斯网络的学习包括参数学习和结构学习两个内容,同时根据样本数据的不同性质每一部分均包括实例数据完备、实例数据不完备两个方面。参数学习方法主要是基于经典
统计学的学习和基于贝叶斯统计学的学习条件概率表(CPT )。结构学习方法主要是基于贝叶斯统计测度方法和基于编码理论测度方法。以下介绍基于结构的学习。
在贝叶斯网络中,首先定义一个随机变量S h ,表示数据库D 是来自网络结构S 的随机样本假设,并赋予先验概率分布p (S h )表示网络结构的不确定性,然后计算后验概率分布P (S h |D )。根据Bayesian 定理有 P (S h |D )=P (S h ,D )/P (D )
=P (S h )P (D|S h )/P (D )
(4)其中:P (D )是一个与结构学习无关的正规化常数,P (D|Sh )是结构似然。于是确定网络结构的后验分布只需要为每一个可能的结构计算数据的结构似然。
在无约束多项分布、参数独立、采用Dirichlet 先验和数据完整的前提下,数据的结构似然正好等于每一个(i ,j )对的结构似然的乘积,即
P (D|S h
)=∏n
i =1∏q
i
j =1г(αij )г(αij +N ij )∏r
i k =1Г(αijk +N ijk )
Г(αijk )
(5)该公式由C ooper 和Herskovits 于1992年首次给出[4]。
在一般情况下,n 个变量的可能的网络结构数目大于以n 为指数的函数[5],逐一排除这些假设是很困难的。可以使用两个方法来处理这个问题:“模型选择”和“有选择的模型平均”。前者是从所有可能的模型(结构假设)中选择一个“好的”模型,并把它当作正确的模型;后者是从所有可能的模型中选择合理数目的“好”模型,并认为这些模型代表了所有情况。
4 案例研究
下面是一个使用贝叶斯网络进行数据采掘和知识发现的应用实例(Sewell 和Shah [6])。数据来自华盛顿高级中学的10318名高年级学生。每个学生用下列变量及其相应的状态来描述:
性别(SEX ):男、女;
社会经济状态(SES ):低、中下、中上、高;
智商(I Q):低、中下、中上、高;
家长的鼓励(PE):低、高;
升学计划(CP):是、否。
目标是从数据中发现影响高中学生上大学意向的因素。数据已经整理成表1所示的格式。表1中每个数据表示对于5个变量的某种取值组合统计所得到的人数。例如,第一个数据表示对(SEX=男,SES=低,I Q=低,PE=低,CP=是)这种组合统计得到的人数为4,第二个数据则表示对(SEX=男,SES=低,I Q=低,PE=低,CP=否)这种组合统计得到的人数为349。其后的数据表示依次轮换每个变量可能的状态统计得到的人数。变量依照从右到左的顺序轮换,状态则按照上面列出的各变量状态顺序轮换。
表1 各种状况人数统计表(人)
434913649207337212126385410674943 2232278472016495121159392177911959 81664791612074110179214810064219873 4483957547132909412246581741454 5454944531214478216203513962824 112852961192364788121646285151137250 716336721319375901217491100208114277 650365857011076124823081134936098
先假定没有隐藏变量,使用容量为5的等值样本和p(x|S h)服从均匀分布的先验网络。排除掉SEX和SES有父节点、CP有子节点的网络结构之后,假定其它所有网络结构都是等可能的。因为数据集是完整的,可以用式(4)和式(5)计算网络结构的后验概率。通过对所有网络结构的穷举搜索,发现一个最可能的网络结构,如图3(a)。图3(b)的网络曾由S pirtes等用非Bayesian方法于1993年选出[7]。
图3 没有隐藏变量的后验最可能的网络结构
从图3(a)我们发现:社会经济状况(SES)对智商(I Q)有直接的影响。为了考证这个结果,考虑一个新的模型,即将图3(a)模型中社会经济状况(SES)对智商(I Q)的直接影响用一个指
向SES 和I Q 的隐藏变量(H )代替。此外还考虑这样的模型,隐藏变量指向SES ,I Q 和PE ,而且在SES —PE 和PE —I Q 两个连接中分别去掉2个、1个和0个,对每个结构将隐藏变量的状态数从2变到6。
使用Laplace 逼近的Cheesem an -Stutz 变体[7]计算这些模型的后验概率。为了找最大后验构成Hs ,使用E M 算法,并在带有不同的随机初始化的Hs 的100次运行中取最大的局部极大值,这些模型中带有最大后验概率的图,如图4。这个模型的可能性比不含有隐藏变量的最好模型高2×1010倍。假定没有忽略合理的模型,那么有强烈的证据表明:有一个隐藏变量在
影响着SES (社会经济状态)和I Q (智商)。分析图4可知,隐藏变量对应于“家长的素质”[8]
。
5 贝叶斯网络在数据挖掘中的优势
图4 带有隐藏变量的后验
最可能的网络结构
贝叶斯网络表示了世界中客体的条件概率与因果联系,其所蕴涵的不确定性知识规则已成为不精确推理的主要工具。由于数据挖掘本身具有很强的统计色彩,且贝叶斯网络又起源于贝叶斯统计学,因此贝叶斯网络与数据挖掘相结合也是顺理成章的。从前面的论述,我们也看到利用贝叶斯网络不仅能够处理现实应用中的大量的
复杂的数据,而且能够利用它的推理和自学习能力从数据库中挖掘出多层、多点的和隐含的因果概念联系,反映出客观世界客体间存在的普遍联系,这是传统的数据挖掘方法所不具备的。与传
统的数据采掘的方法相比,贝叶斯网络有如下优
点:5.1 贝叶斯网络能够处理不完整数据和噪声数据
贝叶斯网络描述了变量之间的因果联系,这种联系的确信度是以概率的形式表达的。概率化使得贝叶斯网络的学习允许样本的不完整性及噪声数据的存在,这在样本信息难以得到或者获得样本信息代价高昂时是特别有用的,使用其他模型难以处理。5.2 贝叶斯网络有成熟的近似算法
虽然任意Bayesian 网络的概率推断是N P 难题,但是很多问题加上一些限制后计算就可以简化,有近似解法。5.3 贝叶斯网络能挖掘出知识的隐含性
用贝叶斯网络进行数据挖掘实质上是从数据库中获得一个网络结构或者在结构已知的前提下,寻找变量的条件概率表,通过对贝叶斯网络的推理和解释,可以获得隐藏的但我们感兴趣的知识、概念和决策信息。这种推理是非常灵活的。5.4 贝叶斯网络具有良好的可理解性和逻辑性
贝叶斯网络自然地将先验知识与概率推理相结合,从而贴近现实问题,有助于人们对纷繁复杂的问题提出解决方案,优化决策思维。5.5 贝叶斯网络能够有效地避免对数据的过度拟合5.6 贝叶斯网络具有良好的预测能力
由于贝叶斯网络结合了先验知识,并用图模型的形式描述数据间的相互关系,能够有效地进行多因素定性与定量因果分析(因果预测)。
当然,贝叶斯网络应用于数据挖掘还有一些需要进一步研究的问题,如先验密度的确定虽然已经有一些方法,但对具体问题,要合理确定许多变量的先验概率仍然是一个比较困难的问题;贝叶斯网络需要多种假设为前提,如何判定某个实际问题是否满足这些假设,没有现成的规则,这给实际应用也带来困难。尽管如此,我们仍可预见,在数据采掘和知识发现中,尤其在具有概率统计特征的数据采掘中,贝叶斯网络将成为一个有力的工具。
参考文献:
[1]史忠植.高级人工智能[M].北京:科学出版社,1998.
[2]Charniak E.Bayesian Netw ork s without T ears[J].AI Magazine,1991,12(4):50-63.
[3]Pearl J.G raphical M odels for Probabilistic and Causal Reas oning[M].The C om puter Science and Engineering Hand2
book.K luwer Academic Publishers,1997:697-714.
[4]C ooper G,Herskovits E.A Bayesian method for the induction of probabilistic netw orks from data[J].Machine Learn2
ing,1992(9):309-347.
[5]Sewell W,Shah V.S ocial class,parental encouragement and educational asp irations[J].American Journal of S oci2
ology,1968,73:559-572.
[6]S pirtes P,G lym our C,Scheines R.Causation,Predication and Search[M].New Y ork:S pringer-Verlag,1993.
[7]Cheeseman P,S tutz J.Bayesian classification(AutoClass):Theory and results[M].C A:AAA I Press,1995.
[8]林士敏,田凤占,陆玉昌.贝叶斯网络的建造及其在数据采掘中的应用[J].清华大学学报(自然科学版),
2001,41(1):49-52.
[责任编辑:叶 普]
A Data-minning T echnology
B ased on B ayesian N etw ork
CHE N X iu2qiong
(Department o f Computer Science,Sanming College,Sanming365004,China) Abstract:We found that it has been a new requirement for in formation system to mine useful in formation which is servered for making hight policy and forecast in internet ages.H owever,the tool to mining useful in formation is scarce. Bayesian netw ork,which stemed from Bayesian statistics,could conveny object’s probability and causality with its unique form to express uncertain knowledge and its strong ablitity to conveny probability and its synthetical prior knowledge to in2 creasing learning,and which has been a focus com pared with other approaches used for in data minning.This paper discusses the Bayesian netw ork and its superiority in data minning.
K ey w ords:Bayesian Netw ork;Bayesian reas oning;Bayesian learning;data minning
MATLAB软件中包含MATLAB神经网络工具箱，工具箱以人工神经网络为基础，只要根据自己需要调用相关函数，就可以完成网络设计、权值初始化、网络训练等，MATLAB神经网络工具箱包括的网络有感知器、线性网络、BP神经网络、径向基网络、自组织网络和回归网络，BP神经网络工具箱主要包括newff，sim和train三个神经网络函数各函数的解释如下：1 newff：：：：BP神经网络参数设置函数神经网络参数设置函数神经网络参数设置函数神经网络参数设置函数 函数功能：构建一个BP神经网络。 函数形式：net = newff(P,T,S,TF,BTF,BLF,PF,IPF,OPF,DDF) P：输入数据矩阵 T：输出数据矩阵 S：隐含层节点数 TF：节点传递函数，包括硬限幅传递函数hardlim，对称硬限幅传递函数hardlims，线性传递函数purelin，正切S型传递函数tansig，对数S型传递函数logsig BTF：训练函数，包括梯度下降BP算法训练函数traingd，动量反传的梯度下降BP算法训练函数traingdm，动态自适应学习率的梯度下降BP算法训练函数traingda，动量反传和动态自适应学习率的梯度下降BP算法训练函数traingdx，Levenberg_Marquardt 的BP算法训练函数trainlm BLF：网络学习函数，包括BP学习规则learngd，带动量项的BP学习规则learngdm PF：性能分析函数，包括均值绝对误差性能分析函数mae，均方差性能分析函数mse IPF：输入处理函数 OPF：输出处理函数 DDF：验证数据划分函数 一般在使用过程中设置前六个参数，后四个参数采用系统默认参数。 2 train：：：：BP神经网络训练函数神经网络训练函数神经网络训练函数神经网络训练函数函数功能：用训练数据训练BP神经网络。 函数形式：[net,tr] = train(NET,X,T,Pi,Ai) NET：待训练网络 X：输入数据矩阵 T：输出数据矩阵 Pi：初始化输入层条件 Ai：初始化输出层条件 net：训练好的网络 tr：训练过程记录 一般在使用过程中设置前三个参数，后两个参数采用系统默认参数。 3 sim：：：：BP神经网络预测函数神经网络预测函数神经网络预测函数神经网络预测函数 函数功能：用训练好的BP神经网络预测函数输出 函数形式：y=sim(net,x) net：训练好的网络 x：输入数据 y：网络预测数据 只要我们能够熟练掌握上述三个函数，就可以完整的编写一个BP神经网络预测或者分类的程序。
如何使用贝叶斯网络工具箱 2004-1-7版 翻译：By 斑斑（QQ：23920620） 联系方式：banban23920620@https://www.doczj.com/doc/1a337610.html, 安装 安装Matlab源码 安装C源码 有用的Matlab提示 创建你的第一个贝叶斯网络 手工创建一个模型 从一个文件加载一个模型 使用GUI创建一个模型 推断 处理边缘分布 处理联合分布 虚拟证据 最或然率解释 条件概率分布 列表（多项式）节点 Noisy-or节点 其它（噪音）确定性节点 Softmax（多项式 分对数）节点 神经网络节点 根节点 高斯节点 广义线性模型节点 分类 / 回归树节点 其它连续分布 CPD类型摘要 模型举例 高斯混合模型 PCA、ICA等 专家系统的混合 专家系统的分等级混合 QMR 条件高斯模型 其它混合模型
参数学习 从一个文件里加载数据 从完整的数据中进行最大似然参数估计 先验参数 从完整的数据中（连续）更新贝叶斯参数 数据缺失情况下的最大似然参数估计（EM算法） 参数类型 结构学习 穷举搜索 K2算法 爬山算法 MCMC 主动学习 结构上的EM算法 肉眼观察学习好的图形结构 基于约束的方法 推断函数 联合树 消元法 全局推断方法 快速打分 置信传播 采样（蒙特卡洛法） 推断函数摘要 影响图 / 制定决策 DBNs、HMMs、Kalman滤波器等等
安装 安装Matlab代码 1.下载FullBNT.zip文件。 2.解压文件。 3.编辑"FullBNT/BNT/add_BNT_to_path.m"让它包含正确的工作路径。 4.BNT_HOME = 'FullBNT的工作路径'; 5.打开Matlab。 6.运行BNT需要Matlab版本在V5.2以上。 7.转到BNT的文件夹例如在windows下，键入 8.>> cd C:\kpmurphy\matlab\FullBNT\BNT 9.键入"add_BNT_to_path"，执行这个命令。添加路径。添加所有的文件夹在Matlab的路 径下。 10.键入"test_BNT"，看看运行是否正常，这时可能产生一些数字和一些警告信息。（你可 以忽视它）但是没有错误信息。 11.仍有问题？你是否编辑了文件？仔细检查上面的步骤。
数据挖掘整理（熊熊整理-----献给梦中的天涯） 单选题 1．下面哪种分类方法是属于神经网络学习算法？（） A. 判定树归纳 B. 贝叶斯分类 C. 后向传播分类 D. 基于案例的推理 2．置信度(confidence)是衡量兴趣度度量（ A ）的指标。 A、简洁性 B、确定性 C.、实用性 D、新颖性 3．用户有一种感兴趣的模式并且希望在数据集中找到相似的模式，属于数据挖掘哪一类任务？(A) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 4．数据归约的目的是（） A、填补数据种的空缺值 B、集成多个数据源的数据 C、得到数据集的压缩表示 D、规范化数据 5．下面哪种数据预处理技术可以用来平滑数据，消除数据噪声？ A.数据清理 B.数据集成 C.数据变换 D.数据归约 6．假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？(B) A 第一个 B 第二个 C 第三个 D 第四个 7．下面的数据操作中，（）操作不是多维数据模型上的OLAP操作。 A、上卷(roll-up) B、选择(select) C、切片(slice) D、转轴(pivot) 8．关于OLAP和OLTP的区别描述,不正确的是: (C) A. OLAP主要是关于如何理解聚集的大量不同的数据.它与OTAP应用程序不同. B. 与OLAP应用程序不同,OLTP应用程序包含大量相对简单的事务. C. OLAP的特点在于事务量大,但事务内容比较简单且重复率高. D. OLAP是以数据仓库为基础的,但其最终数据来源与OLTP一样均来自底层的数据库系统,两者面对的用户是相同的 9．下列哪个描述是正确的？（） A、分类和聚类都是有指导的学习 B、分类和聚类都是无指导的学习
神经网络工具箱的使用 本章主要介绍神经网络工具箱的使用,使用nntool可以使得原本用编程来创建神经网络变得容易，而且不容易出错。 1 神经网络的创建与训练 神经网络的创建主要分为以下四步： 1)在命令窗口键入nntool命令打开神经网络工具箱。如图1： 图 1 2)点击Import按钮两次，分别把输入向量和目标输出加入到对应的窗口（[Inputs]和[Targets]）中，有两种可供选择的加入对象（点击Import后可以看见），一种是把当前工作区中的某个矩阵加入，另一种是通过.mat文件读入。如图2和图3：
图 2 图 3 3)点击[New Network]按钮，填入各参数：（以最常用的带一个隐层的3层神经网络为例说明，下面没有列出的参数表示使用默认值就可以了，例如Network Type为默认的BP神经网络）；
i)Input Range——这个通过点击Get From Input下拉框选择你加入的输入向量便可自动完成，当然也可以自己手动添加。 ii) Training Function——最好使用TRAINSCG，即共轭梯度法，其好处是当训练不收敛时，它会自动停止训练，而且耗时较其他算法（TRAINLM，TRAINGD）少，也就是收敛很快（如果收敛的话），而且Train Parameters输入不多，也不用太多的技巧调整，一般指定迭代次数、结果显示频率和目标误差就可以了（详见下文）。 iii) Layer 1 Number of Neurons——隐层的神经元个数，这是需要经验慢慢尝试并调整的，大致上由输入向量的维数、样本的数量和输出层（Layer2）的神经元个数决定。一般来说，神经元越多，输出的数值与目标值越接近，但所花费的训练时间也越长，反之，神经元越少，输出值与目标值相差越大，但训练时间会相应地减少，这是由于神经元越多其算法越复杂造成的，所以需要自己慢慢尝试，找到一个合适的中间点。比如输入是3行5000列的0-9的随机整数矩阵，在一开始选择1000个神经元，虽然精度比较高，但是花费的训练时间较长，而且这样神经网络的结构与算法都非常复杂，不容易在实际应用中实现，尝试改为100个，再调整为50个，如果发现在50个以下时精度较差，则可最后定为50个神经元，等等。 iv)Layer 1 Transfer Function——一般用TANSIG（当然也可以LOGSIG），即表示隐层输出是[-1,1]之间的实数，与LOGSIG相比范围更大。 v) Layer 2 Number of Neurons——输出层的神经元个数，需要与输出的矩阵行数对应，比如设置为3，等等。 vi) Layer 2 Transfer Function——如果是模式识别的两类（或者多类）问题，一般用LOGSIG，即表示输出层的输出是[0,1]之间的实数；如果输出超过[0,1]则可选择PURELIN。如图4和图5。
实验四决策树 一、实验目的 1.了解典型决策树算法 2.熟悉决策树算法的思路与步骤 3.掌握运用Matlab对数据集做决策树分析的方法 二、实验内容 1.运用Matlab对数据集做决策树分析 三、实验步骤 1.写出对决策树算法的理解 决策树方法是数据挖掘的重要方法之一，它是利用树形结构的特性来对数据进行分类的一种方法。决策树学习从一组无规则、无次序的事例中推理出有用的分类规则，是一种实例为基础的归纳学习算法。决策树首先利用训练数据集合生成一个测试函数，根据不同的权值建立树的分支，即叶子结点，在每个叶子节点下又建立层次结点和分支，如此重利生成决策树，然后对决策树进行剪树处理，最后把决策树转换成规则。决策树的最大优点是直观，以树状图的形式表现预测结果，而且这个结果可以进行解释。决策树主要用于聚类和分类方面的应用。 决策树是一树状结构，它的每一个叶子节点对应着一个分类，非叶子节点对应着在某个属性上的划分，根据样本在该属性上的不同取值将其划分成若干个子集。构造决策树的核心问题是在每一步如何选择适当的属性对样本进行拆分。对一个分类问题，从已知类标记的训练样本中学习并构造出决策树是一个自上而下分而治之的过程。 2.启动Matlab，运用Matlab对数据集进行决策树分析，写出算法名称、数据集名称、关键代码，记录实验过程，实验结果，并分析实验结果 (1)算法名称: ID3算法 ID3算法是最经典的决策树分类算法。ID3算法基于信息熵来选择最佳的测试属性，它选择当前样本集中具有最大信息增益值的属性作为测试属性；样本集的划分则依据测试属性的取值进行，测试属性有多少个不同的取值就将样本集划分为多少个子样本集，同时决策树上相应于该样本集的节点长出新的叶子节点。ID3算法根据信息论的理论，采用划分后样本集的不确定性作为衡量划分好坏的标准，用信息增益值度量不确定性：信息增益值越大，不确定性越小。因此，ID3算法在每个非叶节点选择信息增益最大的属性作为测试属性，这样可以得到当前情况下最纯的划分，从而得到较小的决策树。 ID3算法的具体流程如下： 1）对当前样本集合，计算所有属性的信息增益； 2）选择信息增益最大的属性作为测试属性，把测试属性取值相同的样本划为同一个子样本集； 3）若子样本集的类别属性只含有单个属性，则分支为叶子节点，判断其属性值并标上相应的符号，然后返回调用处；否则对子样本集递归调用本算法。 (2)数据集名称：鸢尾花卉Iris数据集 选择了部分数据集来区分Iris Setosa（山鸢尾）及Iris Versicolour（杂色鸢尾）两个种类。
1. 打开MATLAB，在命令行输入nntool，将出现如下界面： 图1 神经网络工具箱主界面 其中最主要的分为6个部分：第1部分中显示的是系统的输入数据；第2部分是系统的期望输出；第3部分是网络的计算输出；第4部分是网络的误差，即2 和3之间的差异；第5部分呈现的是已经建立的神经网络实例；第6部分的两个按钮分别负责数据的导入和网络模型的建立。 2. 点击“Import”按钮，分别导入输入数据与目标输出数据（数据可从工作区导入，也可从文件导入）： 图2 导入输入数据集
图3 导入期望输出数据集 导入数据后主界面的情况如下： 图4 导入数据后的情况 重要说明：神经网络的数据是以列为基本单位的，即输入与输出数据的列数必须相同，否则将报错！如果原先数据是以行为单位组织的话，可以先在MATLAB 中实现转置然后再导入，即B = A’。
3.现在需要的数据已经有了，下一步就是建立一个神经网络模型对数据集进行学习。以下步骤以BP网络为例，首先点击“New”按钮，出现如下界面： 几个重要部分已在上图中框出：1处用于定义该神经网络的名称；2处用于选择神经网络的类型；3处用于选择网络的输入数据；4处用于确定网络的期望输出数据；5、6、7处分别对神经网络的主要机制函数进行设置；8处设置网络层数；9处用于选择各网络层（需要说明的是：第1层指的是隐含层而不是输入层），从而在10和11处可以对该层的神经元个数和传递函数进行设置；12处按钮可以用于查看当前所设置的神经网络的结构图（下附图）；点击13处按钮即可生成对应的神经网络模型。前面只是简单地介绍了各个部分的作用，具体参数应该如何设置就只有各位自行去学习相关的文献了，此处不再多言。
matlab贝叶斯网络工具箱使用 2010-12-18 02:16:44| 分类：默认分类| 标签：bnet 节点叶斯matlab cpd |字号大中小订阅 生成上面的简单贝叶斯网络，需要设定以下几个指标：节点，有向边和CPT表。 给定节点序，则只需给定无向边，节点序自然给出方向。 以下是matlab命令： N = 4; %给出节点数 dag = false(N,N); %初始化邻接矩阵为全假，表示无边图C = 1; S = 2; R = 3; W = 4; %给出节点序 dag(C,[R,S])=true; %给出有向边C-R，C-S dag([R,S],W)=true; %给出有向边R-W，S-W discrete_nodes = 1:N; %给各节点标号 node_sizes = 2*ones(1,N); %设定每个节点只有两个值 bnet = mk_bnet(dag, node_sizes); %定义贝叶斯网络bnet %bnet结构定义之后，接下来需要设定其参数。 bnet.CPD{C} = tabular_CPD(bnet, C, [0.5 0.5]); bnet.CPD{R} = tabular_CPD(bnet, R, [0.8 0.2 0.2 0.8]); bnet.CPD{S} = tabular_CPD(bnet, S, [0.5 0.9 0.5 0.1]); bnet.CPD{W} = tabular_CPD(bnet, W, [1 0.1 0.1 0.01 0 0.9 0.9 0.99]); 至此完成了手工输入一个简单的贝叶斯网络的全过程。 要画结构图的话可以输入如下命令： G=bnet.dag; draw_graph(G); 得到：
数据挖掘常用的方法 在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪 声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知 识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统 计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正 确的决策。目前，在很多领域尤其是在商业领域如银行、电信、电商等，数据挖掘可 以解决很多问题，包括市场营销策略制定、背景分析、企业管理危机等。大数据的挖 掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。 (1)分类。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。 可以应用到涉及到应用分类、趋势预测中，如淘宝商铺将用户在一段时间内的购买情 况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。 (2)回归分析。回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的 研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的 回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。 (3)聚类。聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的 相似性很小，跨类的数据关联性很低。 (4)关联规则。关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段：第一阶 段为从海量原始数据中找出所有的高频项目组;第二极端为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求，各 银行在自己的ATM 机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信息来改善自身的营销。 (5)神经网络方法。神经网络作为一种先进的人工智能技术，因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、不完整、不严密的知 识或数据为特征的处理问题，它的这一特点十分适合解决数据挖掘的问题。典型的神 经网络模型主要分为三大类：第一类是以用于分类预测和模式识别的前馈式神经网络 模型，其主要代表为函数型网络、感知机;第二类是用于联想记忆和优化算法的反馈式神经网络模型，以Hopfield 的离散模型和连续模型为代表。第三类是用于聚类的自组
3.1 贝叶斯网络构建算法 算法3.1：构建完全连接图算法 输入：样本数据D ；一组n 个变量V={V l ，V 2，…，V n }变量。 输出：一个完全连接图S 算法： 1、 连接任意两个节点，即连接边 L ij=1，i ≠j 。 2、 为任一节点V i 邻接点集合赋值，B i= V\{V i }。 算法3.2：构建最小无向图算法 输入：样本数据D ；一组n 个变量V={V l ，V 2，…，V n }变量。及算法3.1中得到的邻接点集B i ，连接边集 L ij 先验知识：节点V i ,V j 间连接边是否存在 变量说明：L 为连接边，|L|=n(n –1)/2为连接边的数量，B i 表示变量V i 的直接邻近集，|B i |表示与变量B i 相邻的变量数。(V i ⊥V j |Z)表示V i 和V j 在Z 条件下条件独立，设∧(X ，Y)表示变量X 和Y 的最小d-分离集。 输出：最小无向图S 1、根据先验知识，如果V i 和V j 不相连接，则L ij =0 . 2、对任一相连接边，即L ij ≠0，根据式（3-12）计算互信息I （V i ,V j ） ),(Y X I =))()(|),((y p x P y x p D =????? ?)()(),(log ),(Y p X p Y X p E y x P (3-12) if I （V i ,V j ）ε≤ then { L ij =0 //V i 和V j 不相连接 B i= V\{V j }, B j= V\{V i } //调整V i 和V j 邻接集 } else I ij = I （V i ,V j ） //节点V i 和V j 互信息值 3、对所有连接边，并按I ij 升序排序 4、如果连接边集L ij 不为空，那么按序选取连接边L ij ,否则 goto 10 if |B i |≥ |B j |，令Z= B i else Z= B j //为后面叙述方便，这里先假设|B i |≥ |B j | 5、逐一计算L ij 的一阶条件互信息I(V i ,V j |Z 1)，Z 1={Y k }, Y k ∈Z, if I(V i ,V j |Z 1)ε≤ then { L ij =0 //V i 和V j 关于Z 1条件独立 B i= V\{V j }, B j= V\{V i } //调整V i 和V j 邻接集 d ij = Z 1 //L ij 最小d 分离集为Z 1 goto 4
Matlab的神经网络工具箱实用指南 文章摘要:第一章是神经网络的基本介绍，第二章包括了由工具箱指定的有关网络结构和符号的基本材料以及建立神经网络的一些基本函数，例如new、init、adapt和train。第三章以反向传播网络为例讲解了反向传播网络的原理和应用的基本过程。 第一章介绍 1．神经网络 神经网络是单个并行处理元素的集合，我们从生物学神经系统得到启发。在自然界，网络功能主要由神经节决定，我们可以通过改变连接点的权重来训练神经网络完成特定的功能。 一般的神经网络都是可调节的，或者说可训练的，这样一个特定的输入便可得到要求的输出。如下图所示。这里，网络根据输出和目标的比较而调整，直到网络输出和目标匹配。作为典型，许多输入/目标对应的方法已被用在有监督模式中来训练神经网络。 神经网络已经在各个领域中应用，以实现各种复杂的功能。这些领域包括：模式识别、鉴定、分类、语音、翻译和控制系统。 如今神经网络能够用来解决常规计算机和人难以解决的问题。我们主要通过这个工具箱来建立示范的神经网络系统，并应用到工程、金融和其他实际项目中去。 一般普遍使用有监督训练方法，但是也能够通过无监督的训练方法或者直接设计得到其他的神经网络。无监督网络可以被应用在数据组的辨别上。一些线形网络和Hopfield网络是直接设计的。总的来说，有各种各样的设计和学习方法来增强用户的选择。 神经网络领域已经有50年的历史了，但是实际的应用却是在最近15年里，如今神经网络仍快速发展着。因此，它显然不同与控制系统和最优化系统领域，它们的术语、数学理论和设计过程都已牢固的建立和应用了好多年。我们没有把神经网络工具箱仅看作一个能正常运行的建好的处理轮廓。我们宁愿希望它能成为一个有用的工业、教育和研究工具，一个能够帮助用户找到什么能够做什么不能做的工具，一个能够帮助发展和拓宽神经网络领域的工具。因为这个领域和它的材料是如此新，这个工具箱将给我们解释处理过程，讲述怎样运用它们，并且举例说明它们的成功和失败。我们相信要成功和满意的使用这个工具箱，对范例
数据挖掘分类算法比较 分类是数据挖掘、机器学习和模式识别中一个重要的研究领域。通过对当前数据挖掘中具有代表性的优秀分类算法进行分析和比较，总结出了各种算法的特性，为使用者选择算法或研究者改进算法提供了依据。 一、决策树（Decision Trees） 决策树的优点： 1、决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。 2、对于决策树，数据的准备往往是简单或者是不必要的.其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。 3、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。 4、决策树是一个白盒模型。如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。 5、易于通过静态测试来对模型进行评测。表示有可能测量该模型的可信度。 6、在相对短的时间内能够对大型数据源做出可行且效果良好的结果。 7、可以对有许多属性的数据集构造决策树。 8、决策树可很好地扩展到大型数据库中，同时它的大小独立于数据库的大小。 决策树的缺点： 1、对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征。 2、决策树处理缺失数据时的困难。 3、过度拟合问题的出现。 4、忽略数据集中属性之间的相关性。 二、人工神经网络 人工神经网络的优点：分类的准确度高,并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系，具备联想记忆的功能等。 人工神经网络的缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。
如何用MA TLAB的神经网络工具箱实现三层BP网络？ % 读入训练数据和测试数据 Input = []; Output = []; str = {'Test','Check'}; Data = textread([str{1},'.txt']); % 读训练数据 Input = Data(:,1:end-1); % 取数据表的前五列（主从成分） Output = Data(:,end); % 取数据表的最后一列（输出值） Data = textread([str{2},'.txt']); % 读测试数据 CheckIn = Data(:,1:end-1); % 取数据表的前五列（主从成分） CheckOut = Data(:,end); % 取数据表的最后一列（输出值） Input = Input'; Output = Output'; CheckIn = CheckIn'; CheckOut = CheckOut'; % 矩阵赚置 [Input,minp,maxp,Output,mint,maxt] = premnmx(Input,Output); % 标准化数据 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%% % 神经网络参数设置 %====可以修正处 Para.Goal = 0.0001; % 网络训练目标误差 Para.Epochs = 800; % 网络训练代数 Para.LearnRate = 0.1; % 网络学习速率 %==== Para.Show = 5; % 网络训练显示间隔 Para.InRange = repmat([-1 1],size(Input,1),1); % 网络的输入变量区间 Para.Neurons = [size(Input,1)*2+1 1]; % 网络后两层神经元配置
贝叶斯网络 2007-12-27 15:13 贝叶斯网络 贝叶斯网络亦称信念网络(Belief Network)，于1985 年由Judea Pearl 首先提出。它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。它的节点用随机变量或命题来标识，认为有直接关系的命题或变量则用弧来连接。例如，假设结点E 直接影响到结点H，即E→H，则建立结点E 到结点H 的有向弧(E,H)，权值(即连接强度)用条件概率P(H/E)来表示，如图所示： 一般来说，有 n 个命题 x1,x2,,xn 之间相互关系的一般知识可用联合概率分布来描述。但是，这样处理使得问题过于复杂。Pearl 认为人类在推理过程中，知识并不是以联合概率分布形表现的，而是以变量之间的相关性和条件相关性表现的，即可以用条件概率表示。如 例如，对如图所示的 6 个节点的贝叶斯网络，有 一旦命题之间的相关性由有向弧表示，条件概率由弧的权值来表示，则命题之间静态结构关系的有关知识就表示出来了。当获取某个新的证据事实时，要对每个命题的可能取值加以综合考查，进而对每个结点定义一个信任度，记作 Bel(x)。可规定 Bel(x) = P(x=xi / D) 来表示当前所具有的所有事实和证据 D 条件下，命题 x 取值为 xi 的可信任程度，然后再基于 Bel 计算的证据和事实下各命题
的可信任程度。 团队作战目标选择 在 Robocode 中，特别在团队作战中。战场上同时存在很多机器人，在你附近的机器人有可能是队友，也有可能是敌人。如何从这些复杂的信息中选择目标机器人，是团队作战的一大问题，当然我们可以人工做一些简单的判断，但是战场的信息是变化的，人工假定的条件并不是都能成立，所以让机器人能自我选择，自我推理出最优目标才是可行之首。而贝叶斯网络在处理概率问题上面有很大的优势。首先，贝叶斯网络在联合概率方面有一个紧凑的表示法，这样比较容易根据一些事例搜索到可能的目标。另一方面，目标选择很容易通过贝叶斯网络建立起模型，而这种模型能依据每个输入变量直接影响到目标选择。 贝叶斯网络是一个具有概率分布的有向弧段（DAG）。它是由节点和有向弧段组成的。节点代表事件或变量，弧段代表节点之间的因果关系或概率关系，而弧段是有向的，不构成回路。下图所示为一个简单的贝叶斯网络模型。它有 5 个节 点和 5 个弧段组成。图中没有输入的 A1 节 点称为根节点，一段弧的起始节点称为其末节点的母节点，而后者称为前者的子节点。 简单的贝叶斯网络模型 贝叶斯网络能够利用简明的图形方式定性地表示事件之间复杂的因果关系或概率关系，在给定某些先验信息后，还可以定量地表示这些关系。网络的拓扑结构通常是根据具体的研究对象和问题来确定的。目前贝叶斯网络的研究热点之一就是如何通过学习自动确定和优化网络的拓扑结构。 变量 由上面贝叶斯网络模型要想得到理想的目标机器人，我们就必须知道需要哪些输入变量。如果想得到最好的结果，就要求我们在 Robocode 中每一个可知的数据块都要模拟为变量。但是如果这样做，在贝叶斯网络结束计算时，我们会得到一个很庞大的完整概率表，而维护如此庞大的概率表将会花费我们很多的系统资源和计算时间。所以在开始之前我们必须要选择最重要的变量输入。这样从比赛中得到的关于敌人的一些有用信息有可能不会出现在贝叶斯网络之内，比如速
神经网络工具箱 版本6.0.4（R2010a版本）25-JAN-2010 图形用户界面的功能。 nctool - 神经网络分类的工具。 nftool - 神经网络拟合工具。 nprtool - 神经网络模式识别工具。 nntool - 神经网络工具箱的图形用户界面。 nntraintool - 神经网络训练工具。 视图- 查看一个神经网络。 分析功能。 混乱- 分类混淆矩阵。 errsurf - 单输入神经元的误差表面。 maxlinlr - 最大的学习率的线性层。 鹏- 受试者工作特征。 距离函数。 boxdist - 箱距离函数。 DIST - 欧氏距离权重函数。 mandist - 曼哈顿距离权重函数。 linkdist - 链路距离函数。 格式化数据。 combvec - 创建载体的所有组合。 con2seq - 转换并行向量连续载体。 同意- 创建并发偏载体。 dividevec - 创建载体的所有组合。 ind2vec - 转换指数为载体。 最小最大- 矩阵行范围。 nncopy - 复印基质或细胞阵列。 normc - 规格化矩阵的列。 normr - 规格化行的矩阵的。 pnormc - 矩阵的伪规格化列。 定量- 值离散化作为数量的倍数。 seq2con - 转换顺序向量并发载体。 vec2ind - 将矢量转换成指数。 初始化网络功能。 initlay - 层- 层网络初始化函数。 初始化层功能。
initnw - 阮层的Widrow初始化函数。 initwb - 从重量和- 偏置层初始化函数。 初始化的重量和偏见的功能。 initcon - 良心的偏见初始化函数。 initzero - 零重量/偏置初始化函数。 initsompc - 初始化SOM的权重与主要成分。 中点- 中点重初始化函数。 randnc - 归一列重初始化函数。 randnr - 归行重初始化函数。 兰特- 对称随机重量/偏置初始化函数。 学习功能。 learncon - 良心的偏见学习功能。 learngd - 梯度下降重量/偏置学习功能。 learngdm - 梯度下降W /气势重量/偏置学习功能。 learnh - 赫布重学习功能。 learnhd - 赫布衰变重学习功能。 learnis - 重量龄学习功能。 learnk - Kohonen的重量学习功能。 learnlv1 - LVQ1重学习功能。 learnlv2 - LVQ2重学习功能。 learnos - Outstar重学习功能。 learnsomb - 批自组织映射权重学习功能。 learnp - 感知重量/偏置学习功能。 learnpn - 归感知重量/偏置学习功能。 learnsom - 自组织映射权重学习功能。 learnwh - 的Widrow - 霍夫重量/偏置学习规则。 在线搜索功能。 srchbac - 回溯搜索。 srchbre - 布伦特的结合黄金分割/二次插值。 srchcha - Charalambous“三次插值。 srchgol - 黄金分割。 srchhyb - 混合二分/立方搜索。 净输入功能。 netprod - 产品净输入功能。 netsum - 求和净输入功能。 网络创造的功能。 网络- 创建一个自定义的神经网络。 NEWC - 创建一个有竞争力的层。 newcf - 创建级联转发传播网络。
贝叶斯网络 提纲： 最近工作： B-COURSE工具学习 BNT研究与学习 BNT相关实验及结果 手动建立贝叶斯网及简单推理 参数学习 结构学习 下一步工作安排 最近工作： 1． B-COURSE 工具学习 B-COURSE是一个供教育者和研究者免费使用的web贝叶斯网络工具。主要分为依赖关系建模和分类器模型设计。输入自己的研究数据，就可以利用该工具在线建立模型，并依据建立好的模型进行简单推理。 B-COURSE要求数据格式是ASCII txt格式的离散数据，其中第一行是各种数据属性变量，其余各行则是采集的样本，属性变量值可以是字符串也可以是数据，属性变量之间用制表符分割，缺失属性变量值用空格代替。读入数据后，在进行结构学习前，可以手动的选择需
要考虑的数据属性！生成过程中，可以手动确定模型，确定好模型后，可以选择JAVA playgroud，看到一个java applet程序，可以手动输入相应证据，从而进行简单推理。 B-COURSE的详细使用介绍，可详见 [url]http://b-course.cs.helsinki.fi/obc/[/url]。 B-COURSE工具隐藏了数据处理，算法实现等技术难点，所以对初学者来说，容易上手。但是却不能够针对不同的应用进行自主编程，缺乏灵活性。 2．贝叶斯网工具箱BNT的研究与学习 基于matlab的贝叶斯网络工具箱BNT是kevin p.murphy基于matlab语言开发的关于贝叶斯网络学习的开源软件包，提供了许多贝叶斯网络学习的底层基础函数库，支持多种类型的节点（概率分布）、精确推理和近似推理、参数学习及结构学习、静态模型和动态模型。 贝叶斯网络表示：BNT中使用矩阵方式表示贝叶斯网络，即若节点i到j有一条弧，则对应矩阵中（i，j）值为1，否则为0。 结构学习算法函数：BNT中提供了较为丰富的结构学习函数，都有： 1. 学习树扩展贝叶斯网络结构的TANC算法learn_struct_tan(). 2. 数据完整条件下学习一般贝叶斯网络结构的K2算法 learn_struct_k2()、贪婪搜索GS（greedy search）算法
Biomedical dataset(生物医学数据集) 数据摘要： It is the old 1982 "biomedical dataset" generated by Larry Cox. It consists of two groups. These give observation number, blood id number,age, date, and four blood measurements. 中文关键词： 数据挖掘,生物医学,携带者,统计图, 英文关键词： Data mining,Biomedical,Carriers,Statistical Graphics, 数据格式： TEXT 数据用途： The following data arose in a study to develop screening methods to identify carriers of a rare genetic disorder and to describe its effectiveness. 数据详细介绍：
Biomedical dataset ?Abstract This is a set of biomedical data containing 209 observations (134 for "normals" and 75 for "carriers"). The following data arose in a study to develop screening methods to identify carriers of a rare genetic disorder. Four measurements m1, m2, m3, m4 were made on blood samples. One of these, m1, has been used before. Because the disease is rare, there are only a few carriers of the disease from whom data are available. The data come in two files, one for normals and one for carriers of the disease. A description of the files is provided. The data have been stripped of the names and other identifiers. Otherwise the data are as received by the analyst. The purpose of the analysis is to develop a screening procedure to detect carriers and to describe its effectiveness. Experts in the field have noted that young people tend to have higher measurements. The laboratory which prepared the measurements is worried that there may be a systematic drift over time in their measurement process. These effects should be considered in the analysis. Can graphical displays show the differences between the distributions of carriers and normals? ?Data Description Column Content 1 Observation number (sequence number per patient). Note that there are several samples per patient for some patients. 2-8 Blank 9-12 Hospital identification number for blood sample 13-18 Blank 19-20 Age of patient 21-26 Blank 27-32 Date that blood sample was taken (mmddyy)
全面解析数据挖掘的分类及各种分析方法 1.数据挖掘能做以下六种不同事情（分析方法）： ?分类（Classification） ?估值（Estimation） ?预言（Prediction） ?相关性分组或关联规则（Affinitygroupingorassociationrules） ?聚集（Clustering） ?描述和可视化（DescriptionandVisualization） ?复杂数据类型挖掘(Text,Web,图形图像，视频，音频等) 2.数据挖掘分类 以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘?直接数据挖掘 目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述。 ?间接数据挖掘 目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系。 ?分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘 3.各种分析方法的简介 ?分类（Classification） 首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。 例子： a.信用卡申请者，分类为低、中、高风险 b.分配客户到预先定义的客户分片 注意：类的个数是确定的，预先定义好的 ?估值（Estimation） 估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类的类别是确定数目的，估值的量是不确定的。 例子： a.根据购买模式，估计一个家庭的孩子个数 b.根据购买模式，估计一个家庭的收入 c.估计realestate的价值
《数据挖掘分类实验报告》 信息安全科学与工程学院 1120362066 尹雪蓉数据挖掘分类过程 （1）数据分析介绍 本次实验为典型的分类实验，为了便于说明问题，弄清数据挖掘具体流程，我们小组选择了最经典的决策树算法进行具体挖掘实验。 （2）数据准备与预处理 在进行数据挖掘之前，我们首先要对需要挖掘的样本数据进行预处理，预处理包括以下步骤： 1、数据准备，格式统一。将样本转化为等维的数据特征（特征提取），让所有的样 本具有相同数量的特征，同时兼顾特征的全面性和独立性 2、选择与类别相关的特征（特征选择） 3、建立数据训练集和测试集 4、对数据集进行数据清理 在本次实验中，我们选择了ILPD (Indian Liver Patient Dataset) 这个数据集，该数据集已经具有等维的数据特征，主要包括Age、Gender、TB、DB、Alkphos、Sgpt、Sgot、TP、ALB、A/G、classical，一共11个维度的数据特征，其中与分类类别相关的特征为classical，它的类别有1,2两个值。 详见下表： 本实验的主要思路是将该数据集分成训练集和测试集，对训练集进行训练生成模型，然后再根据模型对测试集进行预测。 数据集处理实验详细过程：
●CSV数据源处理 由于下载的原始数据集文件Indian Liver Patient Dataset (ILPD).csv（见下图）中间并不包含属性项，这不利于之后分类的实验操作，所以要对该文件进行处理，使用Notepad文件，手动将属性行添加到文件首行即可。 ●平台数据集格式转换 在后面数据挖掘的实验过程中，我们需要借助开源数据挖掘平台工具软件weka，该平台使用的数据集格式为arff，因此为了便于实验，在这里我们要对csv文件进行格式转换，转换工具为weka自带工具。转换过程为： 1、打开weka平台，点击”Simple CLI“，进入weka命令行界面，如下图所示： 2、输入命令将csv文件导成arff文件，如下图所示: 3、得到arff文件如下图所示： 内容如下：