数据挖掘技术的研究现状及发展方向
陈娜1.2
（1.北京交通大学计算机学院，北京100044；2.石家庄铁路运输学校，河北石家庄050021）
第
!"
电脑与信息技术卷
（
!
）可视化技术
［
"
］
通过直观的图形方式将
信息数据、关联关系以及发展趋势呈现给决策者，
使用最多的方法是直方图、数据立方体、散点图。
其中数据立方体可以通过
#$%&
操作将更多用户
关心的信息反映给用户。
（
’
）遗传算法
［
(
］
是一种模拟生物进化过程
的算法，最早由
)*++,-.
于
/0
世纪
(0
年代提出。
它是基于群体的、具有随机和定向搜索特征的迭
代过程，包括
! 种典型的算子：遗传、交叉、变异和
自然选择。遗传算法作用于一个由问题的多个潜
在解（个体）组成的群体上，并且群体中的每个个体都由一个编码表示，同时个体均需依据问题的
目标函数而被赋予一个适应值。另外，为了应用遗传算法，还需要把数据挖掘任务表达为一种搜索
的问题，以便发挥遗传算法的优势搜索能力。同时可以用遗传算法中的交叉、变异完成数据挖掘中
用于异常数据的处理。
（
"）统计学方法
［
1
］
在数据库字段项之间存
在着两种关系：函数关系（能用函数公式表示的确定性关系）和相关关系（不能用函数公式表示，但仍是相关确定关系）。对它们的分析采用如下方
法：回归分析、相关分析、主成分分析。主要用于数据挖据的聚类方法中。
（
(）模糊集（23445 678）方法利用模糊集理
论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。模糊性是客观存在的。系统的复杂性越高，精确化能力就越低，即模糊性就越强，这是
9,.7: 总结出的互克性原理。
/ 数据挖掘的算法
（
;）关联规则中的算法
%<=>*=>算法是一种最具有影响力的挖掘布
尔关联规则频繁项集的算法，该算法是一种称为
主层搜索的迭代方法，它分为两个步骤：
,?通过多趟扫描数据库求解出频繁;@项集的
集合
$
;
；
A?不断的寻找到/@项集$
/
…
-@项集$
-
，最后
利用频繁项集生成规则。
随后的许多算法都沿用
%<=>*=>中“频繁项集
的子集必为频繁项集”的思想，在频繁项集
$
B@;
上
进行
C*>- 运算构成潜在B 项集D
B
。由于数据库和
D
B
的规模较大，需要相当大的计算量才能生成频
繁项集。
一旦由数据库
E
中的事物找出频繁项集，由
它们产生强关联规则是直截了当的（强关联规则满足最小支持度和最小置信度）。对于置信度，可以用下式，其中条件概率用项集支持度计数表示。F*-G>.7-F7
（
%HIJ
）
H&
（
%KJ
）
H
63<<*=8LF*3-（8%!J）
63<<*=8LF*3-（8%）
其中，
63<<*=8LF*3-（8%!J）是包含项集%!J
的事务数，
63<<*=8LF*3-8
（
%
）是包含项集
%
的事务
数，关联规则可以表示如下：
·对于每个频繁项集
+，产生+ 的所有非空子
集。
·对于
+ 的每个非空子集6，如果
63<<*=8LF*3-8
（
%!J
）
63<<*=8LF*3-（8%）
"M>-LF*-G，则输出“6HI（+@
6）”，其中M>-LF*-G 是最小置信度阈值。
由于规则由频繁项集产生，每个规则都自动
满足最小支持度。频繁项集连同它们的支持度预
先存放在列表中，使得他们可以快速地被访问。
（
/）分类规则中的算法
决策树是一种常用于分类、预测模型的算法，
它通过将大量数据有目的的分类，从而找到一些
有价值的、潜在的信息。它的主要优点是描述简单，分类速度快，特别适合大规模的数据处理。最有影响和最早的决策树方法是由
N3>-+,- 提出的
著名的基于信息熵的
OEP 算法。它的主要问题是：
OEP 是非递增学习算法；OEP 决策树是单变量决策树，复杂概念的表达困难；同性间的相互关系强调不够；抗噪性差。针对上述问题，出现了许多较好的改进算法，如
QF:+>MM7= 和2>6:7= 设计了OE!
递增式学习算法；钟鸣，陈文伟等提出了
OJ$R 算
法等。图
/ 是顾客是否购买计算机的判定树。
沿着由根节点到树叶节点的路径，图
/ 的判
定树可以转化为
O2LS)RT 分类规则。其规则如
图
/
概念
A356LF*M<387=
的判定树
D=7.>8L=,8>-U？
T*V76
RWF7++7-82,>+
Q83.7-8
T*V76
T*V76
%U7
XHP0I!0
P;???!0
V76
·
"#
·!
期
（
!""
：
!#$%&’()’ "*+,$-’./ *# "01020+’
），可自
动或方便的进行模式提取。这些模式是指从大型
数据库或数据仓库中提取人们感兴趣的知识，当
然这些知识是隐含的、事先未知的、潜在有用的信息，提取的知识一般可表示为概念、规则、规律、模式等形式。数据挖掘是一个多学科领域，从多个学科汲取营养，涉及到数据库技术、人工智能、机器学习、神经网络、模式识别、归纳推理、统计学、数据库、数据可视化、信息检索、高性能计算等多个领域。从
3454
年
5
月在美国底特律召开的第
33
届国际人工智能会议上首先出现
!""
这个术语，
到
3446
年在加拿大蒙特利尔召开的首届
!"" 7
"010 8*#*#) 国际学术会议，再到以后每年都要召
开一次的
!"" 7 "010 8*#*#) 国际学术会议，经
过十多年的努力，数据挖掘技术的研究已经取得
了丰硕的成果，不少软件公司已研制出数据挖掘
软件产品，并在北美、欧洲等国家得到应用。例如，
9:8 公司;).0%0&等人最早取得了关联规则
挖掘有关的两项专利
［
3
］
。将数据挖掘技术中的关
联规则应用在实际工程中，获得了很好的效果。同时互联网挖掘技术也应用在网络搜索和电子商务中，并显现出卓越的效果。在我国，数据挖掘技术的研究也引起了学术界的高度重视，已成为信息
科学界的热点课题。数据挖掘研究具有广泛的应
用前景，因为数据挖掘产生的知识可以用于决策
支持、信息管理、科学研究等许多领域。
3 数据挖掘的分类
数据挖掘技术的分类标准有根据发现知识
的种类分类、根据挖掘的数据库种类分类、根据
采用的技术分类等几种分类方法
［
<］
。
根据发现知识的种类分类：
·根据数据挖掘的功能可分为特征规则挖
掘、区分规则挖掘、关联规则挖掘、分类聚类挖掘、孤立点分析、趋势分析、演变分析、偏差分析、模式分析、类似性分析等。
·按照所挖掘的知识的粒度或抽象层进行区
分，包括概化知识、原始知识或多层知识的数据挖掘。
根据挖掘的数据库分类：
·按数据库类型可分为关系型、事务型、面向
对象型、对象关系型、主动型、异构型。
·根据所处理的数据的特殊类型可分为时间
型、空间型、文本型、多媒体、数据库和遗留系统等。
根据数据挖掘采用的技术分类主要有如下几
种：
（
3
）决策树方法
［
<=>
］
用树形结构表示决策集
合，利用信息论中的互信息（信息增益）寻找数据库中具有最大信息量的字段建立决策树的一个结点，再根据字段的不同取值建立树的分支；在每个
分支子集中重复建立树的下层结点和分支，即可
建立决策树。国际上最有影响和最早的决策树算
法是
?@*@&0# 研制的9">方法，数据库越大它的
效果越好。此后又发展了各种决策树方法，如9">
的改进算法
ABC6 和A6，这两种算法从数据丢失
和数据连续性等方面对
9">算法进行了改进。
（
<）人工神经网络方法
［
B］
它从结构上模仿
生物神经网络，是一种通过训练来学习的非线性
预测模型，可以完成分类、聚类、特征挖掘等多种数据挖掘任务。这种方法是以
8D 模型和E’22
学习规则为基础，用神经网络连接的权值表示知识，其学习方法表现在神经网络的权值修改上。神经网络方法主要应用于数据挖据的聚类技术中。
（
>）粗集（F$@)G H’1）方法
［
6］
在数据库中，
将行元素看成对象，列元素看成属性（分为条件属性和决策属性），等价关系
F 定义为不同对象在
某个（或几个）属性上取值相同，这些满足等价关系的对象组成的集合称为该等价关系
F 的等价
类。条件属性上的等价类
I 与决策属性上的等价
类
J 之间有>种情况：下近似，J 包含I；上近似，
J 和I 的交非空；无关，J 和I 的交为空。对下近似建立确定性规则，对上近似建立不确定性规则（含可信度），对无关情况不存在规则。
图
3
典型的数据挖掘系统结构
知
识
库
图形用户界面
模式评估
数据挖掘引擎
数据库或数据仓库服务器
数据库数据库
陈娜：数据挖掘技术的研究现状及发展方向·
BK
·摘要：数据挖掘技术是当前数据库和人工智能领域研究的热点。文章对国内外数据挖掘技术的总体情况进行了概括性的介绍，其中包括数据挖掘技术的产生背景、应用领域等，并对当
前数据挖掘的分类以及数据挖掘技术中常用的一些挖掘算法进行了说明，最后列出了一些数据挖掘在实际领域中的应用，并对数据挖掘技术的前景作出了展望。
关键词：数据挖掘；聚类；关联规则；分类规则
中图分类号：
’(!)
；
’(*!!#!*
文献标识码：
+
!"# $%#&#’( &)(*+(),’ +’- .*(*%# -)%#/(),’ ,. ("#
-+(+ 0)’)’1 (#/"’,2,13 %#&#+%/"
,-./ /0
!，"
（
!# 123445 46 ,4789:;< 0=> ?=64<70:@4= ’;23=454AB，C;@D@=A E@04:4=A F=@G; 45&(%+/(6’3; >0:0 7@=@=A :;23=454AB @H :3; 34: H84: :48@2 46 29<<;=: >0:0L0H; 0=> :3; 0<:@6@2@05 @=:;55@A;=2; >470@= <;H;0<23# ’3@H 0<:@25; 20<<@;> 4= :3; H977092:@4= 0224<>@=A :4 :3; ;M20G0:@4= :;23=454AB >47;H:@2 0=> 64<;@A= 4G;<055 <;H;0<23 H@:90:@4=N @=259>@=A :3; 8<4>92;> L02OA<49=> 46 :3; >0:0 7@=@=A :;23=454ABN :3; 0885@20:@4= >470@=N :3; 250HH@6@20:@4= 0=> :3; 70@= 7@=@=A :;23=454ABP +6:; 7@=@=A >470@= 250HH@6@20:@4=N 0H K;55 0H @= >0:0 7@=@=A :;23=454AB 24774=5B 9H;> H47; 7@=@=A 05A4<@:37H# Q@=055BN 8<484H;> H47; >0:0 7@=@=A @= :3; 02:905 >470@= 0885@20:@4=N 0=> :3; 54A0<@:37 >@> :3; 64<;20H: 0224<>@=A :4 :3; ;M20G0:@4= :;23=454AB 8<4H8;2:# 7#3 8,%-&6>0:0 7@=@=A；259H:;<；0HH42@0:@4= <95;；250HH@6@20:@4= <95; 收稿日期： "$$&R!!R$S 作者简介：陈娜（ !TS)R），女，河北石家庄人，在读研究生，研究方向：数据挖掘，信息监理。$ 引言 随着信息技术的高速发展，数据库应用的规 模、范围和深度已经从点（单台机器）发展到面（网 络），甚至到 ?=:;<=;: 全球信息系统，使得无论是 商业、企业、科研机构或是政府部门，在过去若干 年的时间里都积累了海量的、不同形式存储的数 据资料。这些资料十分繁杂，仅仅依靠数据库的查 询检索机制和统计学方法已经远远不能满足现实 的需要，因此它迫切要求自动地和智能地将待处 理的数据转化为有用的信息和知识，从而达到为 决策服务的目的。在这种情况下，一个新的技 术———数据挖掘技术应运而生。数据挖掘正是为 了迎合这种需要而产生并迅速发展起来的、用于 开发信息资源的、一种新的数据处理技术。 数据挖掘通常又称数据库中的知识发现第 ! 期 下： !" #$% & “ ’&() ” *+, -./0%1. & “ 12 ” 345+ 6/7-892:;/.%<& “ 12 ” !" #$% & “ ’&() ” *+, -./0%1. & “ 7%- ” 345+ 6/7-892:;/.%<& “ 7%- ” !" #$%& ” (= … >) 345+ 6/7-892:;/.%<& “ 7%- ” !" #$% & “ ?>) ” *+, 9<%0@.8<#.@1$ & “ %A9%BB%1. ” 345+ 6/7-892:;/.%<& “ 12 ” !" #$%& “ ?>) ” *+, 9<%0@.8<#.@1$& “ C#@B ” 345+ 6/7-892:;/.%<& “ 7%- ” D>EF（!,( 算法的后继版本）使训练样本估计 每个规则的准确率。由于这将导致对规则的准确率的乐观估计，因此 D>EF 使用一种悲观估计来补 偿偏差。作为选择，也可以使用一组独立于训练样 本的测试样本来评估准确性。 ( 数据挖掘的应用和发展趋势 数据挖掘技术旨在发现大量数据中所隐藏的 知识，以用来解决“数据丰富、知识贫乏”的问题。近年来随着数据库和网络技术的广泛应用，加上 使用先进的自动数据生成和采集工具，人们所拥 有的数据量急剧增加，为数据挖掘技术的应用创 造了必要的条件。目前国际上数据挖掘技术在科 学研究、金融投资、市场营销、保险、医疗卫生、产品制造业、通信网络管理等行业已得到应用。国内在数据挖掘方面也有成功的应用，如宝钢已应用 数据挖掘系统辅助生产决策，每年能节省近千万 元的资金。现在我国的研究人员正在加紧研制有 关领域的数据挖掘工具，且数据挖掘技术的应用 领域正在不断扩大。 （ =）针对生物医学和,+* 数据分析的数据挖 掘在信息量极为庞大的生物技术领域中，由于 所获得的大量实验和观测数据仅靠传统的数据分 析工具已难以对付，因此对功能强大的智能化自 动分析工具的要求日益迫切，这种需求推动了G,, 技术在科学研究领域的应用发展，并已获 得一些重要的应用成果。 （ H）针对金融分析的数据挖掘由于金融投 资的风险很大，因此在进行投资决策时，需要对各种投资方向的有关数据进行分析，以选择最佳的 投资方向。数据挖掘可以通过对已有数据进行处理，并利用学习得到的模式进行市场预测，例如，国内开发的指南针、神光、 IJI 等智能股票分析 系统可对股票行情进行分析预测。目前作者正在 利用数据挖掘技术研制一个智能股票分析系统。 （ (）零售业中的数据挖掘主要用于商品的 市场定位和消费者分析，以辅助制定市场策略；还可以用来分析购物模式，预测销售行情。例如， !KJ 公司开发的LM5N3 和!1.%BB@$%1. J@1%<系统就可以挖掘顾客的购物行为模式。 （ >）保险业中的数据挖掘保险是一种有风 险的业务，保险公司的一项重要工作就是进行风 险评估。通过研究证明，可以利用数据挖掘技术进行风险分析，在保险公司建立的保单及索赔信息 数据库的基础上，寻找保单中风险较大的领域，从 而得出一些实用的控制风险的规则，以指导保险 公司的工作，例如，利用 NO! 公司的J@1%N%. 系统 提供的分类器就可以预测投保人在将来的索赔概 率。 >小结 大量数据的产生和收集导致了信息爆炸，现 代社会的竞争趋势要求对这些数据进行实时的和 深层次的分析。虽然现在有了更强大的存储和检 索系统，但是使用者发现在分析和使用所拥有的 信息方面将变得越来越困难。数据仓库提供了容 纳大量信息的场所，但只有和数据采掘技术的应 用结合起来才能最终解决用户的困惑，使用户能 够从大量繁杂的数据中找出真正有价值的信息和 知识。随着数据采掘和数据仓库集成的进一步深 化，必然会给用户带来更大的利益。 参考文献： ［ =］刘晓东，刘大有E数据挖掘专利综述［P］E电子学报，H))(，=HQ =RSRT=RR(E ［ H］,/1U#: J 4E ,#.# :@1@1$ @1.<20/9.2<7 #10 #0V#19%0 .2;T @9［-J］E北京：清华大学出版社，H))(E ［ (］陆汝钤E人工智能［J］E北京Q科学出版社，=RRWQSH(TS>>E ［ >］X/ 421$ Y/1，N%.@212 I/07，X@/ 4/#1E5CC%9.@V% 0#.# :@1@1$ /-@1$ 1%/<#B 1%.Z2<[［-P］E!555 3<#1-#9.@21- 21 G12ZB%0$% #10 ,#.# 51$@1%%<@1$，=RRW，S（W）QRF\TRW=E ［ F］何新贵E数据挖掘中的模糊技术［P］E计算机科学，=RRS，HF （专刊） Q=HRT=(=E ［ W］O%U<[% P，DU#/0U/<@ N ，K2-Z2<.U *，X#7:#1: *，%. #BE ,#.# 9/6% Q * <%B#.@21#B #$$<%$#.@21 2;%<#.2< $%1%<#B@]@1$ $<2/;T67 ，9<2--T.#6 #10 -/6T.2.#B［-P］E ,#.# J@1@1$ #10 G12ZB%0$% ,@-92V%<7，=RR\，=QHRTF>E ［ \］DU%1 O/2TX@#1$，^#1$ _/T"#%.#BE O%1%.@9 *B$2<@.U: #10 !.- *;;B@9#.@21-EK%@Y@1$Q‘%2;B%’- ‘2-.-#10 3%B%92::/1@T 9#.@21- ‘/6B@-U@1$ 42/-%，=RRW（@1DU@1%-%）E 陈娜：数据挖掘技术的研究现状及发展方向· >R · 数据挖掘 引言 数据挖掘是一门交叉学科，涉及到了机器学习、模式识别、归纳推理、统计学、数据库、高性能计算等多个领域。 所谓的数据挖掘（Data Mining）指的就是从大量的、模糊的、不完全的、随机的数据集合中提取人们感兴趣的知识和信息，提取的对象一般都是人们无法直观的从数据中得出但又有潜在作用的信息。从本质上来说，数据挖掘是在对数据全面了解认识的基础之上进行的一次升华，是对数据的抽象和概括。如果把数据比作矿产资源，那么数据挖掘就是从矿产中提取矿石的过程。与经过数据挖掘之后的数据信息相比，原始的数据信息可以是结构化的，数据库中的数据，也可以是半结构化的，如文本、图像数据。从原始数据中发现知识的方法可以是数学方法也可以是演绎、归纳法。被发现的知识可以用来进行信息管理、查询优化、决策支持等。而数据挖掘是对这一过程的一个综合性应用。 目录 引言 (1) 第一章绪论 (3) 1.1 数据挖掘技术的任务 (3) 1.2 数据挖掘技术的研究现状及发展方向 (3) 第二章数据挖掘理论与相关技术 (5) 2.1数据挖掘的基本流程 (5) 2.2.1 关联规则挖掘 (6) 2.2.2 .Apriori算法：使用候选项集找频繁项集 (7) 2.2.3 .FP-树频集算法 (7) 2.2.4.基于划分的算法 (7) 2.3 聚类分析 (7) 2.3.1 聚类算法的任务 (7) 2.3.3 COBWEB算法 (9) 2.3.4模糊聚类算法 (9) 2.3.5 聚类分析的应用 (10) 第三章数据分析 (11) 第四章结论与心得 (14) 4.1 结果分析 (14) 4.2 问题分析 (14) 4.2.1数据挖掘面临的问题 (14) 4.2.2 实验心得及实验过程中遇到的问题分析 (14) 参考文献 (14) 数据挖掘工具应用及前景 介绍以下数据挖掘工具分别为： 1、 Intelligent Miner 2、 SAS Enterpreise Miner 3、SPSS Clementine 4、马克威分析系统 5、GDM Intelligent Miner 一、综述：IBM的Exterprise Miner简单易用，是理解数据挖掘的好的开始。能处理大数据量的挖掘，功能一般，可能仅满足要求．没有数据探索功能。与其他软件接口差，只能用DB2，连接DB2以外的数据库时，如Oracle, SAS, SPSS需要安装DataJoiner作为中间软件。难以发布。结果美观，但同样不好理解。 二、基本内容：一个挖掘项目可有多个发掘库组成；每个发掘库包含多个对象和函数对象： 数据:由函数使用的输入数据的名称和位置。 离散化:将记录分至明显可识别的组中的分发操作。 名称映射:映射至类别字段名的值的规范。 结果:由函数创建的结果的名称和位置。 分类:在一个项目的不同类别之间的关联层次或点阵。 值映射:映射至其它值的规范。 函数： 发掘:单个发掘函数的参数。 预处理:单个预处理函数的参数。 序列:可以在指定序列中启动的几个函数的规范。 统计:单个统计函数的参数。 统计方法和挖掘算法：单变量曲线，双变量统计，线性回归，因子分析，主变量分析，分类，分群，关联，相似序列，序列模式，预测等。 处理的数据类型：结构化数据(如：数据库表，数据库视图，平面文件) 和半结构化或非结构化数据(如：顾客信件，在线服务，传真，电子邮件，网页等) 。 架构：它采取客户/服务器（C/S）架构，并且它的API提供了C++类和方法 Intelligent Miner通过其独有的世界领先技术，例如自动生成典型数据集、发现关联、发现序列规律、概念性分类和可视化呈现，可以自动实现数据选择、数据转换、数据挖掘和结果呈现这一整套数据挖掘操作。若有必要，对结果数据集还可以重复这一过程，直至得到满意结果为止。 三、现状：现在，IBM的Intelligent Miner已形成系列，它帮助用户从企业数据资产中 识别和提炼有价值的信息。它包括分析软件工具——Intelligent Miner for Data和IBM Intelligent Miner forText ，帮助企业选取以前未知的、有效的、可行的业务知识—— 数据挖掘研究现状及发展趋势摘要：从数据挖掘的定义出发，介绍了数据挖掘的神经网络法、决策树法、遗传算法、粗糙集法、模糊集法和关联规则法等概念及其各自的优缺点；详细总结了国内外数据挖掘的研究现状及研究热点，指出了数据挖掘的发展趋势。 关键词：数据挖掘；挖掘算法；神经网络；决策树；粗糙集；模糊集；研究现状；发展趋势 Abstract：From the definition of data mining，the paper introduced concepts and advantages and disadvantages of neural network algorithm，decision tree algorithm，genetic algorithm，rough set method，fuzzy set method and association rule method of data mining，summarized domestic and international research situation and focus of data mining in details，and pointed out the development trend of data mining. Key words：data mining，algorithm of data mining，neural network，decision tree，rough set，fuzzy set，research situation，development tendency 1引言 随着信息技术的迅猛发展，许多行业如商业、企业、科研机构和政府部门等都积累了海量的、不同形式存储的数据资料[1]。这些海量数据中往往隐含着各种各样有用的信息，仅仅依靠数据库的查询检索机制和统计学方法很难获得这些信息，迫切需要能自动地、智能地将待处理的数据转化为有价值的信息，从而达到为决策服务的目的。在这种情况下，一个新的技术———数据挖掘(Data Mining，DM)技术应运而生[2]。 数据挖掘是一个多学科领域，它融合了数据库技术、人工智能、机器学习、统计学、知识工程、信息检索等最新技术的研究成果，其应用非常广泛。只要是有分析价值的数据库，都可以利用数据挖掘工具来挖掘有用的信息。数据挖掘典型的应用领域包括市场、工业生产、金融、医学、科学研究、工程诊断等。本文主要介绍数据挖掘的主要算法及其各自的优缺点，并对国内外的研究现状及研究热点进行了详细的总结，最后指出其发展趋势及问题所在。 江西理工大学 数据挖掘研究的现状与发展趋势 郑继刚,王边疆 (保山学院数学系,云南保山678000) 影响其空间分布的因素之间的关系;预测型的模 型用来根据给定的一些属性预测某些属性,如分类模 型和回归模型等. 目前,主要在空间数据挖掘的体系结构和挖掘过 程做了大量研究,包括面向对象的空间数据库的数据 挖掘、模糊空间关联规则的挖掘、不确定性挖掘、聚类 挖掘、挖掘空间数据的偏离和演变规则、基于多专题 地图的挖掘、交叉概化、基于时空数据的概化、并行数 据挖掘、统计分析与数据挖掘的协同和遥感影像的挖 掘等,主要采用了基于统计学和概率论、集合论、机器 学习、仿生物学、地球信息学的研究方法. 4.2多媒体数据挖掘 多媒体数据,包括图形、图像、文本、文档、超文 本、声音、视频和音频数据等,数据类型复杂.随着信 息技术的进步,人们所接触的数据形式越来越丰富, 多媒体数据的大量涌现,形成了很多海量的多媒体数 据库[8].这些数据大多是非结构化数据、异构数据, 特征向量通常是数十维甚至数百维,转化为结构数据 和降维成了多媒体数据挖掘的关键技术. 有研究者提出了多媒体数据挖掘的系统原型 ＭＤＭＰ,将多媒体数据的建模表示、存储和检索等多 媒体数据库技术与数据挖掘技术有机地结合在一起, 采用多媒体图像数据的相似性搜索、多维分析、关联 规则挖掘、分类与聚类分析等挖掘方法,广泛地应用 于医学影像诊断分析、卫星图片分析、地下矿藏预测 等各种领域. 4.3时序数据挖掘 时序数据挖掘通过研究信息的时间特性,深入洞 悉事物进化的机制,揭示其内在规律(如波动的周期、 振幅、趋势的种类等),成为获得知识的有效途径.关 键问题是要是寻找一种合适的序列表示方式,基于点 距离和关键点是常用的算法,但都不能完整表示出序 列的动态属性.时序数据挖掘的主要技术有趋势分析 和相似搜索,在宏观的经济预测、市场营销、客流量分 析、太阳黑子数、月降水量、河流流量、股票价格波动 等众多领域得到了应用. 数据挖掘简介 数据挖掘的任务 数据挖掘的任务就是从实例集合中找出容易理解的规则和关系。这些规则可以用于预测未来趋势、评价顾客、评估风险或简单地描述和解释给定的数据。通常数据挖掘的任务包括以下几个部分: 数据总结目的是对数据进行浓缩，给出它的紧凑描述。传统的也是最简单的数据总结方法是计算出数据库的各个字段上的求和值、平均值、方差值等统计值，或者用直方图、饼图等图形方式表示。数据挖掘主要关心从数据泛化的角度来讨论数据总结。数据泛化是一种把数据库中的有关数据从低层次抽象到高层次上的过程。数据泛化目前主要有两种技术:多维数据分析方法和面向属性的归纳方法。 多维数据分析方法是一种数据仓库技术，也称作联机分析处理(OLAP，onLineAnalysisProeess)。数据仓库是面向决策支持的、集成的、稳定的、不同时间的历史数据集合。决策的前提是数据分析。在数据分析中经常要用到诸如求和、总计、平均、最大、最小等汇集操作，这类操作的计算量特别大。因此一种很自然的想法是，把汇集操作结果预先计算并存储起来，以便于决策支持系统使用。存储汇集操作结果的地方称作多维数据库。多维数据分析技术已经在决策支持系统中获得了成功的应用，如著名的SAS数据分析软件包、Businessobject公司的决策支持系统Businessobjeet，以及IBM公司的决策分析工具都使用了多维数据分析技术。 采用多维数据分析方法进行数据总结，它针对的是数据仓库，数据仓库存储的是脱机的历史数据。为了处理联机数据，研究人员提出了一种面向属性的归纳方法。它的思路是，直接对用户感兴趣的数据视图(用一般的SQL查询语言即可获得)进行泛化，而不是像多维数据分析方法那样预先就存储好了泛化数据。方法的提出者对这种数据泛化技术称之为面向属性的归纳方法。原始关系经过泛化操作后得到的是一个泛化关系，它从较高的层次上总结了在低层次上的原始关系。有了泛化关系后，就可以对它进行各种深入的操作而生成满足用户需要的知识，如在泛化关系基础上生成特性规则、判别规则、分类规则，以及关联规则等。数据挖掘的分类 数据挖掘所能发现的知识有如下几种: .广义型知识，反映同类事物共同性质的知识; .特征型知识，反映事物各方面的特征知识; .差异型知识，反映不同事物之间属性差别的知识; .关联型知识，反映事物之间依赖或关联的知识; .预测型知识，根据历史的和当前的数据推测未来数据; .偏离型知识。揭示事物偏离常规的异常现象。 所有这些知识都可以在不同的概念层次上被发现，随着概念树的提升，从微观到中观再到宏观，以满足不同用户、不同层次决策的需要。例如，从一家超市的数据仓库中，可以发现的一条典型关联规则可能是“买面包和黄油的顾客十有八九也买牛奶”，也可能是“买食品的顾客几乎都用信用卡”，这种规则对于商家开发和实施客户化的销售计划和策略是非常有用的。 数据挖掘的方法 数据挖掘并非一个完全自动化的过程。整个过程需要考虑数据的所有因素和其预定的效用，然后应用最佳的数据挖掘方法。数据挖掘的方法很重要。在数据挖掘的领域里.有一点已经被广泛地接受，即不管你选择哪种方法，总存在着某种协定。因此对实际情况，应该具体分析，根据累积的经验和优秀的范例选择最佳的方法。数据挖掘中没有免费的午餐，也没 数据挖掘，这是个听起来既神秘，又具有诱惑性的词。就好像要去一片热带沙漠搜寻宝藏，宝藏的诱惑性很强，但是黄沙远处却看不透彻，不知此行是对是错，看到的光亮又是否只是虚幻的海市蜃楼。 所以很多学习数据挖掘的，或是想选择数据挖掘方向的人会在是否踏出第一脚时犹豫不决。 以下，我们就来分析看看数据挖掘的现状及前景。 首先看看百科中数据挖掘的定义：数据挖掘（Data Mining，DM）是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。 基于数据挖掘可能产生的巨大价值，我国的各大重点院校都针对数据挖掘开了专业课程以及研究课题，不仅如此，政府以及大型企业也开始重视这一领域，投资人力物力支持数据挖掘项目。 或许这样说还不够直观，那就就数字佐证。 据IDC对欧洲和北美62家采用了商务智能技术的企业的调查分析发现，这些企业的3年平均投资回报率为401%，其中25%的企业的投资回报率超过600%。调查结果还显示，一个企业要想在复杂的环境中获得成功，高层管理者必须能够控制极其复杂的商业结构，若没有详实的事实和数据支持，是很难办到的。因此，随着数据挖掘技术的不断改进和日益成熟，它必将被更多的用户采用，使更多的管理者得到更多的商务智能。 国外如此，那中国呢？ 随着我国信息化的发展，数据的积累及计算机的广泛应用，加上来自外资企业商业智能数据挖掘应用带来的竞争压力，商业智能及数据挖掘也逐渐在中国也形成了一个产业。随着成功案例的增多，不仅仅是金融保险电信等行业或是政府机构，中小企业也逐渐将商业智能应用于业务之中。 信息化时代数据的潜力不容小觑，IT部门一直是企业的核心，而数据挖掘技术更是得到了前所未有的重视和期待。目前我国数据挖掘、商业智能技术的人才培养体系还未健全，而企业对这方面的需求却一直在增长。数据知识发展为核心竞争力是现在及未来必然的形势。因此数据挖掘、商业智能行业的前景还是非常可观的。 所以，请坚定勇敢地踏出迈向数据挖掘的那一步吧，然后扎实地学好所需的知识理论及实践技巧，最后所收获到的，或许比你所期待的还多。 数据挖掘在中国的现状和发展研究 导读：本文以科学引文索引数据库(SCI)、工程索引数据库(EI)以及清华全文数据库(CNKI)中有关“数据挖掘”研究文章的统计数据为研究基础，对数据挖掘在我国研究的总体趋势、研究热点、研究分支三个方面进行分析和研究。本文分析了数据挖掘在我国的发展，并对进一步发展我国数据挖掘的理论研究和实际应用提出了建议。 关键字：数据挖掘 0 引言 近年来，随着计算机对数据的生成、收集、存贮和处理能力的大大提高，数据量与日俱增，传统的数据分析工具对海量数据的处理力不从心，数据挖掘技术应运而生。 中国科研工作者近几年来积极开展了对数据挖掘的研究，并在理论研究和实际应用上取得了一定的成绩，但是有关数据挖掘的成功应用还比较少。本文通过对中国有关数据挖掘研究文章数量的统计，对数据挖掘在中国发展的现状及发展趋势进行分析和研究，通过分析有关论文的发表，对数据挖掘在中国的理论研究和实际应用提出建议。 1 数据挖掘的应用与研究发展 数据挖掘是指从存放在数据库、数据仓库或其他信息库中的大量数据中挖掘有用知识的过程。数据挖掘是一门新兴的边缘学科，近年来引起了中国学术界和产业界的广泛关注。 数据挖掘出现于20世纪80年代后期，90年代有了突飞猛进的发展。2001年，Gartner Group的一次高级技术调查将数据挖掘和人工智能列为“未来三到五年内将对工业产生深远影响的五大关健技术”之首，并且还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位。美国麻省理工学院在2001年1月份的《科技评论》(Technology Review)提出将在未来5年对人类产生重大影响的10大新兴技术，其中第3项就是数据挖掘。 数据挖掘技术已被广泛的应用于各个领域，其中一些典型应用如加州理工学院喷气推进实验室与天文科学家合作开发的SKICAT系统，能够帮助天文学家发现遥远的类星体，是人工智能技术在天文学和空间科学上的第一批成功应用之一；生物学研究中用数据挖掘技术对DNA进行分析利用数据挖掘技术识别顾客的购买行为模式，对客户进行了分析；对银行或商业上经常发生的诈骗行为进行预测IBM公司 基于大数据的数据挖掘技术与应用 发表时间：2019-07-17T12:49:19.997Z 来源：《基层建设》2019年第12期作者：汪洋 [导读] 摘要：科技前进的步伐越来越快，数据挖掘与传统行业相结合，在各行各业展现出了十分强大的生命力。 中国联合网络通信有限公司黄石市分公司湖北黄石 435000 摘要：科技前进的步伐越来越快，数据挖掘与传统行业相结合，在各行各业展现出了十分强大的生命力。本文从数据挖掘的基本概念和功能谈起，进一步再分析其在金融和人力资源两个方面的具体运用。 关键词：数据挖掘；大数据；金融；人力资源 一、数据挖掘的概念和功能 （一）数据挖掘概念。数据挖掘是指从庞大繁杂的数据中通过算法搜索隐藏于表面数据背后信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习和模式识别等多种方法来实现上述目标。 （二）数据挖掘的方法和过程。数据挖掘的理论技术一般可分为传统技术和改良技术两支。就传统技术而言，以统计分析为主要代表；就改良技术而言，以决策树理论、类神经网络和规则归纳法等为主要代表。 （三）数据挖掘的主要功能。数据挖掘的功能十分强大，在与各行各业结合之后，都能为各行业带来新的发展契机。一般来说，数据挖掘的功能分为两类：一类是描述性功能，是指对目标数据的属性进行特征描述；另一类是预测性功能，是指对当前数据进行归纳，以进行发展趋势的预测。 二、数据挖掘技术的应用实践 （一）在金融方面的应用。大数据金融以庞大繁杂的数据作为基础，利用如互联网等信息化技术，分析处理对客户的消费数据，将客户及时全面的信息及时地反馈给金融企业，如此一来，使得金融企业给零散化的客户群体提供定制化的服务成为可能。数据挖掘技术在金融领域的表现十分优异，在第三方支付、p2p网络借贷、供应链金融、互联网消费金融等方面均有广泛的运用。 就第三方支付而言，因为其运用场景多样化，使用方便快捷，因而，第三方支付与上下游的交易者联系紧密。当相关数据累积到一定程度时，便可推出更多的增值服务，进一步增加利润来源。在众多增值服务中，近年来，值得一提的是由蚂蚁金服推出的蚂蚁花呗。蚂蚊花呗本质上而言是一款消费信贷产品。蚂蚁花呗利用大数据，以自身的风控模型为基础，结合对消费者在互联网上的各种网购情况、支付习惯、信用风险等的分析结果，对不同的用户根据其近期的消费情况给予不同数额的消费额度。 第三方互联网支付交易规模由于互联网理财等大额交易场景的推动保持高速增长。在2013年，第三方互联网支付交易额仅为6万亿元，但据可靠预测，在2020年，此交易额可到39万亿元。再看第三方移动支付交易额。由于移动支付场景的多样化、用户渗透率越来越高、各种第三方支付企业进军市场等原因，移动交易量不断上升。在2013年，第三方移动支付交易额仅为1万亿元。但据估计，在2020年，第三方移动支付交易额可达144万亿元。 （二）在人力资源管理方面的运用。 （1）数据挖掘与人力资源规划：通过数据挖掘技术，组织管理者可以利用搜集到的每一个员工的组织内外部的信息资料，联系企业的整体战略目标，以事实为依据，制定未来人力资源规划。 （2）数据挖掘与人才的招聘与配置：招聘时，招聘者对于求职者的了解一般都比较肤浅，对于求职者的专业技能掌握情況、工作效率等无法有效进行认知。而新兴的社交网络呈现了—个人各方面的信息，如工作经历、社会关系、工作效率等，从而能助招聘者一臂之力，达到精准的人岗匹配。 （3）数据挖掘与员工的开发：利用数据挖掘，管理者将职业生涯规划建立在员工全方位数据的基础上，如员工的应聘岗位、晋升意愿和期望薪酬等结构化与非结构化的数据信息，从而精准地为员工提供职业培训。 三、注意区分数据挖掘与个人信息侵犯 当今时代，科学技术的不断提高，使得各种数码产品更新换代速度加快，手机、电脑、照相机等电脑产品基本是一年更新换代一次甚至两三次。其中由于手机应用功能随着经济发展而逐渐增加，从原来的按键机发展到如今的触屏手机乃至折叠手机，其功能也从原来的拨打电话、发送短信、彩信功能而增加到如今的视频通话、语音通话以及上网功能。网络的普遍化丰富了人们的生活，使得人们可以便捷广泛的了解、认知自身以外的整个中国乃至整个世界，可以通过网络媒介了解到其他国家的风土民俗、地形地貌，了解自己所喜欢的明星网红的日常喜好，或是通过网络媒介得到想获得的知识、达到一个学习的作用。但网络媒介是一把双刃剑，通过网络世界了解到诸多信息时，也可能因为自己在网络上所说的一句话、所发的一个定位从而导致自身隐私泄露，个人信息被公布在大众眼中。要运用好大数据时代中网络媒体这一把双刃剑，就必须要求到人们提高自我隐私保护意识，规范网络世界中的一言一语。 （一）大数据时代信息量过大导致信息泄露 当今时代是科技不断发展的时代，是大数据时代。在大数据时代里，各种数码产品纷呈展现其自身的广泛性、普遍性，充斥在人类日常生活中。尤其是手机的发展从原始的只能打电话接电话的大哥大，渐渐变成能够发短信、收短信的按键机，为满足人们日常生活中的娱乐要求，在信息传播的同时又增加了照相机、听音乐、玩游戏等等娱乐功能。在科技发展的基础上，为满足人们日常生活中的各种精神需求，仅仅五六年时间内，按键手机逐渐演变成如今的触屏手机、智能手机。如今的手机已不仅是一个只能打电话、接电话的功能机，在满足了人们的基本通讯要求后，增加了上网的功能。如今微博app、微信app、qqapp各种社交app的崛起，使得人们日常生活充满了娱乐性、便捷性、广泛性，所接收的信息不仅来自自身以外的中国各地，而且也可以接触到中国以外其它国家，甚至来自地球以外的各大恒星的知识。如今你将会看到，越来越多的人在超市里、商场中、地铁上、公园里拿起手机刷微博、拍抖音、视频通话、拍照片等等，在大数据时代，由于网络的普遍，人们上一秒在抖音app上传了一段视频、微博上发布了一篇文章、朋友圈发表了几张照片，以网络传播速度快的特点，下一秒这个视频、这篇文章、这些照片就极有可能出现在大众视线中。网络带来便捷性的同时也带来过大的信息量以及一定性的安全隐患，人们通过信息库了解某一样东西的同时，也可能导致自身定位被人知道、自身隐私被泄露出去。 （二）大数据时代侵犯个人信息方法更多 由于科学技术进步速度快，数码产品更新换代的速度也日益加快。当手机硬件设施提高了，相应的各类软件应用层出不穷，给予了人们日常生活中的精神满足，同时也给予了不法分子有机可图的条件。人们隐私安全问题日益堪忧，由于手机等各种数码产品的普遍性，大 湘潭大学 本科生专业文献综述 题目: 数据挖掘文献综述 姓名: 林勇 学院: 信心工程学院学院 专业: 自动化 班级: 一班 学号: 2010550113 指导教师: 张莹 0前言 随着计算机技术的迅猛发展，人类正在步入信息社会。面对今天浩如烟海的信息，如何帮助人们有效地收集和选择所感兴趣的信息，更关键的是如何帮助用户在日益增多的信息中自动发现新的概念并自动分析它们之间的关系，使之能够真正地做到信息处理的自动化，这已成为信息技术领域的热点问题。数据挖掘就是为满足这种要求而产生并迅速发展起来的，可用于开发信息资源的一种新的数据处理技术。 1什么是数据挖掘 数据挖掘(Data Mining)，也叫数据开采，数据采掘等，是按照既定的业务目标从海量数据中提取出潜在、有效并能被人理解的模式的高级处理过程。在较浅的层次上，它利用现有数据库管理系统的查询、检索及报表功能，与多维分析、统计分析方法相结合，进行联机分析处理，从而得出可供决策参考的统计分析数据。在深层次上，则从数据库中发现前所未有的、隐含的知识。OLAF'的出现早于数据挖掘，它们都是从数据库中抽取有用信息的方法，就决策支持的需要而言两者是相辅相成的。OLAP可以看作一种广义的数据挖掘方法，它旨在简化和支持联机分析，而数据挖掘的目的是便这一过程尽可能自动化。数据挖掘基于的数据库类型主要有：关系型数据库、面向对象数据库、事务数据库、演绎数据库、时态数据库、多媒体数据库、主动数据库、空间数据库、遗留数据库、异质数据库、文本型、Internet信息库以及新兴的数据仓库(Data Warehouse)等。而挖掘后获得的知识包括关联规则、特征规则、区分规则、分类规则、总结规则、偏差规则、聚类规则、模式分析及趋势分析等。 1.1 数据挖掘的任务 数据挖掘的两个高层目标是预测和描述。前者指用一些变量或数据库的若干已知字段预测其它感兴趣的变量或字段的未知的或未来的值；后者指找到描述数据的可理解模式。根据发现知识的不同，我们可以将数据挖掘任务归纳为以下几类： (1)特征规则。从与学习任务相关的一组数据中提取出关于这些数据的特征式，这些特征式表达了该数据集的总体特征．例如可以从某种疾病的症状中提取 数据挖掘概念与技术原书第版范明孟小峰绎课 后习题 Document number【SA80SAB-SAA9SYT-SAATC-SA6UT-SA18】 （a）它是又一种广告宣传吗？ （b）它是一种从数据库、统计学、机器学习和模式识别发展而来的技术的简单转换或应用吗？ （c）我们提出了一种观点，说数据挖掘是数据库技术进化的结果。你认为数据挖掘也是机器学习研究进化的结果吗你能基于该学科的发展历史提出这一观点吗针对统计学和模式识别领域，做相同的事。 （d）当把数据挖掘看做知识发现过程时，描述数据挖掘所涉及的步骤。 答：简单地说，数据挖掘其实就是从大量的数据中发现有用的信息，它是从大量数据中挖掘有趣模式和知识的过程。数据挖掘不是一种广告宣传，而是身处在信息时代数据如此庞大的今天，我们对由海量的数据转化为有用信息的迫切需要，所以它是信息技术自然进化的结果，而不是一种广告宣传。 数据挖掘也不是一种从数据库、统计学、机器学习和模式识别发展而来的技术的简单转换或应用，它涉及到了很多领域的技术，比如统计学、机器学习、模式识别、数据库和数据仓库、信息检索、可视化、神经网络、高性能计算、算法以及许多应用领域的大量技术。 数据挖掘起始于20世纪下半叶，是在当时多个学科发展的基础上发展起来的。随着数据库技术的发展应用，数据的积累不断膨胀，导致简单的查询和统计已经无法满足企业的商业需求，所以急需一种新型的技术去获取有用的信息，当时计算机 领域的人工智能也取得了巨大进展，进入了机器学习的阶段，人们就将两者结合起来，用数据库管理系统存储数据，用计算机分析数据，这两者的结合就促就以这一门新兴的学科，所以数据挖掘不是机器学习研究进化的结果，而是结合了机器学。 数据挖掘的步骤包括：（1）数据收集；（2）数据清洗、脱敏；（3）数据存储；（4）数据分析；（5）数据可视化。 1.2数据仓库与数据库有何不同他们有哪相似之处 答：数据库是按照数据结构来组织、和管理数据的仓库，它是以一定方式储存在一起、能为多个用户共享、具有尽可能小的的特点、是与应用程序彼此独立的数据集合。 数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据，出于分析性报告和决策支持目的而创建。 不同处：（1）数据库是面向事务的设计，数据仓库是面向主题设计的。 （2）数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 （3）数据库设计是尽量避免冗余，数据仓库在设计是有意引入冗余。 （4）数据库是为捕获数据而设计，数据仓库是为分析数据而设计。 相似处：两者都是数据的集合。 数据挖掘技术的研究现状及发展方向 摘要：数据挖掘技术是当前数据库和人工智能领域研究的热点。从数据挖掘的定义出发，介绍了数据挖掘的神经网络法、决策树法、遗传算法、粗糙集法、模糊集法和关联规则法等概念及其各自的优缺点；详细总结了国内外数据挖掘的研究现状及研究热点，指出了数据挖掘的发展方向。 关键词：数据挖掘；神经网络；决策树；粗糙集；模糊集；研究现状；发展方向 The present situation and future direction of the data mining technology research Abstract: Data mining technology is hot spot in the field of current database and artificial intelligence. From the definition of data mining, the paper introduced concepts and advantages and disadvantages of neural network algorithm, decision tree algorithm, genetic algorithm, rough set method, fuzzy set method and association rule method of data mining, summarized domestic and international research situation and focus of data mining in details, and pointed out the development trend of data mining. Key words: data mining, neural network, decision tree, rough set, fuzzy set, research situation, development direction 0 引言 随着信息技术的迅猛发展，许多行业如商业、企业、科研机构和政府部门等都积累了海量的、不同形式存储的数据资料[1]。这些海量数据中往往隐含着各种各样有用的信息，仅仅依靠数据库的查询检索机制和统计学方法很难获得这些信息，数据和信息之间的鸿沟要求系统地开发数据挖掘工具，将数据坟墓转换成知识金砖，从而达到为决策服务的目的。在这种情况下，一个新的技术——数据挖掘(Data Mining，DM)技术应运而生[2]。数据挖掘正是为了迎合这种需要而产生并迅速发展起来的、用于开发信息资源的、一种新的数据处理技术。 数据挖掘通常又称数据库中的知识发现（Knowledge Discovery in Databases），是一个多学科领域，它融合了数据库技术、人工智能、机器学习、统计学、知识工程、信息检索等最新技术的研究成果，其应用非常广泛。只要是有分析价值的数据库，都可以利用数据挖掘工具来挖掘有用的信息。数据挖掘典型的应用领域包括市场、工业生产、金融、医学、科学研究、工程诊断等。本文主要介绍数据挖掘的主要算法及其各自的优缺点，并对国内外的研究现状及研究热点进行了详细的总结，最后指出其发展趋势及问题所在。 1 数据挖掘算法 数据挖掘就是从大量的、有噪声的、不完全的、模糊的、随机的实际应用数据中提取有效的、新颖的、潜在有用的知识的非平凡过程[3]。所得到的信息应具有先前未知、有效和实用三个特征。数据挖掘过程如图1所示。这些数据的类型可以是结构化的、半结构化的、甚至是异构型的。发现知识的方法可以是数学的、非数学的、也可以是归纳的。最终被发现了的知识可以用于信息管理、查询优化、决策支持及数据自身的维护等[4]。 数据选择：确定发现任务的操作对象,即目标对象； 预处理：包括消除噪声、推导计算缺值数据、消除重复记录、完成数据类型转换等； 转换：消减数据维数或降维； 数据开采：确定开采的任务，如数据总结、分类、聚类、关联规则发现或序列模式发现等，并确定使用什么样的开采算法； 解释和评价：数据挖掘阶段发现的模式，经过用户和机器的评价，可能存在冗余或无关的模式，这时需要剔除，使用户更容易理解和应用。十大经典算法如图2： 目前，数据挖掘的算法主要包括神经网络法、决策树法、遗传算法、粗糙集法、模糊集法、关联规则法等。 数据挖掘分类算法研究综述 程建华 (九江学院信息科学学院软件教研室九江332005 ) 摘要：随着数据库应用的不断深化,数据库的规模急剧膨胀,数据挖掘已成为当今研究的热点。特别是其中的分类问题,由于其使用的广泛性,现已引起了越来越多的关注。对数据挖掘中的核心技术分类算法的内容及其研究现状进行综述。认为分类算法大体可分为传统分类算法和基于软计算的分类法两类。通过论述以上算法优缺点和应用范围，研究者对已有算法的改进有所了解，以便在应用中选择相应的分类算法。 关键词：数据挖掘；分类；软计算；算法 1引言 1989年8月，在第11届国际人工智能联合会议的专题研讨会上，首次提出基于数据库的知识发现(KDD，Knowledge DiscoveryDatabase)技术[1]。该技术涉及机器学习、模式识别、统计学、智能数据库、知识获取、专家系统、数据可视化和高性能计算等领域，技术难度较大，一时难以应付信息爆炸的实际需求。到了1995年，在美国计算机年会(ACM)上，提出了数据挖掘[2](DM，Data Mining)的概念，由于数据挖掘是KDD过程中最为关键的步骤，在实践应用中对数据挖掘和KDD这2个术语往往不加以区分。 基于人工智能和信息系统，抽象层次上的分类是推理、学习、决策的关键，是一种基础知识。因而数据分类技术可视为数据挖掘中的基础和核心技术。其实，该技术在很多数据挖掘中被广泛使用，比如关联规则挖掘和时间序列挖掘等。因此，在数据挖掘技术的研究中，分类技术的研究应当处在首要和优先的地位。目前，数据分类技术主要分为基于传统技术和基于软计算技术两种。 2传统的数据挖掘分类方法 分类技术针对数据集构造分类器，从而对未知类别样本赋予类别标签。在其学习过程中和无监督的聚类相比，一般而言，分类技术假定存在具备环境知识和输入输出样本集知识的老师，但环境及其特性、模型参数等却是未知的。 2.1判定树的归纳分类 判定树是一个类似流程图的树结构，其中每个内部节点表示在一个属性上的测试，每个分支代表一个测试输出，而每个树叶节点代表类或类分布。树的最顶层节点是根节点。由判定树可以很容易得到“IFTHEN”形式的分类规则。方法是沿着由根节点到树叶节点的路径，路径上的每个属性-值对形成“IF”部分的一个合取项，树叶节点包含类预测，形成“THEN”部分。一条路径创建一个规则。 判定树归纳的基本算法是贪心算法，它是自顶向下递归的各个击破方式构造判定树。其中一种著名的判定树归纳算法是建立在推理系统和概念学习系统基础上的ID3算法。 2.2贝叶斯分类 贝叶斯分类是统计学的分类方法，基于贝叶斯公式即后验概率公式。朴素贝叶斯分类的分类过程是首先令每个数据样本用一个N维特征向量X={X1，X2，?X n}表示，其中X k是属性A k的值。所有的样本分为m类：C1，C2，?，C n。对于一个类别的标记未知的数据记录而言，若P(C i/X)>P(C j/X)，1≤ j≤m，j≠i，也就是说，如果条件X下，数据记录属于C i类的概率大于属于其他类的概率的话，贝叶斯分类将把这条记录归类为C i类。 建立贝叶斯信念网络可以被分为两个阶段。第一阶段网络拓扑学习，即有向非循环图的——————————————————— 作者简介：程建华（1982-），女，汉族，江西九江，研究生，主要研究方向为数据挖掘、信息安全。 万方数据 万方数据 万方数据 万方数据 万方数据 Ｖｏ．ｌ１８．Ｎ．ｏ３管理工程学报２００４年第３期圈回［ｌ４ｊ网［ｌ６ｊ皿［ｌｓｊ［ｌ９ｊ厂．Ｌｌ周生炳，张钱，成栋．于规则面向属性的数据库归纳的无回基溯算法［７软件学报，９，（）６３６８１．１９１７：７一７．９０蒋嵘，李德毅，范建华．数值型 数据的泛概念树的自动生成方法【１计算机学报，０，（）４０４６ｉ．２０２５：一７．０３７一」一一尸十勺，１，刁［７软件学报，０，（）７５７４Ｊ．２０１６：一４．０１３周水庚，周傲类，曹晶．基于数据分区的ＤＳＡＢＣＮ算法【ｌ计Ｊ．算机研究与发展，０，０）１３１９２０３０：一１．０７１５５「一－，，‘ ，郭建生，，赵奕施鹏飞一种有效的用于数据挖掘的动态概念毛国君，椿年．于项目序列集操作的关联规则挖掘算法刘基］ｉ计算机学报，０，（）４７４２Ｉ．２２２４：１一２．０５ＩＬ尸聚类算法［ｌ软件学报，０，（）一９．Ｊ．２１１４：２５１０２５８内、内ｊ「一一Ｊ魏李，宫学庆，钱卫宁，高维空间中的离群点发现〔ｌ软件等．Ｊ．学报，０，３２：８一９．２２１（）２０２００门仁」程岩，黄梯云．粗糙集中定量关联规则的发现及其规则约简的方法研究【〕管理工程学报，０，（）７－７Ｊ２１１３：７．０５３ｅｓＬＦ飞）４俞蓓，王军，叶施仁．基于近邻方法的高维数据可视化聚类方苑森森，程晓青，数量关联规则发现中的聚类方法研究【ｌ计ｉ．法〔７计算机研究与发展，０，（）７４７．Ｊ．２０３６：－０７１２０ｒ．．Ｌ算机学报，０，（）８７８１２０２８：一７．０３６倪志伟，蔡庆生，方瑾．用神经网络来挖掘数据库中的关联规内、〕‘ 一一Ｊ「陈宁，陈安，周龙骥．大规模交易数据库的一种有效聚类算法［７软件学报，０，（）４５４４Ｊ．２１１４：７一８．０２Ｌ则【ｌ系统仿真学报，０，（）６５６７１．２０１６：－．０２８８Ｊ内几６ｌｅｓＥｔＭ，ｒＳｎｅＪＡｇｉｍａｄｌａｏｓｓｔｌｓｒＰｔＫａｄｒｌｒｈｓａｐｃｉｆｐｉｅｅＨ，ｅ．ｔｏｎｐｉｔｎｏａａｒ陆建江．数据库中布尔型及广义模糊型加权关联规则的挖掘ｄａｉ仁ｌＩｉｃｐｒＧｏａｉＤｔＭｎｇａｍｎＺ．ｖｅｈｔｆｅｒｈａｉｎａｔｉｇｎｎｔａｅｏｇｐｃａｉｎｄｒｄＫｏｌｇＤｓｖｒ，ｅｒｏｏｒｈｉＧＳＴｙｒｄｎｗｅｅｃｅＲｓｃＭｎｇｐｓＩ，ｌａｄｉｏｙｅａｈａｎａｏｎＦａｃｓ２０．一３．ｒｎｉ，１１２ 从人类文明诞生的那一刻起，数据就伴随我们而生——人类交流信息所用的文字和语言，计量距离或数量使用的记号和图案，观察自然所积累和传承的经验等，都是数据构成的。这些数据在百万年历史长河里，为人类文明的发展进化带来了难以估量的巨大价值。 自从人类发明了纸和笔，创造了数字、文字、几何技术后，数据有了更精确的描述和记录的方法，在此基础上催生出了数字、物理、化学，以及文学、艺术、管理等学科，我们今天所享受的现代文明，都深深的植根于数据技术。 随着互联网时代的大发展，数据记录逐步脱离了纸笔的限制，人类发明了廉价的硅晶半导体所蕴藏的秘密，大量的数据可以按0或1的二进制方式存储半导体材料内，它们的存储能力如此巨大，成本如此低廉，以至于以往被轻易忽略的数据都能被忠实的保存下来：我们每一下轻微的呼吸、每一次心脏的跳动、每一下鼠标的点击，企业里员工的每一次出勤、财务的每一笔账单、客户的每一个评论，包罗万象都能一一记录。 与此同时，数据的概念也在进一步拓宽。传统的数据是指用数字或文字描述的内容，通称为结构化数据，而大数据时代涌现出了大量新型数据的、非结构化的数据。例如人群之间看不见的社交关系（Social Relationships），移动设备发射的GPS位置，网络传播的图像、视频信号，可穿戴设备采集的健康数据等。对这些各种各样的数据的采集、挖掘、运用，也是现代大数据挖掘的重要研究课题。 正在发生的大数据变革，恐怕是人类技术发展中最重要的话题之一，它冲击着许多主要的行业，包括零售业、服务业、电子商务和金融领域等，同时大数据技术也正在彻底的改变我们 的日常生活。如果把数据比作是矿石的话，大数据挖掘技术就是要从矿石中提炼出黄金，并形成各种精致的制成品发挥作用的过程。它既能够通过移动应用和云服务追踪和提升个人的生活品质，也能为现代企业带来更高效和稳健的管理方式。小到个人，大到企业和国家，大数据均是极度重要的一个议题，需要我们真正的深入理解它，因此本文将对大数据挖掘技术给出全景式的介绍，首先给出大数据的背景、原理和概念，然后阐述大数据挖掘的方法和步骤，再讲解大数据在企业应用中的方式和收益，最后分享大数据时代的产业状况，和我们面临的挑战与机遇。 2、大数据技术的背景、概念和意义 2.1大数据的产生背景 大数据热潮诞生的先决条件是计算机存储能力的迅速扩大和成本的一再降低。得益于半导体技术在过去20年里持续快速的发展，今天我们用500元人民币就能轻松买到一块能装得下63万本《红楼梦》的1T 容量的移动硬盘；价值2000元的一块PC硬盘甚至能存储下全世界迄今为止所有的音乐内容。在很多大型互联网公司里，拿一台较好配置的服务器，就可以一举装下美国国家图书馆里所有纸质书的内容——纵观整个人类文明发展史，今天人类拥有了史无前例的海量信息的存储能力，并且这个能力仍然在日新月异的向前发展着。 与此同时，人类创造数据的能力也同样在高速增长。传统社会只有文人墨客、达官显贵才能青史上留下只言片语，而互联网时代里所有人都能轻松成为数据的生产者，例如Facebook 上每月被用户分享500亿条新信息，全球的社交网络每天产生1亿张新照片。能够产生和 １７１ 关于数据挖掘研究现状及发展趋势的探究 任新社1，陈静远2 （1.河南大学商学院，河南开封475004；2.郑州铁路职业技术学院网络信息技术中心， 河南郑州463000）摘要：随着计算机信息技术的快速发展，网络信息数据呈现爆发式增长，尤其是商业、企业等积累的海量数据，这 些信息包含了多种类型，传统的数据检索技术已经难以满足用户的使用需求。数据挖掘技术可以帮助人们迅速查找自己所需的资料，数据挖掘技术是人工智能、统计学、数据库技术、信息检索技术等多门学科的完美融合。目前，我国关于数据挖掘技术的研究较少，很多研究成果难以直接应用，文章将深入地研究我国数据挖掘技术的现状与趋势。关键词：数据挖掘；程序算法；研究现状；发展方向中图分类号：TP311.13文献标识码：A 文章编号：1673-1131（2016）02-0171-02 0引言 21世纪是计算机信息技术的新纪元，网络上的资源呈现指数增长趋势，这些信息覆盖了很多具有价值得信息数据，包括商业信息、科研信息、技术信息等，当相对于海量的网络信息数据，对客户有价值的数据仍然十分有限。传统的信息检索技术具有一定局限性，对用户有一定专业要求，数据挖掘技术可以对信息数据进行快速、高效、准确的分析，提取网络信息数据的有用知识，数据挖掘技术是多学科的交叉，建立在低级的数据检索技术之上。 1数据挖掘技术简介 数据挖掘技术（Data Mining ，DM ）又称为数据采矿、资料 勘查，数据挖掘技术属于数据库知识发现（Knowledge-Dis-covery in Databases ，KDD ）的重要环节之一，数据挖掘技术的主要目的是从海量网络数据中发掘潜在的高价值数据。数据挖掘技术是伴随计算机技术发展而来的，需要通过统计学、人工智能、识别模式等多种方式来实现。数据挖掘技术主要应用了如下理论： 建模技术、人工智能、模式识别与机器学习的搜索算 法。数据库知识发现的过程由多个步骤组成，具体的流程如图1 所示。 图1数据库知识发现的具体流程 数据库知识发现的具体流程如下：①领域学习，选择某个特定领域，学习该领域应用的预先知识以及目标；②目标数据，通过选择一个或者多个数据集合进行聚焦，从而建立一个目标数据集；③清理与预处理，对目标数据集进行除噪处理，去除数据集中的无关数据，同时将时间顺序与数据变化纳入模型中；④数据转换，对数据特征与规律进行研究，并根据数据的规律特征进行编码，编码时尽量减少模型中的变量；⑤建立数据挖掘模型，明确数据挖掘的目的，根据数据挖掘的目的建立模型，常见的数据挖掘模型包括数据汇总、数据分类、数据聚合等；⑥数据挖掘，利用已经建立的数据挖掘模型对特定的数据进行挖掘；⑦解释，解释数据挖掘的过程以及发现的数据类型，去掉无价值的数据，将数据进行综合，汇总转化成所需的知识；⑧评估数据，将挖掘的数据用于实际应用之中，检验评估数据的有效性。 2数据挖掘技术的发展史 数据挖掘技术主要经历了四个阶段： 上世纪90年 代，Web 技术的创新，导致网络信息呈现爆炸式增长，很多企业处于粗放式营销模式，该阶段的数据挖掘技术已经成为可以集成数据库，系统支持多种挖掘模型同时运行； 第四个阶段是全程电子商务阶段，SaaS 软件服务模式的出现延长了电子商务产业链，原始数据挖掘技术成为一门独立的学科，该阶段的数据挖掘技术将移动数据以及各种计算设备的数据进行了有机融合。数据挖掘技术的历程介绍如表1所示。 表1 各个阶段的数据挖掘技术介绍 3数据挖掘技术的成果 目前，我国数据挖掘技术研究已经取得了巨大的成果，常用的数据挖掘模型包括神经网络模型、决策树模型、遗传算法模型、粗糙集模型、模糊集模型、关联规则模型等。 （1）神经网络模型是建立在仿生学理论之上，通过模拟生物神经系统等运作模式，训练人工智能学习非线性预测，神经网络模型可以实现数据聚合、数据分类等多种功能，神经网络模型的关键是权值的修改，该模型具有较强的抗干扰性与非线性学习能力，可以对复杂目标进行精确挖掘，但难以承担高危变量的处理任务； （2）决策树模型，该模型可以通过一系列的规则对数据进行分类，其模型结构与程序树状结构相似，该模型结构简单， 2016年第2期（总第158期） 2016 （Sum.No 158） 信息通信 INFORMATION &COMMUNICATIONS数据挖掘研究现状综述
数据挖掘工具应用及前景分析
数据挖掘研究现状及发展趋势
数据挖掘研究的现状与发展趋势_郑继刚
文献综述_数据挖掘
数据挖掘现状与前景
数据挖掘在中国的现状和发展研究
基于大数据的数据挖掘技术与应用
数据挖掘文献综述
数据挖掘概念与技术原书第版范明孟小峰绎课后习题修订稿
数据挖掘研究及发展现状
数据挖掘分类算法研究综述终板
数据挖掘在中国的现状和发展研究.
史上最系统的大数据挖掘技术及其应用介绍
关于数据挖掘研究现状及发展趋势的探究_任新社
相关主题
文本预览