数据挖掘与人工智能技术_钟智
- 格式：pdf
- 大小：434.29 KB
- 文档页数：4
基金项目:澳大利亚ARC基金资助项目(DP0343109)作者简介:钟智(1963-),男,广西梧州人,讲师.收稿日期:2004-03-16文章编号:1672-6871(2004)03-0044-04
数据挖掘与人工智能技术
钟智1,尹云飞2
(1.广西师范学院数计系,广西南宁530001;2.广西师范大学计算机系,广西桂林541004)
摘要:数据挖掘是人工智能中的一个重要分支。对人工智能的发展及其最基本的技术:知识表示、知识推理、搜索,以及数据挖掘进行了详细介绍。通过实例给出了数据挖掘的定义,最后论述了数据挖掘与人工智能的联系,并结合国内外在该领域的研究成果指出了其广阔的发展前景。关键词:人工智能;数据处理;展望中图分类号:TP18文献标识码:A
0前言
当人工智能进展到一定程度时,对符号处理技术和神经网络处理技术相结合的要求越来越强烈,其
中数据挖掘便是二者很好的结合。数据挖掘体现了人工智能技术的进展,其应用领域日益广泛。本文综述了人工智能和数据挖掘的产生、发展及其相互联系,以便引起更多研究者的关注。
1人工智能的发展
人工智能(ArtificialIntelligence,简记为AI)研究计算和知识之间的关系[1]。用机器去模拟人的智能,使机器具有类似于人的智能,其实质是研究如何构造智能机器或智能系统,以模拟、延伸、扩展人类
的智能。人工智能是在计算机科学、控制论、信息论、神经心理学、哲学、语言学等多种学科研究的基础
上发展起来的。
人工智能是当前信息化社会的迫切要求。例如,人工智能技术在Internet和未来的信息高速公路上将发挥重要作用[2]。人工智能是1956年由McCarthyJ等正式提出的。随后人工智能的研究取得了许多
引人注目的成就[3]。例如,1956年SamuelL研制出了跳棋程序,6年之后击败了一个州的跳棋冠军;
1958年美籍华人王浩在IBM-704计算机上用3~5min证明了有关命题演算的全部定理;1959年SelfrideO推出了一个模式识别程序;1965年Roberts编制出了可分辨积木构造的程序;FeigenbaumEA于1968
年研制成功了DENDRAL专家系统;1972年法国人ComerauerA提出并设计实现了逻辑程序设计语言
PROLOG;同一时期,斯坦福大学的ShortliffeEH开始研制用于诊断和治疗感染性疾病的专家系统
MYCIN;1977年FeigenbaumEA在第五届国际人工智能联合会议上提出了知识工程的概念,对以知识为基础的智能系统的研究与建造起到了重要作用;1991年第12届国际人工智能联合会议上日本展出了
PSI-3智能工作站和由4X4PSI-3构成的模型机系统;1997年,IBM公司制造的深蓝号计算机系统战胜
了国际象棋大师卡斯帕罗夫等。人工智能早期的研究领域有:专家系统、机器学习、模式识别、自然语言理解、自动定理证明、自动程
序设计、机器人学、博弈、人工神经网络等;目前已涉及到以下研究领域:数据挖掘、智能决策系统、知识
工程、分布式人工智能[4]等。其中,数据挖掘的出现是人工智能发展史上具有重大意义的事件。这是因
为20世纪80年代初,美国、欧洲和日本制定的一批针对人工智能的大型项目都面临了重重困难:一是所谓的交叉问题,即传统方法只能模拟人类深思熟虑的行为,而不包括人与环境的交互行为;二是所谓
的扩展问题,即传统人工智能方法只适合于建造领域狭窄的专家系统,不能把这种方法简单地推广到规
模更大、领域更宽的复杂系统中去。以上两个根本性问题使人工智能研究进入低谷。数据挖掘的出现第25卷第3期2004年6月河南科技大学学报(自然科学版)JournalofHenanUniversityofScienceandTechnology(NaturalScience)Vol.25No.3Jun.2004使人们又重新看到人工智能的希望[5,6]。
2数据挖掘
数据挖掘(DataMining,DM)是指从大量的数据或信息中挖掘或抽取出知识的过程。这里包含数据
的挖掘和智能信息的抽取过程,前者要从大量纷繁复杂的现实世界数据中挖掘出未知的、有价值的模式或规律,后者是对知识进行比较、选择,总结出原理和法则,形成所谓的智能[7,8]。
目前,在很多重要的领域,尤其是在银行、电信、保险、交通、零售(如超级市场)等商业应用领域,数
据挖掘能够帮助解决许多典型的商业问题,如数据库营销(DatabaseMarketing)、客户群体划分(CustomerSegmentation&Classification)、背景分析(ProfileAnalysis)、交叉销售(Cross-Selling)等市场行为,以及客户流
失性分析(ChurnAnalysis)、客户信用评分(CreditScoring)、欺诈发现(FraudDetection)等等。
数据挖掘技术在企业市场营销中的应用是以市场营销学的市场细分原理为基础,其基本假定是消
费者过去的行为是其今后消费倾向的最好说明[8]。数据挖掘有两种分析处理形式,有监督学习和无监督学习,前者是在已知训练样本集合类别的基础上通过学习建立相应模型;后者是指训练样本类别与个
数未知的学习。
例如,表1为某超市顾客信息数据库的部分内容,包括顾客信用卡号、姓名、性别、年龄、收入、职业、联系方式、购买商品信息、消费记录等属性描述,利用这些数据可以给潜在顾客发送用于促销的新产品
宣传手册,以及将要开始的商品打折信息。
表1某超市顾客信息表
顾客号姓名性别年龄收入职业联系方式消费记录信用等级
101江吉芳女302000科技人员学院路35号关联表1一般102姚玉民男405000经理中关村5号关联表2一般
103叶关丽女201000教师公主坟1号关联表3高
104张建国男502500销售代理西苑4号关联表4中105刘仪进男263000医生北医路5号关联表5中
表2顾客信息泛化关系表
姓名年龄收入顾客类别
江吉芳30中忠实顾客
姚玉民30~40高幸运顾客叶关丽30低摆动顾客
张建国40中普通顾客刘仪进30高忠实顾客用人工智能的方法对以上信息进行处理的步
骤为:首先,对原始数据进行填补遗漏数据、消除异
常数据、平滑噪声数据等处理,提高数据挖掘进程的
有效性和准确性。然后,利用AOI算法(基于属性归纳算法)对原始数据进行归纳抽象,即去掉取值过多
且不均匀的属性和概念层次树中不存在的属性,最
终得到一个更加泛化的关系表2。最后,应用数据挖
掘算法,获得分类规则,对不同类别的顾客采用不同的宣传和打折策略。当新顾客的信息被加入到数据
库中时,就需要对该顾客的类型进行判断,以决定是
否给顾客发送相应的宣传手册和打折信息。有针对性地给有最大可能购买力的顾客发送其所需要的商品广告,使其保持最大购买共振状态,才是一种高效节俭的市场营销策略。
3数据挖掘与人工智能技术的联系
人工智能技术包括推理技术、搜索技术、知识表示与知识库技术、归纳技术、联想技术、分类技术、聚
类技术等等,其中最基本的三种技术即知识表示、推理和搜索都在数据挖掘中得到了体现。
3.1知识表示知识表示是指在计算机中对知识的一种描述,是一种计算机可以接受的用于描述知识的数据结构。45第3期钟智等:数据挖掘与人工智能技术由于目前对人类知识的结构及机制还没有完全搞清楚,因此关于知识表示的理论及规范尚未建立起来。尽管如此,人们在对智能技术系统的研究及建立过程中还是结合具体研究提出了一些知识表示方法:符
号表示法和连接机制表示法[9]。
符号表示法使用各种包含具体含义的符号,以各种不同的方式和次序组合起来表示知识,它主要用
来表示逻辑性知识。连接表示法是把各种物理对象以不同的方式及次序连接起来,并在其间相互传递及加工各种包含具体意义的信息。数据挖掘中关联规则的挖掘用到了符号表示法。关联规则挖掘是从
大量的数据中挖掘出有价值的描述数据项之间相互联系的有关知识。例如,通过分析某个超市的数据
库后,发现许多顾客在购买A牌子牛奶时,同时也购买了A牌子的面包,显然这是一个很重要的知识,因为它可以帮助商家对这两种商品打包出售,并且及时调整货架商品摆放。这一条知识可以用以下规
则来表示:
A牌子的牛奶A牌子的面包[Support=20%,Confidence=60%]
其中Support=20%表示支持度是20%,即交易库中同时包含A牌子的面包和A牌子的牛奶的记录占总记录数的20%,Confidence=60%表示有60%的顾客在购买A牌子的牛奶的同时,还会购买A牌子的
面包。整条规则描述为如果顾客购买了A牌子的牛奶,那么他有60%的可能性去购买A牌子的面包。
连接表示法对应于数据挖掘中神经网络分类法。神经网络通过调整权重来实现输入样本与其类别的对应,从而达到从训练后的神经网络中挖掘出知识。
3.2推理技术
推理技术从已知的事实出发,运用已掌握的知识,找出其中蕴含的实事,或归纳出新的实事。推理
可分为经典推理和非经典推理,前者包括自然演绎推理、归纳演绎推理、与/或形演绎推理等,后者主要包括多值逻辑推理、模态逻辑推理、非单调推理等。
一般而言,数据挖掘在处理过程中其基本思想是非经典的,而其依据的剪枝规则应该是经过经典
推理严格证实的有其严格的数学背景。比如,聚类处理时的基本思想是基于非经典推理,但为了提高效率而采取的剪枝技术必须保证完备性、正确性,经得起推理,否则便成了随意剪枝和删除信息,虽
然提高了效率,但其正确性不能保证,就没有什么意义了。
3.3搜索技术
搜索是根据问题的实际情况不断寻找可利用的知识,从而构造一条代价较小的推理路线。搜索分为盲目搜索和启发式搜索,盲目搜索是按预定的控制策略进行搜索,在搜索过程中获得的中间信息不用
来改进控制策略。启发式搜索是在搜索过程中加入与问题有关的启发性信息,用于指导搜索朝着最有
希望的方向前进,加速问题的求解过程,并找到最优解。
搜索机制在数据挖掘中得到了最详尽的体现。例如,在属性约简中,如果我们发现某一列属性的取值完全一样或区分能力不大,则可以提前删去。另外,在挖掘关联规则时,如果发现频繁K项集的任一
(K-1)项候选集不存在,则终止搜索剩余的(K-1)项候选集,就可以判断频繁K项集是不存在的;等等。
搜索机制提高了数据挖掘的效率,这对解决人工智能中的NP难问题是一个积极的探索。
4展望
目前数据挖掘和人工智能存在以下几个发展趋势。
(1)更加注重智能化。人工智能和数据挖掘都很注重对智能技术的研究,例如自动客户需求分析、自动资料更新、机器人自动识别、自动交通管理等。高度的智能化是数据挖掘和人工智能研究最终追求
的目标,也是二者最终合而为一的标志。可以预计未来的10年里将是人工智能和数据挖掘高度智能化
发展的10年。(2)网络化。将人工智能的技术应用于网络中将会使网络技术带上智能的特性,可以提高网络运
行效率、解决网络拥塞问题、增加网络安全性、智能管理网络客户等。目前关于数据挖掘在网络上的应
用已经很常见了,例如,文献[10]提出了用数据挖掘的方法在万维网上进行搜索的三种算法,文献[11]提出了一种基于数据挖掘的高效搜索引擎的编制算法。但是,人工智能和数据挖掘的网络化,仍然存在46河南科技大学学报(自然科学版)2004年
