关于数据挖掘中关联规则挖掘算法的研究
- 格式：pdf
- 大小：363.98 KB
- 文档页数：74
上海交通大学
硕士学位论文
关于数据挖掘中关联规则挖掘算法的研究
姓名：马建庆
申请学位级别：硕士
专业：计算机应用技术
指导教师：谢康林
20040101上海交通大学硕士学位论文
－ １ － 关于数据挖掘中关联规则挖掘算法的研究
摘 要
关联规则是由Agrawal等人提出也是当前比较热门的研究课题
本人在阅读大量国内外数据挖掘方面的文献通过对这些算法的分析提出了几个有效关联规则挖掘算法和更新算法结果显示了这些算法的高效性和实用性
我们首先开始对Apriori核心算法进行分析为此并提出了规则Ｒ的兴趣度新定义在考虑了商品项的反面示例的基础上并证明了该算法的时间和空间复杂度是优于同类算法的
如何应用领域知识来划分离散无序属性并分析了由此而引起的概念树高层规则的遗漏问题
接着我们开始讨论加权关联规则挖掘算法
并且详细分析了这些算法的复杂性和上海交通大学硕士学位论文
－ ２ － 他们各自的实际应用意义
我们熔合了加权规则挖掘和ＦＰ－ｇｒｏｗｔｈ算法的思想设计了加权频繁模式树的算法
而且使得算法更加适合实际应用我们讨论了当事务数据库变化
首先讨论分析了文献中的IUA算法而且提出了IUA的两种新的改进算法说明改进算法的高效性我们建立了关联规则更新的有效平行算法模型
以高效地解决事务数据库随着时间变化的更新问题
整篇论文涉及了兴趣度平行化设计和分析
关联规则数据挖掘加权关联规则
上海交通大学硕士学位论文
－ ３ － ＲＥＳＥＡＲＣＨ ＯＦ ＭＩＮＩＮＧ ＡＳＳＯＣＩＡＴＩＯＮ
ＲＵＬＥＳ ＡＬＧＯＲＩＴＨＭ ＩＮ ＤＡＴＡ ＭＩＮＩＮＧ
ＡＢＳＴＲＡＣＴ
The Association rule that was firstly advanced by Agrawal is the
focus of KDD research and still a hot topic among these specialists who
devote to data mining research today. Basing on reading and analyzing a
number of reference books and theses that involve the association rules
mining algorithm, I formulate several algorithms of association rules
mining and then analyze their correction and efficiency.
At first, after analyzing the Apriori Algorithm and its application, we
find some problems of Apriori Algorithm. To solve these problems, we
introduce the concept of interest to eliminate that these useless, even
misleading rules are mined and define the association rules again. The
formula design of interest is relatively reasonable and feasible because
the interest formula-
RInterest=
4RHRSC−*(
RC+
RHS) considers the factors
of
RC and
RHS values comprehensively. Considering the users’ interest,
an effective association rules algorithm is designed based on Aporiori
algorithm and user interest. In addition, we also discuss how to partition
the concept layers and solve the problems that are raised by this kind of 上海交通大学硕士学位论文
－ ４ － partition.
Secondly, we begin to discuss the weighted association rules and
illustrate four weighed association rules mining algorithm: the mining
algorithm basing on the separating support and weighted value; the
weighted algorithm basing on Apriori; the parallel algorithm; and the
weighted algorithm basing on FP-growth. Of course, the time
complexities of the four algorithms are also analyzed.
Finally, the paper discusses the adaptive algorithms respectively
when the minimum support and confidence threshold, and the transaction
number of database vary. According to the analysis for these algorithms,
the performance-improving algorithms of IUA and the algorithm of
frequent item sets mining basing on FT-tree are effective to deal with
these varieties.
In conclusion, this paper mainly develops several association rules
algorithms that involve the concept of interest and weighted values,
parallel design and algorithm analysis.
KEY WORDS: association rules, algorithm, data mining, interest,
weighted association rules
1
上海交通大学
学位论文原创性声明
本人郑重声明：所呈交的学位论文，是本人在导师的指导下，
独立进行研究工作所取得的成果。除文中已经注明引用的内容外，
本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。
对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式
标明。本人完全意识到本声明的法律结果由本人承担。
学位论文作者签名：马建庆
日期：2004 年 1 月 18 日 2
上海交通大学
学位论文版权使用授权书
本学位论文作者完全了解学校有关保留、使用学位论文的规
定，同意学校保留并向国家有关部门或机构送交论文的复印件和电
子版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学
位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、
缩印或扫描等复制手段保存和汇编本学位论文。
保密□，在 年解密后适用本授权书。
本学位论文属于
不保密□√。
（请在以上方框内打“√”）
学位论文作者签名：马建庆 指导教师签名：谢康林
日期：２００４ 年 １ 月 １８ 日 日期：２００４年 １ 月１８ 日 上海交通大学硕士学位论文
－ ７ － 第一章 数据挖掘概述
１．１数据挖掘背景
近年来随着数据库和计算机网络的广泛应用，加上使用先进的自动数据生成
和采集工具，人们所拥有的数据量急剧增大
先进的现代科学观测仪器的使用造成每天都要产生巨量的数
据，如各种同步卫星每小时传回地球的遥感图像数据就达５０ｇｉｇａ（千兆）字节
例如电子商务网站每天都可能有上百万次的在线交易Ｌｏｇ ｆｉｌｅｓ如何对这些数据进行分析和挖掘购买模式进而增加其竞争力
数据的迅速增加与数据分析方法的滞后之间的矛盾越来越突出，人们也希望能够在对已有的大量数据分析的基础上进行科学研究
数据挖掘正是为了解决传统分析方法的不足，并针对大规模数据的分析处理而出现的数据挖掘是将梦魇般的大量数据转换成知识的成为现实
数据挖掘（ｄａｔａ ｍｉｎｉｎｇ）如在银行保险零售等商业领域得到广泛应用
它是美国加州理工学院喷气
推进实验室（即设计火星探测器漫游者号的实验室）与天文科学家合作开发的用于帮助天文学家发现遥远的类星体的一个工具
利用ＳＫＩＣＡＴ，天文学家已发现了１６个新的极其遥远的类星体，该项发现能帮助天文工作者更好地研究类星体的形成以及早期宇宙的结构数据挖掘是从大量数据中提取或挖掘知识知识提取数据考古和数据捕捞机器学习一般而言 数据库
