关联规则分析报告 2009年7月8日 目录 一前言 (1) 二数据预处理 (1) 三前7710条真实数据分析 (2) 1商品按小类分析 (2) 2商品按中类分析 (4) 3商品按大类分析 (4) 4分析比较 (5) 四后44904条随机数据分析 (5) 1商品按小类分析 (5) 2商品按中类分析 (7) 3商品按大类分析 (8) 4分析比较 (8) 五52614条混合数据分析 (8) 1商品按小类分析 (8) 2商品按中类分析 (11) 3商品按大类分析 (11) 4分析比较 (12) 六总结 (12)
一前言 使用关联规则挖掘算法分析购物清单时，会产生不止“啤酒→尿布”的单一关联规则，而将出现涉及多种商品的“纵横交错”的多条关联规则。针对这一实际问题，本文利用学生日常购物记录数据进行关联分析，通过概念分层从不同粒度上分析商品之间的关联性，从而找到商品之间的关联规则，实现优化超市货物摆放次序的目的。 二数据预处理 1)在SQL server 2000 查询分析器里执行下面的SQL语句 declare @sql varchar(8000) set @sql = 'select zid ,xh' select @sql = @sql + ' , max(case goodsid when ''' + goodsid + ''' then goodsid end) [' + 'n'+ goodsid + ']' from (select distinct goodsid from rcxfjl) as a set @sql = @sql + ' into table_a from rcxfjl group by zid,xh' exec(@sql) 2)在PB里将有购买记录的列改为”yes” for i=1 to dw_1.rowcount() for li_index=1 to long(dw_1.object.datawindow.column.count) if integer(dw_1.getitemstring(i,dw_1.describe('#' + string(li_index) + ".name")))>0 then dw_1.setitem(i,dw_1.describe('#' + string(li_index) + ".name"),"yes") end if next next 3)将处理好的数据直接导出到Excel中 4)将Excel表中的空格替换成”?”(在weka中?表示缺省值)
聚类分析和关联规则属于数据挖掘这个大概念中的两类挖掘问题， 聚类分析是无监督的发现数据间的聚簇效应。 关联规则是从统计上发现数据间的潜在联系。 细分就是 聚类分析与关联规则是数据挖掘中的核心技术； 从统计学的观点看，聚类分析是通过数据建模简化数据的一种方法。传统的统计聚类分析方法包括系统聚类法、分解法、加入法、动态聚类法、有序样品聚类、有重叠聚类和模糊聚类等。采用k-均值、k-中心点等算法的聚类分析工具已被加入到许多著名的统计分析软件包中，如SPSS、SAS等。 从机器学习的角度讲，簇相当于隐藏模式。聚类是搜索簇的无监督学习过程。与分类不同，无监督学习不依赖预先定义的类或带类标记的训练实例，需要由聚类学习算法自动确定标记，而分类学习的实例或数据对象有类别标记。聚类是观察式学习，而不是示例式的学习。 聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。聚类分析所使用方法的不同，常常会得到不同的结论。不同研究者对于同一组数据进行聚类分析，所得到的聚类数未必一致。 从实际应用的角度看，聚类分析是数据挖掘的主要任务之一。而且聚类能够作为一个独立的工具获得数据的分布状况，观察每一簇数据的特征，集中对特定的聚簇集合作进一步地分析。聚类分析还可以作为其他算法（如分类和定性归纳算法）的预处理步骤。 关联规则挖掘过程主要包含两个阶段：第一阶段必须先从资料集合中找出所有的高频项目组(FrequentItemsets)，第二阶段再由这些高频项目组中产生关联规则(AssociationRules)。 关联规则挖掘的第一阶段必须从原始资料集合中，找出所有高频项目组(LargeItemsets)。高频的意思是指某一项目组出现的频率相对于所有记录而言，必须达到某一水平。 关联规则挖掘的第二阶段是要产生关联规则(AssociationRules)。从高频项目组产生关联规则，是利用前一步骤的高频k-项目组来产生规则，在最小信赖度(MinimumConfidence)的条件门槛下，若一规则所求得的信赖度满足最小信赖度，称此规则为关联规则。
关联规则挖掘综述 摘要：近年来国内外学者对关联规则进行了大量的研究。为了更好地了解关联规则的挖掘技术，对研究现状有更深入的了解，首先本文对数据挖掘技术进行了介绍，接着介绍了关联数据挖掘的基本原理，最后对经典的挖掘算法进行分类介绍。 关键词：数据挖掘；关联规则；算法；综述 1.引言 数据挖掘是从海量的数据里寻找有价值的信息和数据。数据挖掘中常用的算法[1]有：关联规则分析法（解决事件之间的关联问题）、决策树分类法（对数据和信息进行归纳和分类）、遗传算法（基于生物进化论及分子遗传学理论提出的）、神经网络算法（模拟人的神经元功能）等。 数据挖掘最早使用的方法是关联分析，主要应用于零售业。其中最有名的是售货篮分析，帮助售货商制定销售策略。随着信息时代的到来，数据挖掘在金融[2]、医疗[3]、通信[4]等方面得到了广泛的应用。 2.关联规则基本原理 设项的集合I = { I1 ，I2 ，...，Im }，数据库事务的集合为D，我们用|D|表示事务数据库所有事务的个数，其中用T
表示每个事务，使得T I。我们用TID作为每个事务的唯一标识符。用X表示一个项集，满足X T，那么交易T包含X。根据上述相关描述，给出关联规则的相关定义。 2.1项集支持度 用X表示数据库事务D中的项集，项集X的支持度表示项集X在D中事务数所占的比例，用概率P（X）表示，那么Support（X）=P（X）=COUNT（X）/|D| （1） 2.2关联规则置信度 X Y关联规则的置信度是数据库事务D中包含X Y的事务数与包含X的事务数之比，表示方法如下： confidence（X Y）= support（X Y）/support（X）= P（Y|X）（2） 3.关联规则算法 3.1经典的Apriori挖掘算法 大多数关联规则的算法是将关联规则挖掘任务分为两个子任务完成。一是频繁项集的产生，频繁项集的目的是找到大于等于给定的最小支持度阈值的所有项集，这些项集我们称之为频繁项集。二是规则的产生，即从频繁项集中找到置信度比较高的规则，我们称之为强规则。Apriori挖掘算法是众多挖掘关联规则中比较经典的算法，它采用布尔关联规则，是一种宽度优先算法。 3.2Apriori算法优化
摘要关联分析是一种简单、实用的分析技术，就是发现存在于大量数据集中的关联性或相关性，从而描述了一个事物中某些属性同时出现的规律和模式。关联分析是从大量数据中发现项集之间有趣的关联和相关联系。在关联规则挖掘算法中，Apriori算法是最常用的，Apriori算法广泛应用于商业中，应用于消费市场价格分析中，它能够很快的求出各种产品之间的价格关系和它们之间的影响。通过数据挖掘，市场商人可以瞄准目标客户，采用个人股票行市、最新信息、特殊的市场推广活动或其他一些特殊的信息手段，从而极大地减少广告预算和增加收入。百货商场、超市和一些老字型大小的零售店也在进行数据挖掘，以便猜测这些年来顾客的消费习惯。 关键词关联分析 Apriori算法spss clementines12.0 相关性 关联分析又称关联挖掘，就是在交易数据、关系数据或其他信息载体中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。或者说，关联分析是发现交易数据库中不同商品（项）之间的联系。在关联分析中，建立“关联规则模型”分析数据，了解事物之间的相关程度。比如，进行市场调查解决营销问题上，在海量数据中利用模型发现内在的规律性，从而找出解决方案。 A => B [ 支持度 =2%, 置信度 =60%] 式中A是规则前项（Antecedent），B是规则后项 (Consequent)。实例数表示所有购买记录中包含A的记录的数量。 支持度（Support）表示购买A的记录数占所有的购买记录数的百分比。 规则支持度（Rule Support）表示同时购买A和B的记录数占所有的购买记录数的百分比。 置信度（confidence）表示同时购买A和B的记录数占购买A记录数的百分比。 提升（Lift）表示置信度与已知购买B的百分比的比值，提升大于 1 的规则才是有意义的。 支持度 2% 意味着，所分析的记录中的 2% 购买了A。置信度 60% 表明，购买A的顾客中的 60% 也购买了B。如果关联满足最小支持度阈值和最小置信度阈值，就说关联规则是有意义的。这些阈值可以由用户或领域专家设定。就顾客购物而言，根据以往的购买记录，找出满足最小支持度阈值和最小置信度阈值的关联规则，就找到顾客经常同时购买的商品。 关联规则中的挖掘算法--Apriori算法 Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集。而且算法已经被广泛的应用到商业、网络安全等各个领域。 该算法的基本思想是：首先找出所有的频集，这些项集出现的频繁性至少和预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。然后使用第1步找到的频集产生期望的规则，产生只包含集合的项的所有规则，其中每一条规则的右部只有一项，这里采用的是中规则的定义。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度的规则才被留下来。经典的关联规则数据挖掘算法Apriori 算法广泛应用于各种领域，通过对数据的关联性进行了分析和挖掘，挖掘出的这些信息在决策制定过程中具有重要的参考价值。
数据挖掘的其他基本功能介绍 一、关联规则挖掘 关联规则挖掘是挖掘数据库中和指标（项）之间有趣的关联规则或相关关系。关联规则挖掘具有很多应用领域，如一些研究者发现，超市交易记录中的关联规则挖掘对超市的经营决策是十分重要的。 1、 基本概念 设},,,{21m i i i I =是项组合的记录，D 为项组合的一个集合。如超市的每一张购物小票为一个项的组合（一个维数很大的记录），而超市一段时间内的购物记录就形成集合D 。我们现在关心这样一个问题，组合中项的出现之间是否存在一定的规则，如A 游泳衣，B 太阳镜，B A ?，但是A B ?得不到足够支持。 在规则挖掘中涉及到两个重要的指标： ①、支持度 支持度n B A n B A )()(?=?，显然，只有支持度较大的规则才是较有价值的规则。 ②、置信度 置信度) ()()(A n B A n B A ?=?，显然只有置信度比较高的规则才是比较可靠的规则。
因此，只有支持度与置信度均较大的规则才是比较有价值的规则。 ③、一般地，关联规则可以提供给我们许多有价值的信息，在关联规则挖掘时，往往需要事先指定最小支持度与最小置信度。关联规则挖掘实际上真正体现了数据中的知识发现。 如果一个规则满足最小支持度，则称这个规则是一个频繁规则； 如果一个规则同时满足最小支持度与最小置信度，则通常称这个规则是一个强规则。 关联规则挖掘的通常方法是：首先挖掘出所有的频繁规则，再从得到的频繁规则中挖掘强规则。 在少量数据中进行规则挖掘我们可以采用采用简单的编程方法，而在大量数据中挖掘关联规则需要使用专门的数据挖掘软件。关联规则挖掘可以使我们得到一些原来我们所不知道的知识。 应用的例子： * 日本超市对交易数据库进行关联规则挖掘，发现规则：尿片→啤酒，重新安排啤酒柜台位置，销量上升75%。 * 英国超市的例子：大额消费者与某种乳酪。 那么，证券市场上、期货市场上、或者上市公司中存在存在哪些关联规则，这些关联规则究竟说明了什么？
数据挖掘考试题目——关联分析
数据挖掘考试题目——关联分析 一、10个选择 1.以下属于关联分析的是（） A．CPU性能预测B．购物篮分析 C．自动判断鸢尾花类别D．股票趋势建模 2.维克托?迈尔-舍恩伯格在《大数据时代：生活、工作与思维的大变革》一书中，持续强调了一个观点：大数据时代的到来，使我们无法人为地去发现数据中的奥妙，与此同时，我们更应该注重数据中的相关关系，而不是因果关系。其中，数据之间的相关关系可以通过以下哪个算法直接挖掘（）A．K-means B．Bayes Network C．C4.5 D．Apriori 3.置信度(confidence)是衡量兴趣度度量（）的指标。 A．简洁性B．确定性 C．实用性D．新颖性 4.Apriori算法的加速过程依赖于以下哪个策略（） A．抽样B．剪枝 C．缓冲D．并行 5.以下哪个会降低Apriori算法的挖掘效率（） A．支持度阈值增大B．项数减少 C．事务数减少D．减小硬盘读写速率 6.Apriori算法使用到以下哪些东东（） A．格结构、有向无环图B．二叉树、哈希树 C．格结构、哈希树D．多叉树、有向无环图 7.非频繁模式（） A．其置信度小于阈值B．令人不感兴趣 C．包含负模式和负相关模式D．对异常数据项敏感 8.对频繁项集、频繁闭项集、极大频繁项集的关系描述正确的是（）[注：分别以1、2、3代表之] A．3可以还原出无损的1 B．2可以还原出无损的1 C．3与2是完全等价的D．2与1是完全等价的 9.Hash tree在Apriori算法中所起的作用是（） A．存储数据B．查找 C．加速查找D．剪枝 10.以下不属于数据挖掘软件的是（） A．SPSS Modeler B．Weka C．Apache Spark D．Knime 二、10个填空 1.关联分析中表示关联关系的方法主要有：和。 2.关联规则的评价度量主要有：和。 3.关联规则挖掘的算法主要有：和。 4.购物篮分析中，数据是以的形式呈现。 5.一个项集满足最小支持度，我们称之为。
第42卷 第2期 吉林大学学报(理学版) V ol.42 N o.2 2004年4月 JO U RN A L OF JIL IN U N IV ER SIT Y(SCIEN CE EDIT ION)A pr 2004 关联规则最大频繁项目集的快速发现算法 刘大有1,2,刘亚波1,2,尹治东3 (1.吉林大学计算机科学与技术学院,长春130012; 2.吉林大学符号计算与知识工程教育部重点实验室,长春130012; 3.吉林出入境检验检疫局,长春130062) 摘要:提出一种快速发现最大频繁项目集的算法,该算法对集合枚举树进行改进,结合自底向上与自顶向下的搜索策略,利用非频繁项目集对候选最大频繁项目集进行剪枝和降维,减少了不必要候选最大频繁项目集的数量,显著提高了发现的效率. 关键词:关联规则;集合枚举树;最大频繁项目集 中图分类号:T P311 文献标识码:A 文章编号:1671-5489(2004)02-0212-04 Fast algorithm for discovering maximum frequent itemsets of association rules LIU Da-yo u1,2,LIU Ya-bo1,2,YIN Zhi-dong3 (1.College of Comp uter S cience and T echnology,J ilin U niver sity,Changchun130012,China; 2.K ey L abor atory of Sy mbolic Comp utation and K now ledg e E ngineering of M inistry of Education,J ilin U niver sity, Changchun130012,China; 3.J ilin E ntry-Ex it I nsp ection and Quar antine Bureau,Changchun130062,China) Abstract:The present paper presents an efficient alg orithm that improv es set-enumeratio n tr ee and finds maxim um frequent item sets.By co mbining botto m-up and top-dow n searches in set-enumeration tree and making use of the infrequent itemsets to pr une candidates of the m ax imum frequent itemsets, the algorithm reduces the number of candidates of the max imum frequent itemsets g enerated by it so that the efficiency is incr eased. Keywords:association rule;set-enumeration tree;max imum frequent itemset 发现频繁项目集是关联规则等多种数据挖掘的关键问题.在关联规则挖掘中,如果一个项目集的支持度不小于用户定义的最小支持度(以下简记为minsup),则称为频繁项目集;反之则称为非频繁项目集.如果一个频繁项目集的所有超集都是非频繁项目集,则称为最大频繁项目集.目前,多数频繁项目集发现算法都是Apr io ri算法或者其变种[1].这些算法采用自底向上的方法穷举每个频繁项目集,当最大频繁项目集很长时,这将是一个NP问题.任何频繁项目集都是最大频繁项目集的子集,该问题可以转化为发现所有最大频繁项目集.提高发现最大频繁项目集效率的关键是减少生成不必要的候选项目集及对其支持度的计算. 文献[2]中的M ax-Miner算法采用集合枚举树来描述项目集,突破了传统的自底向上的搜索策 收稿日期:2003-09-28. 作者简介:刘大有(1942～),男,教授,博士生导师,从事人工智能、数据挖掘和计算机应用的研究,E-mail:dyliu@https://www.doczj.com/doc/6918579623.html,. cn.联系人:刘亚波(1975～),女,博士研究生,从事关联规则挖掘和粗糙集理论的研究,E-mail:liu-yabo@https://www.doczj.com/doc/6918579623.html,. 基金项目:国家自然科学基金(批准号:60173006)、国家高技术研究发展计划项目(批准号:2003AA118020)、吉林省科技发展计划重大项目(批准号:吉科合字20020303-2)和吉林大学符号计算与知识工程教育部重点实验室资助基金.
第34卷 增 刊 JOURNAL OF XIDIAN UNIVERSITY V ol.34 Sup. 通信网告警相关性分析中有效的关联规则挖掘算法 李彤岩， 李兴明 （电子科技大学 宽带光纤传输与通信网技术教育部重点实验室，四川 成都 610054） 摘要：关联规则挖掘算法是通信网告警相关性分析中的重要方法。在处理数量庞大的告警数据库时，算法的效率显得至关重要，而经典的FP-growth 算法会产生大量的条件模式树，使得在通信网环境下挖掘关联规则的难度非常大。针对上述问题，提出了一种基于分层频繁模式树的LFPTDP 算法，采用分层模式树的方法产生频繁项集，从而避免了产生大量的条件模式树，并用动态剪枝的方法删除大量的非频繁项。算法分析及仿真表明，LFPTDP 算法具有较好的时间和空间效率，是一种适合于通信网告警相关性分析的关联规则挖掘算法。 关键词：关联规则；告警相关性分析；条件模式树；分层频繁模式树 中图分类号：TN915.07 文献标识码：A 文章编号：1001-2400(2007)S1-0039-04 An efficient method for association rules mined in telecommunication alarm correlation analysis LI T ong-yan ， LI Xing-ming (Key Laboratory of Broadband Optical Fiber Transmission and Communication Networks of Ministry of Education, UESTC, Chengdu ，610054) Abstract: The mining of association rules is one of the primary methods used in telecommunication alarm correlation analysis, in which the alarm databases are very large. The efficiency of the algorithms plays an important role in tackling large datasets. The classical FP-growth algorithm can produce a large number of conditional pattern trees which makes it difficult to mine association rules in telecommunication environment. In this paper, an algorithm LFPTDP based on the Layered Frequent Pattern Tree is proposed for mining frequent patterns and deleting infrequent items with dynamic pruning which can avoid producing conditional pattern trees. Analysis and simulation show that it is a valid method with better time and space efficiency, which is adapted to mining association rules in telecommunication alarm correlation analysis. Key words: association rules; alarm correlation analysis; conditional pattern tree; Layered Frequent Pattern Tree 关联规则挖掘是数据挖掘中的一个非常重要的研究领域，适合于通信网的告警相关性研究[1]，可以通过挖掘关联规则找出告警之间的相关性，从而有效的定位故障。一个网络故障往往会在短时间内引发大量告警的产生，挖掘算法的效率直接影响到了故障的定位和网络性能的恢复，所以将研究的重点放在如何提高关联规则的挖掘效率方面。 FP-Tree （Frequent Pattern Tree ）以及FP-growth （Frequent pattern growth ）算法[2]避免产生大量的候选项集，是一种深度优先的挖掘算法。其算法思想是将数据库中的频繁项压缩成一棵频繁模式树（FP-Tree ）的形式，FP-Tree 是一种可扩展的前缀树形压缩存储结构，树的节点包含了频繁模式的关联信息。然后将这种压缩的数据库分成若干组条件模式树分别进行挖掘，每个条件数据库和一个频繁项集的数据库相关联，当原始数据量很大的时候，也可以结合划分的方法,使一个FP-tree 可以放入主存中。FP-growth 是一种基于FP-Tree 的频繁模式挖掘算法，通过扫描FP-Tree 将发现的长频繁模式的问题转化成递归的发现一些短模式，然后连接后缀，可大大节省搜索空间。构造FP-Tree 的过程只需要两次遍历交易数据库，第一次扫描数据库生成频繁1-项集集合并计算每个频繁项的个数，按照频繁项的降序排列成列表；第二次将扫描排序后的项集并生成FP-Tree 。假设项集中的交易项数为，则转化为FP-Tree 的算法复杂度为。对比Apriori 算法n ()O n [3]可知，FP-Tree 及FP-growth 算法在效率上有了很大的提高，并对不同长度的规则都有很好的适应性。 因为FP-Tree 在存储数据结构上有了很大的改进，以后的研究主要是针对存储结构的改进。FPMAX 算法[4]基于FP-tree 结构来产生MFI-tree （maximal frequent itemsets tree ），用来挖掘存储最大频繁项集。但是MFI-tree 是一种全局数据存储结构，当项集大时产生的数量会非常庞大，因为一个项集的产生需要经过成千上万次最大化的比较， 这使得FPMAX 算法变得非常复杂。FPMAX ＊ 算法[5]是其改进算法，它虽然使用的是MFI-tree 结构，但是在每个条件FP-Tree 中将创建局部的MFI-tree ，如果由条件FP-Tree 中产生的局部最大频繁项是全局最大的，就只需要和局部 MFI-tree 中的项集比较。对比FPMAX 算法，FPMAX ＊ 可以降低算法复杂度和提高算法效率，并且减少了内存的占用率。 集中以上几种算法的优点，笔者提出了一种基于动态剪枝的分层频繁模式树（Layered Frequent Pattern Tree with —————————————— 收稿日期：2007-05-20 基金项目：国家自然科学基金资助项目（60572091） 作者简介：李彤岩（1980-），女，电子科技大学博士研究生。
习题3（第三章关联规则挖掘） 1.给出一个小例子表明强关联规则中的项实际上可能是负相关的。 2.对于下面的每个问题，提供一个与市场有关的关联规则的例子，并描述这种关联规则是 否是人们感兴趣的。 (a)一个具有高支持度和高置信度的关联规则； (b)一个具有理论上高支持度但低置信度的关联规则； (c)一个具有低支持度和低置信度的关联规则； (d)一个具有支持度但是高置信度的关联规则； 3.假定大型事务数据库DB的频繁项集已经存储，讨论：如果新的事务集DB加入，在 相同的最小支持度阈值下，如何有效的挖掘全局关联规则？ 4.考虑下面的频繁-3项集的集合： {1,2,3},{1,2,4},{1,2,5},{1,3,4},{1,3,5},{2,3,4},{2,3,5},{3,4,5} 假定数据集中只有5个项。 (a)列出采用F K-1ⅹF1合并策略，由候选产生过程得到的所有候选4-项集。 (b)列出由Apriori算法的候选产生过程得到的所有候选4-项集。 (c)列出Apriori算法候选剪枝步骤后剩下的所有候选4-项集。 5. (a)在item_category粒度(例如，item可以是“Milk”)，对于下面的规则模板： [s,c] 对最大的k，列出频繁k项集和包含最大的k项集的所有强关联规则(包含它们的 支持度s和置信度c)。 (b)在brand-item_category粒度(例如，可以是“Sunset-Milk”)，对于下面的规则 模板： 对最大的k，列出频繁k项集（但不输出任何规则）。 6.假设一个大型商店具有分布在4个站点的事务数据库。每个成员数据库中的事务具有相 同的格式:{}；其中，是事务标识符，而(1)是事务中购买的商品的标识符。提出一个有效的算法，挖掘全局关联规则(不考虑多层关联)。你可以给出算法的要点。算法不必将所有的数据移到一个站点，并且不造成过度的网络通信开销。7.关联规则常常产生大量规则。讨论可以用来减少所产生规则的数量并且仍然保留大部分 有趣规则的有效方法。 8.下面的相依表汇总了超级市场的事务数据。其中，hot dogs表示包含热狗的事务， 表示不包含热狗的事务，hamburgers表示包含汉堡包的事务，表示不包含汉堡包的事务。
[收稿日期] 2005 08 08 [基金项目] 吉林省科技发展计划项目(20040529) [作者简介] 伊卫国(1979-),男,硕士,主要从事人工智能、数据挖掘研究;卫金茂(1967-),男,博士,副教授,主要从事数据库开 发、数据挖掘研究. [文章编号]1000 1832(2006)02 0015 04 关联规则挖掘方法的改进 伊卫国,卫金茂,王名扬 (东北师范大学物理学院,吉林长春130024) [摘 要] 分析了关联规则的衡量标准,针对其中的缺点和不足,提出了一种匹配度方法用以取代置信度,并将匹配度方法生成的规则与支持度-置信度框架生成的规则进行了比较.结果 表明:用匹配度方法生成的规则不仅前件和后件具有较高的相关性,而且减少了冗余规则的生成. [关键词] 数据挖掘;关联规则;相关性;匹配度 [中图分类号] TP 181 [学科代码] 120 10 [文献标识码] A 0 引言 在交易数据库中挖掘关联规则是数据挖掘领域中的一个非常重要的课题[1].关联规则是发现数据库中不同项之间的联系,这些规则可用于发现顾客购买行为模式,如购买了某些商品对购买其他商品的影响.这样的规则可应用于商品货架设计、货存安排以及根据购买模式对用户进行分类等. 关联规则的基本问题描述如下:设I {i 1,i 2, ,i m }是二进制文字的集合,其中的元素称为项(item ).定义交易(transaction)T 为项的集合,并且T I ,定义D 为交易T 的集合.设X 是I 中若干项的集合,如果X T ,那么称交易T 包含X .在项目集中所包含的项的个数成为项目集的长度.关联规则是形如X Y 的蕴涵式,这里X !I ,Y !I ,并且X !Y = .规则X Y 在交易数据库D 中的支持度(support )是交易集中包含X 和Y 的交易数与所有交易数之比,记为support (X Y ),即support (X Y )=|{T :X ?Y T ,T #D }|/|D |.规则X Y 在交易集中的置信度(confidence )是指包含X 和Y 的交易数与包含X 的交易数之比,记为confidence (X Y),即confidence (X Y)=|{T :X ?Y T , T #D}|/|{T :X T ,T #D}|. 给定一个交易集D ,挖掘关联规则就是找出支持度和置信度分别大于用户给定的最小支持度(minsup )和最小置信度(minconf )的关联规则.因此挖掘关联规则可分解为如下两个子问题: (1)找出交易数据库D 中所有大于等于用户指定最小支持度的项目集(itemset ).具有最小支持度的项目集称为频集. (2)利用频集生成关联规则.对每一个频集M ,找到M 的所有非空子集m ,若support (M )/support (m )?minconf ,就生成关联规则m (M -m ),support (M )/support (m )为规则m (M -m )的置信度.其中m 定义为规则的前件,M -m 定义为规则的后件. 由于频集的生成需要多次扫描数据库,算法的频率显得非常关键,所以目前许多研究都集中在提高频集生成的算法效率上.R ?Ag raw al 等人提出了apriori 算法 [2] ;Park 等人提出了PH D 算 法.还有许多比较热门的研究课题,如apriori 算法的改进,关联规则的增量更新,有效关联规则的研究,基于神经网络的关联规则等[3-8] .本文主 要讨论如何进一步挖掘有效关联规则. 第38卷第2期东北师大学报(自然科学版) Vol.38N o.22006年6月 Journal of N ortheast N ormal U niversity (N atural Science Edition) June 2006
数据挖掘中的关联规则 程晓飞2009306202008 摘要： 近年来，数据挖掘己经引起了信息产业界的极大关注，这是快速增长的数据量和曰益贫乏的信息量之间矛盾运动的必然结果，对数据挖掘技术进行系统、深入、全面、详尽地研究是全球信息化发展的客观需要。本文对数据挖掘技术，尤其是关联规则数据挖掘技术进行了系统、深入、全面、详尽地分析和研究。 关键词：数据挖掘；关联规则；Ａｐｒｉｏｒｉ算法；基于划分的算法 1.什么是关联规则 在描述有关关联规则的一些细节之前，我们先来看一个有趣的故事："尿布与啤酒"的故事。 在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售。但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。这不是一个笑话，而是发生在美国沃尔玛连锁店超市的真实案例，并一直为商家所津津乐道。沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。一个意外的发现是："跟尿布一起购买最多的商品竟是啤酒！经过大量实际调查和分析，揭示了一个隐藏在"尿布与啤酒"背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。 按常规思维，尿布与啤酒风马牛不相及，若不是借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内在这一有价值的规律的。 数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。关联规则挖掘发现大量数据中项集之间有趣的关联或相关联系。Agrawal等于1993年首先提出了挖掘顾客交易数据库中项集间的关联规则问题，以后诸多的研究人员对关联规则的挖掘问题进行了大量的研究。他们的工作包括对原有的算
深圳大学研究生课程论文 题目对关联分析方法的学习报告成绩 专业软件工程(春)课程名称、代码数据库与数据挖掘142201013021年级2013 姓名刘璐 学号20134313008 时间2014 年11 月 任课教师傅向华
1关联分析方法及其应用综述 1.1关联分析概念 关联分析是一种简单、实用的分析技术，就是发现存在于大量数据集中的关联性或相关性，从而描述了一个事物中某些属性同时出现的规律和模式。 关联分析是从大量数据中发现项集之间有趣的关联和相关联系。关联分析的一个典型例子是购物篮分析。该过程通过发现顾客放人其购物篮中的不同商品之间的联系，分析顾客的购买习惯。通过了解哪些商品频繁地被顾客同时购买，这种关联的发现可以帮助零售商制定营销策略。其他的应用还包括价目表设计、商品促销、商品的排放和基于购买模式的顾客划分。 可从数据库中关联分析出形如“由于某些事件的发生而引起另外一些事件的发生”之类的规则。如“67%的顾客在购买啤酒的同时也会购买尿布”，因此通过合理的啤酒和尿布的货架摆放或捆绑销售可提高超市的服务质量和效益。又如“‘C语言’课程优秀的同学，在学习‘数据结构’时为优秀的可能性达88%”，那么就可以通过强化“C语言”的学习来提高教学效果。 世间万物的事情发生多多少少会有一些关联。一件事情的发生，很可能是也会引起另外一件事情的发生。或者说，这两件事情很多时候很大程度上会一起发生的。那么人们通过发现这个关联的规则，可以由一件事情的发生来，来推测另外一件事情的发生，从而更好地了解和掌握事物的发展，动向等等。这就是数据挖掘中，寻找关联规则的基本意义。数据挖掘技术中的关联规则挖掘是通过计算机自动从一大对真实数据中发现这样的关联规则出来。对于计算机而言，它需要知道所有的事情发生情况，并且把相应的事情合并成一个事务，通过对各个事务的扫描，来确定事情的关联规则。 1.2关联分析算法简介 Apriori算法[1] 是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。 该算法的基本思想是：首先找出所有的频集，这些项集出现的频繁性至少和预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。然后使用第1步找到的频集产生期望的规则，产生只包含集合的项的所有规则，其中每一条规则的右部只有一项，这里采用的是中规则的定义。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度的规则才被留下来。为了生成所有频集，使用了递归的方法。 （1） L1 = find_frequent_1-itemsets(D); （2） for (k=2;Lk-1 ≠Φ ;k++) {
电子科技大学政治与公共管理学院本科教学实验报告 （实验）课程名称：数据分析技术系列实验 电子科技大学教务处制表
电 子 科 技 大 学 实 验 报 告 学生姓名： 学 号： 指导教师： 一、实验室名称： 电子政务可视化实验室 二、实验项目名称：关联规则 三、实验原理 设I={i1,i2,…,in}是项目的集合，其中的元素称为项目(item)。 记D 为事务T (transaction)的集合，这里 T 是项目的集合，并且I T ?。 对应每一个事务有一个唯一的标识，如事务号，记为TID 。 设 X 是一个I 中项目的集合，如果T X ?，那么称事务T 包含X 。如果项目 X 包含个k 项目，则称其为k 项集。 一个关联规则是形如Y X ?的逻辑蕴含式，这里I X ?,I Y ?,并且 φ=?Y X 。 支持度(support)： 规则Y X ?在事务集 D 中的支持度是事务集中同时包含 X 和 Y 的事务数与所有事务数之比。 它反映了规则的可靠程度，记为 support( Y X ?))(Y X P ?=即 如果项集的支持度超过用户给定的最小支持度阈值，则称该项集为频繁项集(或大项集Large)。 置信度(confidence) 规则X ? Y 在事务集中的置信度是指同时包含X 和Y 的事务数与包含 X 的事务数(不考虑是否包含 Y )之比。 它反映规则的把握程度，是一个条件概率，即support(X ∪Y)/support(X), 记为confidence(X ? Y) 同时满足最小支持度阈值和最小置信度阈值的规则称为强规则。 四、实验目的 理解关联规则的基本原理，掌握在Statistica 软件中因子分析的主要参数设
数据挖掘考试题目——关联分析 一、10个选择 1.以下属于关联分析的是（） A．CPU性能预测B．购物篮分析 C．自动判断鸢尾花类别D．股票趋势建模 2.维克托?迈尔-舍恩伯格在《大数据时代：生活、工作与思维的大变革》一书中，持续强调了一个观点：大数据时代的到来，使我们无法人为地去发现数据中的奥妙，与此同时，我们更应该注重数据中的相关关系，而不是因果关系。其中，数据之间的相关关系可以通过以下哪个算法直接挖掘（） A．K-means B．Bayes Network C．C4.5 D．Apriori 3.置信度(confidence)是衡量兴趣度度量（）的指标。 A．简洁性B．确定性 C．实用性D．新颖性 4.Apriori算法的加速过程依赖于以下哪个策略（） A．抽样B．剪枝 C．缓冲D．并行 5.以下哪个会降低Apriori算法的挖掘效率（） A．支持度阈值增大B．项数减少 C．事务数减少D．减小硬盘读写速率 6.Apriori算法使用到以下哪些东东（） A．格结构、有向无环图B．二叉树、哈希树 C．格结构、哈希树D．多叉树、有向无环图 7.非频繁模式（） A．其置信度小于阈值B．令人不感兴趣 C．包含负模式和负相关模式D．对异常数据项敏感 8.对频繁项集、频繁闭项集、极大频繁项集的关系描述正确的是（）[注：分别以1、2、3代表之] A．3可以还原出无损的1 B．2可以还原出无损的1 C．3与2是完全等价的D．2与1是完全等价的 9.Hash tree在Apriori算法中所起的作用是（） A．存储数据B．查找 C．加速查找D．剪枝 10.以下不属于数据挖掘软件的是（） A．SPSS Modeler B．Weka C．Apache Spark D．Knime 二、10个填空 1.关联分析中表示关联关系的方法主要有：和。 2.关联规则的评价度量主要有：和。 3.关联规则挖掘的算法主要有：和。 4.购物篮分析中，数据是以的形式呈现。 5.一个项集满足最小支持度，我们称之为。 6.一个关联规则同时满足最小支持度和最小置信度，我们称之为。