实验二Clementine12购物篮分析（关联规则）
一、[实验目的]
设计关联规则分析模型，通过模型演示如何对购物篮分析，并根据细分结果对采取不同的营销策略。体验以数据驱动的模型计算给科学决策带来的先进性。
二、[知识要点]
1、购物蓝分析概念；
2、管来呢规则算法原理；
3、购物蓝分析工具；
4、Clementine12.0关联规则分析流程。
三、[实验要求和内容]
1、初步了解使用工作流的方式构建分析模型；
2、理解智能数据分析流程，主要是CRISP-DM工业标准流程；
3、理解关联规则模型原理；
4、设计关联规则分流；
5、运行该流，并将结果可视化展示；
6、得出模型分析结论
7、运行结果进行相关营销策略设计。
四、[实验条件]
Clementine12.0挖掘软件。
五、[实验步骤]
1、启动Clementine12.0软件；
2、在工作区设计管来呢规则挖掘流；
3、执行模型，分析计算结果；
4、撰写实验报告。
六、[思考与练习]
1、为什么要进行关联规则分析？它是如何支持客户营销的？
实验内容与步骤
一、前言
“啤酒与尿布”的故事是营销届的神话，“啤酒”和“尿布”两个看上去没有关系的商品摆放在一起进行销售、并获得了很好的销售收益，这种现象就是卖场中商品之间的关联性，研究“啤酒与尿布”关联的方法就是购物篮分析，购物篮分析曾经是沃尔玛秘而不宣的独门武器，购物篮分析可以帮助我们在门店的销售过程中找到具有关联关系的商品，并以此获得销售收益的增长！
“啤酒与尿布”的故事产生于20世纪90年代的美国沃尔玛超市中，沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象：在某些特定的情况下，“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中，这种独特的销售现象引起了管理人员的注意，经过后续调查发现，这种现象出现在年轻的父亲身上。
在美国有婴儿的家庭中，一般是母亲在家中照看婴儿，年轻的父亲前去超市购买尿布。父亲在购买尿布的同时，往往会顺便为自己购买啤酒，这样就会出现啤酒与尿布这两件看上去不相干的商品经常会出现在同一个购物篮的现象。如果这个年轻的父亲在卖场只能买到两件商品之一，则他很有可能会放弃购物而到另一家商店，直到可以一次同时买到啤酒与尿布为止。沃尔玛发现了这一独特的现象，开始在卖场尝试将啤酒与尿布摆放在相同的区域，让年轻的父亲可以同时找到这两件商品，并很快地完成购物；而沃尔玛超市也可以让这些客户一次购买两件商品、而不是一件，从而获得了很好的商品销售收入，这就是“啤酒与尿布”故事的由来。
当然“啤酒与尿布”的故事必须具有技术方面的支持。1993年美国学者Agrawal （个人翻译--艾格拉沃）提出通过分析购物篮中的商品集合，从而找出商品之间关联关系的关联算法，并根据商品之间的关系，找出客户的购买行为。艾格拉沃从数学及计算机算法角度提出了商品关联关系的计算方法—Aprior算法。沃尔玛从上个世纪90年代尝试将Aprior算法引入到POS机数据分析中，并获得了成功，于是产生了“啤酒与尿布”的故事。
“啤酒和尿布”的故事为什么产生于沃尔玛超市的卖场中？
卖场中“啤酒与尿布”的现象比比皆是，为什么“啤酒与尿布”的故事只产生在沃尔玛的卖场中，而不是其他零售门店？这里有两个原因。
第一个是沃尔玛先进的计算机技术是“啤酒与尿布”故事产生的强大支持后盾。零售业目前使用的很多新技术都是沃尔玛率先“尝鲜”的，比如沃尔玛最早在门店尝试计算机记账，最早在门店收款台尝试使用外形丑陋俗称“牛眼”的条码扫描器进行收款，世界上第一个发射私人通信卫星等等。“前人栽树，后人乘凉”，目前运用于门店管理的很多技术手段都是沃尔玛做了“第一个吃螃蟹”的，我们只不过坐享其成而已。由于沃尔玛具备先进的技术手段，“啤酒与尿布”的故事在沃尔玛产生就一点也不奇怪了。
第二个原因是沃尔玛拥有一双锐利的慧眼。沃尔玛是一家极其讲究卖场现场管理的企业，沃尔玛创始人老沃尔顿最大的乐趣就是不停地在卖场巡视，更多地运用自己的双眼而不是数据来发现事实。因此不能忽略的是，没有沃尔玛管理人员的慧眼，“啤酒与尿布”的故事也会淹没在大量的零售数据中。
营销界很多人对于“啤酒与尿布”的故事津津乐道，吹捧得如同发现新大陆般！“啤酒与尿布”的故事就是商品交叉销售，这种销售现象几乎和人类历史一样悠久，在古人披着兽皮交换贝壳、粮食、石斧等商品时，他们已经清楚地了解商品交叉销售对于商品交易的重要性，一些聪明的家伙会采取种种措施鼓励客户多交换一些商品(估计是一袋贝壳加一条鱼换一袋大米)。“啤酒与尿布”的故事只是对商品交叉销售现象的一种现代解释，并不是出现“啤酒与尿布”的故事之后，才存在商品交叉销售的现象。从这个意义上讲，沃尔玛并没有发现新大陆，只不过把我们视而不见的现象挖出来，并从中发现了商业价值。沃尔玛的创始人老沃尔顿说，retail is detail (零售就是细节)。
研究商品关联关系的方法就是购物篮分析，在购物篮分析方面有两个值得我们学习的榜样，一个是美国的沃尔玛，另一个是日本的7-11便利店。同样是购物篮分析，沃尔玛强调找出商品之间的关联关系，比如啤酒与尿布，而7-11便利店的重点在于找出影响商品销售的所有因素，比如碳酸饮料与气温的关系等等。换句话说，沃尔玛重点是分析购物篮内商品之间的关联关系，而日本7-11便利店的重点是从购物篮外面找影响商品销售的关联关系。
美式购物篮分析
以沃尔玛为代表的美食购物篮分析的目标一般是卖场面积巨大，通常都是上
万平方米，商品种类繁多，大多在10万种以上，所以要通过购物篮分析找出淹没在不同区域商品之间的关联关系，并将这些关联关系用于商品关联陈列、促销等具体工作中，是很难通过人工完成的。比如啤酒在酒类区域，尿布在婴儿用品区域，两个商品陈列区域相差几十米，甚至可能是“楼上、楼下”的陈列关系，用肉眼很难发现啤酒与尿布存在关联关系的规律。
我们把找出购物篮中商品之间关系的方法称为“美式购物篮”分析法，这种方法适合应用于类似沃尔玛这样的大卖场，用于找出不同陈列区域商品之间的关系。英国的Tesco连锁超市、Safeway连锁超市也都是这种购物篮分析的高手。我们这个课程所主要研究的目标也是这种美食购物篮。
日式购物篮分析
日本这个国家很神奇，虽然身为岛国，但是经济发达。分析日式购物篮确实能够看到日本人在经商方面的巧妙之处。日本的超市以7-11便利店为典型，7-11便利店营业面积都很小，一般只有100~250平方米，商品品种3000~10000种，是典型的“螺蛳壳里做道场”。
如我们在电影或者泡沫剧里面所见，日本很多门店的经营面积狭小，站在门店里任何一个角落，所有的商品转个身就全看见了——真正的抬头不见低头见，所以找出商品关联关系不是日本7-11便利店的重点：你就是找出来啤酒与尿布之间有“暗恋”关系，也没用！因为啤酒与尿布本来就在一起。
当然日本7-11便利店这类相关陈列的故事也是有的，比如荞麦冷面与纳豆、鱼肉香肠与面包、酸奶与盒饭等等，但是毕竟起不到主要作用，日本7-11便利店更关注的是：
●气温由28℃上升到30℃，对碳酸类饮料、凉面的销售量会有什么影响？
●下雨的时候，关东煮的销售量会有什么变化？
●盒饭加酸奶、盒饭加罐装啤酒都是针对什么样的客户群体？他们什么时间到门店买这些商品？
所以，日本人的重点是分析所有影响商品销售的关联因素，比如天气、温度、时间、事件、客户群体等，这些因素我们称为商品相关性因素。
日本人对于所有影响商品销售的关联因素研究得非常透彻，因此日本就会有气温-碳酸饮料指数、空调指数、冰激凌指数，因此就不难理解为什么7-11便利店会设置专门的气象部门，因此更能够理解为什么日本7-11便利店会要求门店
每天5次将门店内外的温度、湿度上传回总部，供总部与商品销售进行对比分析。
与商品之间的关联关系相比，日本7-11便利店认为这些关联因素更重要。由于这是日本7-11便利店大量采取的方式，我们也称为“日式购物篮”分析法。
“啤酒和尿布”故事包含什么样的含义？
沃尔玛的“啤酒与尿布”的故事实际上向我们揭示了零售业未来的获利及生存模式。他凸显了零售卖场中一个全新的管理理念，即商品之间是具有关联关系的，发现并利用这些商品之间的关联关系，可以在无法大幅增加门店客户数的前提下，通过增加购物篮中的商品数量达到增加销售额的目的，从而获得更大的经营收益。
启示一：购物篮大于商品
有在零售业工作经验的朋友都知道，老板考核大家的主要指标是商品销售额，你的工资袋取决于商品的销售额。老板会将商品销售指标下发到个人，每个人都只会关注自己的“一亩三分地”，卖啤酒的只管闷头卖啤酒，卖尿布的只管闷头卖尿布，每个柜台只管自己的商品是否能进入客户手中的购物篮。卖啤酒的不关心购物篮中的尿布，卖尿布的也漠视购物篮中的啤酒，只要别漏了自己柜台的东西就行了，因为漏了自己的商品，这个月的奖金就没了，人人只扫门前雪，长此以往商店的整体效益当然不会好了，效益不好就要裁员，大家都没好果子吃。反观沃尔玛的卖场管理体系中，购物篮是主要的管理对象，而不仅仅是商品。
为什么沃尔玛会以购物篮为管理重点？沃尔玛认为商品销售量的冲刺只是短期行为，而零售企业的生命力取决于购物篮。一个小小的购物篮体现了客户的真实消费需求和购物行为，每一只购物篮里都蕴藏着太多的客户信息。零售业的宗旨是服务客户，沃尔玛认为商店的管理核心应该是以购物篮为中心的顾客经营模式，商品排名只能体现商品自身的表现，而购物篮可以体现客户的购买行为及消费需求，关注购物篮可以使门店随时掌握客户的消费动向，从而使门店始终与客户保持一致。
启示二：购物篮方面的差距
购物篮的表现形式就是我们常说的“客单价”，客单价的高低直接反映了零售企业的经营效益。根据AC·尼尔森2006年对国内零售企业的调查发现，从周一到周五正常工作日，同样一个万米经营面积的大卖场，国内卖场的平均客单价是29元，家乐福、沃尔玛、欧尚等国际零售巨头卖场的客单价为75元，好又
多、大润发、乐购等台资卖场客单价为50元。到了周末(周六、周日)的差距更大，国内卖场客单价为35元，台资卖场客单价为80元，外资卖场可以达到149元，这就是我们国内企业在购物篮方面的差距。
我们知道，销售额=客单价×客流数。在同等客流量的情况下，我们的企业由于客单价低，已经先失一着，销售业绩要比外资企业低200％，比台资企业低60％。此外，销售额低会带来很多问题，比如毛利额低、通道费低、与供应商的话语权降低，甚至会直接影响到企业的生存。因此，要想提高商业企业的销售业绩，必须改善企业购物篮，全面提升客单价，可以说零售企业的购物篮代表了企业的生存权！
另据有关报道，客户到家乐福卖场的年平均购物频度只有9.8次，但是在快速消费品的市场份额却比年平均客户购物频度高达51次的华润苏果高出3.63％，家乐福、沃尔玛、易初莲花等外资零售企业仅仅利用客户几次上门购物的机会，就获得了远比国内零售同行高很多的快速消费品市场份额。
尤其要注意的是，沃尔玛、欧尚等外资零售企业在国内只有区区的十几家门店，居然占据了非常大的市场份额，充分显示了这些外资零售企业在购物篮方面的确有“高招”。
“啤酒与尿布”故事的依据是商品之间的相关性(也称关联性，英文名称为association rule)，商品相关性是指商品在卖场中不是孤立的，不同商品在销售中会形成相互影响关系(也称关联关系)，比如“啤酒与尿布”故事中，尿布会影响啤酒的销量。在卖场中商品之间的关联关系比比皆是，比如咖啡的销量会影响到咖啡伴侣、方糖的销售量，牛奶的销量会影响面包的销售量等等。
所谓事物之间的相关性是指当一个事物变化时，另一个事物也会发生变化。当事物之间的变化是相互抵消的，比如猪肉价格上涨、猪肉销量下降，我们称这种相关性是负相关；当事物之间的变化呈现同一个方向发展时，比如气温上升、冷饮销量也上升，我们称这种相关性是正相关。
有些事物的相关性显而易见，有些则不是那么明显。美国华尔街股票分析师将女性超短裙的长度与道琼斯股票指数建立了关联，超短裙的长度与股票指数成反比趋势，据说十分灵验，这就是相关性在生活中的种种体现。
商店中的关联性更是比比皆是，比如烟酒销售的关联关系：当门店附近有建筑工地时，低档烟、酒的销售就会上升；当附近有高档社区时，中华烟、葡萄酒
的销售量就会上升。
提到商品相关性，很多人认为就是数据分析的事儿，其实对于商品相关性来说，更重要的是客户心理层面的因素，毕竟是人在提着购物篮，而不是猴子。
客户在购物时的心理行为是产生商品之间关联关系最基本的原因，因此在找到购物篮规律时，必须要从客户消费心理层面解释这些关联关系，否则“啤酒与尿布”会永远停留在啤酒与尿布两个商品身上，而没有任何的推广意义。要想详细了解商品相关性形成的客户心理因素，要进行大量的客户消费行为观察，构建客户购物篮场景，才可使“啤酒与尿布” 的故事发扬光大。
二、关联规则的概念
关联规则挖掘发现大量数据中项集之间有趣的关联或相关联系。它在数据挖掘中是一个重要的课题，最近几年已被业界所广泛研究。
关联规则挖掘的一个典型例子是购物篮分析。关联规则研究有助于发现交易数据库中不同商品（项）之间的联系，找出顾客购买行为模式，如购买了某一商品对购买其他商品的影响。分析结果可以应用于商品货架布局、货存安排以及根据购买模式对用户进行分类。
Agrawal 等于1993年首先提出了挖掘顾客交易数据库中项集间的关联规则问题，以后诸多的研究人员对关联规则的挖掘问题进行了大量的研究。他们的工作包括对原有的算法进行优化，如引入随机采样、并行的思想等，以提高算法挖掘规则的效率；对关联规则的应用进行推广。
最近也有独立于Agrawal 的频集方法的工作，以避免频集方法的一些缺陷，探索挖掘关联规则的新方法。也有一些工作注重于对挖掘到的模式的价值进行评估，他们提出的模型建议了一些值得考虑的研究方向。
关联规则挖掘可以发现存在于数据库中的项目或属性间的有趣关系，这些关系是预先未知的或者被隐藏的。为了准确描述关联规则挖掘问题，需要给出关联规则挖掘问题的正式定义，下面用事务数据库来定义关联规则。
设D 交易(transaction) T 的集合，12{,,,}n D t t t =?，这里交易T 是项的集合，可以表述为：12{,,,}P T t t t =?并且T D ?。T 中的元素{1,2,,}j i j p ==?称为项。对应每一个交易有唯一的标识，如交易号，记作TID 。设12{,,,}m I i i i =?是数据
集中所有项的集合，I 是二进制文字的集合。I 中的任何子集称为项目集(itemset)，若|X|k =，则称集合X 为-K 项集。设k t 和X 分别为D 中的事务和项目集，如果k X t ?，称事务k t 包含项目集X 。项目集X 的支持率support(X),若
support(X)不小于用户指定的最小支持率(记作：
minsupport)，则称X 为频繁项目集，否则称X 为非频繁项目集。设X ，Y 是数据集D 中的项目集。若Y X ?，则support(X)support(Y )≥；若X Y ?，如果X 是非频繁项目集，则Y 也是非频繁项目集；若X Y ?，如果Y 是频繁项目集，则X 也是频繁项目集。
一个关联规则是形如Y X =>的蕴涵式，这里X ，Y 都是项目集，且1X C ?，1?Y ，并且 X Y ?=I ，X ，Y 分别称为关联规则Y X =>的前提和结论。
一般使用支持度（support ）和置信度（confidence ）两个参数来描述关联规则的属性。
（1）支持度
规则Y X =>在数据库D 中的支持度(support)是交易集中同时包含X ， Y 的事务数与所有事务数之比，记为support(X Y)=> sup ()port X Y =?。支持度描述了X ，Y 这两个项集在所有事务中同时出现的概率。
（2）置信度
规则Y X =>在事务集中的置信度(confidence)是指同时包含X ，Y 的事务数与包含X 的事务数之比，它用来衡量关联规则的可信程度。记为()confidence X Y =>＝support(X Y)support(X)
U 。 一般情况下，只有关联规则的置信度大于期望可信度，才说明X 的出现对Y 的出现有促进作用，也说明了它们之间的某种程度的相关性。给定一个事务集D ，挖掘关联规则的问题就是产生支持度和置信度分别大于用户事先给定的最小支持度和最小置信度的关联规则。关联规则挖掘的任务就是要挖掘出D 中所有的强规则Y X =>。强规则Y X =>对应的项目集(X Y)?必定是频繁项目集，频繁项目集(X Y)?导出的关联规则Y X =>的置信度可由频繁项目集X 和(X Y)?的支持度计算。因此，可以把关联规则挖掘划分为两个子问题：一个是找出所有的频繁项目集：即所有支持度不低于给定的最小支持度的项目集。另一个是由频繁
项目集产生强关联规则：即从第一个子问题得到的频繁项目集中找出置信度不小于用户给定的最小置信度的规则。其中，第一个子问题是关联规则挖掘算法的核心问题，是衡量关联规则挖掘算法的标准。
三、Apriori 算法
关联规则的算法相当多，其中经典算法Apriori 是最有影响的挖掘布尔关联规则频繁项目集的算法，同时大部分关联规则算法也都是经典算法Apriori 的演绎和改进。Apriori 算法是通过有候选项集的方法来产生频繁项集，它的核心思想 ：任何频繁项集的所有子集一定是频繁项集。
在Apriori 算法中，遍历数据库，得到大一项集1F 。如果1F 非空，由1F 产生长度为2的候选项集合2C ，对事务处理数据库中的每一个事务t ，求出t 在2C 中的全部子集t C ，对于t C 中的每一个长度为2的候选取项集c ，令c 的计数c. count 加1。当扫描事务处理数据库一遍后，筛选取出候选项集合2C 中所有计数满足最小支持度的项集组成了长度为2的频繁项集合。用以上步骤重复处理新得到的频繁项集合，直到没有频繁项集合产生。
在这里，由于从候选项集中产生频繁项集的过程需要遍历数据库，因此如何正确地产生最少数目的候选项集十分关键。候选项集产生的过程Apriori - gen(Fk-1)被分为两个部分：联合与剪技。采用这种方式，使得所有的频繁项集既不会遗漏又不会重复。剪枝的目的是减少扫描数据库时需要比较的候选项集的数量。剪枝的原则是：候选项集C 的k 个长度为1k -的子集都在1k F -中，则保留C ；否则C 被剪枝。
Apriori 算法的描述如下。
输入：
①事务数据库D ；
②最小支持度阀值min_sup 。
输出：D 中的频繁项集L 。方法：
第1步 产生频繁项集
第2步 产生频繁)2(end k >-项集
产生频繁候选k 项集
由频繁1-k 项集连接成为k 项集
检测k 项集的所有的1-k 子集是否为频繁项集，若是该k 项集就
成为了频繁候选项集
扫描事务数据库D 对每个候选k 项集计数
达到最少支持度的频繁候选k 项成为频繁k 项集。
四、Clementine 购物蓝分析
本次实验是以clementine 软件当中的数据为数据来源展开数据挖掘工作的，数据样本为Demos 文件夹里的baskrule.sav 文件，数据量为一千余条，保证了实验结果的依据性和可靠性。实验的目的是基于关联规则，利用clementine 实现市场购物篮分析。
SPSS Clementine 支持标准化的数据挖掘流程，现在将从其中的数据理解、数据准备、建立模型等几个方面进行本课题的研究。下图1是整个数据流的图形：
图1 整体数据流
此次实验的研究方法可以概括为如图2.
图2 研究方法流程
4.1 数据理解阶段
数据准备是整个数据挖掘过程的重要部分，数据质量越高，挖掘结果准确性越高。
首先选择“数据源”选项卡里面的固定文件节点，将其添加到数据流区，并导入baskrule.sav 文件数据。此时可以用“输出”选项卡里的表结点与数据文件连接，查看数据的情况。数据当中18个变量的情况可见下表1.
表1 研究数据字段说明
字段都属于一个订单项。
4.2数据准备阶段
在数据表当中既无缺失值，又无数据重复性的问题出现，因此不需要对源数据做过多的数据过滤和预处理过程。
考虑到数据属性对于数据挖掘建模的影响，需要对数据的方向属性做修改，此时可添加“类型”节点，让数据源固定文件节点连接到“类型节点”。
类型节点使用：使用Clementine 类型节点能访问每个字段的属性，可以很便利地扩充脚本内容以列出类型节点中显示的其他属性，例如缺失值或方向。
编辑“类型节点”，将所有产品类别的角色设置为双向（双向表示该字段可以是结果模型的输入或者输出），并将所有其他角色设置为无（如图3）。
因为每个忠诚卡ID 在数据集中只出现一次，因此对于建模没有用处，此时可将字段卡ID 的类型设置为“无类型”。同时为了确保GRI 建模算法不会将性别视为标志，应将选择集作为字段性别的类型。
图3 数据属性编辑表
4.3建立模型阶段
建立模型之前，必须选择模型算法，关联规则算法和决策树分析算法适合于本次的购物篮分析。
首先，介绍GRI节点选项
最低规则置信度，可以指定在规则集中保留规则的准确性标准（以百分比表示）。
最大条件数，可以为任何规则指定最大条件数。这是一种用来限制规则复杂性的方式。如果规则太复杂或者太具体，需要尝试降低此设置，此设置对于训练时间也具有很大的影响；如果规则集训练所需的时间过长，需要尝试降低此设置。
最大规则数，此选项决定了规则集中包含的规则数。规则是按照相关度（由GRI 算法计算）的降序顺序包含在内的。使用分区数据。如果分区字段位于流中，则此选项会将数据分割成数个用于训练、测试和验证的单独样本，并且可能提供当模型扩展为可适用于大型数据集（与当前的数据类似）时，该模型的能力说明。只显示值为真的标志变量。如果选中此选项，生成的规则则只会显示真值。这样可能有助于使得规则更容易理解。
接着进行操作。在数据准备过程完成、指定了用于建模的字段后，将GRI 节点添加到“类型”节点，编辑它，选择选项“使用分区数据”、“只显示值为真的标志变量”，设置最低规则置信度为50.0%,最大前项数为3，最大规则数为20，
最大前项数和最大规则数都不能过多，要能够适应数据的属性和量。如下图4.4：
图4：GRI节点编辑
按照上图，点击运行得出GRI节点的结果，可见图5
图5：GRI节点运行结果
在最后几条关联规则都具有这样的特征：置信度高，支持度低。这说明规则的可信度高，但普遍性不高，也就说明购买罐装蔬菜，同时购买鲜肉、冻肉和啤酒的概率极高，但是购买罐装蔬菜本身在购买活动中出现的概率较低，造成规则的使用范围有限、应用机会少。因此最后几条规则不具有一般性。而在前几条关联规则中，支持度属于较高水平，说明应用范围较为广泛，而置信度也不低，体现出规则的可信度也高。这些规则出现了双向关联规则，显示冻肉、罐装蔬菜和啤酒之间存在多种关联。下面可通过单向箭头具体表现：
frozenmeal→beer
beerfrozen→meal
frozenmeal→cannedveg
cannedveg→frozenmeal
wine→confectionery
confectionery →wine
二、由于图形选项框中的“Web显示”在一定机会上能够让数据中的一些模式更加突出，所以为了能够迅速直观地从上述关联规则中找到更加贴近的关联规则，可将Web 节点附加到“类型”节点。
首先，介绍Web 节点：
数据挖掘过程的若干个阶段都会用图形和图表来探索导入到Clementine 中的数据。例如，可将散点图或条形图节点连接到数据源，以了解数据类型和数据分布。Web 节点属于图形节点之一，网络节点用于显示两个或更多符号字段的值之间，关系的紧密程度[10]。在图形中显示的链接以不同类型的线条表示，依次说明链接的强度不同。例如，可以使用网络节点，检查胆固醇水平、血压及可有效治疗病人疾患的药品之间的关系。
其中链接的三种类型有：强链接，以粗线条显示，用以说明两个值之间关系紧密，应该进一步检查；普通链接，用普通粗细的线条显示；弱链接以虚线显示。
接着进行实验操作。编辑Web 节点，选择所有购物篮内容字段，选择仅显示真值标志，如图6
图6：Web 节点编辑器
执行Web节点，显示结果如下图
图7：Web 节点运行结果
因为大多数产品类别组合都会出现在多个购物篮中，所以此Web 上的强链接太多，无法显示GRI 模型表示的客户群。要提高临界值以便只显示最强的链
接，需要使用工具栏上的滑块，来实现最多只显示50 个连接
除了要求了连接数量显示50个以外，还要指定弱连接和强连接，作用是让Web显示的关联度更加明显，可单击工具栏上的黄色双箭头按钮，展开显示Web 输出摘要和控件的对话框：选择“大小表示强/正常/弱”。将“弱链接”设置为低于90。将“强链接”设置为高于100。
以下为编辑窗口示意图：
图8：Web 节点编辑链接数
最终显示结果为：
图9：编辑结果显示
在最终显示中，会有三个客户群突出显示：
第一个，购买鱼和果蔬的客户，可将这类客户成为“健康食客”
第二个，购买酒和粮果的客户
第三个，购买啤酒、冻肉和罐装蔬菜（“啤酒、豆类和比萨”）的客户
这个时候可以和上面GRI节点得出的结果做对比，发现使用Web节点能得到三个强关联的客户群，而GRI 仅标识两客户群个，健康食客未形成足够强的模式，GRI 无法发现它。
三、客户群添加特征标志
根据上述数据最后进行的关联度分析，客户购买的产品类型最终标识了三个客户群，但是还要知道这些客户的人口统计学特征。通过为每个客户群添加特征标志，并使用规则归纳（C5.0）来基于关联规则描绘这些标志的特征，可以实现这一点。过程如下：
首先，必须获取每个客户群的标志。使用刚刚创建的Web显示图，可以自动生成每个群的标志，使用鼠标右键，单击fruitveg和fish之间的链接以突出显示该链接，然后右键单击并选择“生成链接的导出节点”。如下图10：
图10：通过Web节点标识客户群
编辑最终的“派生”节点以将“派生”字段名称更改为“healthy”。同样，
使用从wine到confectionery的链接，右键选择“生成链接的导出节点”，将最终的“派生”字段命名为wine_confect.
对于第三个群（涉及三个链接），首先要确保未选择任何链接。然后，按住shift同时单击鼠标左键，从而选择cannedveg、beer和frozenmeal中的全部三个链接，然后从web显示菜单中选择：生成>导出节点,如下图11:
图11：第三个群的生成
将最终“派生”字段的名称更改为beer_fromeal_cannedveg：
关联规则分析报告 2009年7月8日 目录 一前言 (1) 二数据预处理 (1) 三前7710条真实数据分析 (2) 1商品按小类分析 (2) 2商品按中类分析 (4) 3商品按大类分析 (4) 4分析比较 (5) 四后44904条随机数据分析 (5) 1商品按小类分析 (5) 2商品按中类分析 (7) 3商品按大类分析 (8) 4分析比较 (8) 五52614条混合数据分析 (8) 1商品按小类分析 (8) 2商品按中类分析 (11) 3商品按大类分析 (11) 4分析比较 (12) 六总结 (12)
一前言 使用关联规则挖掘算法分析购物清单时，会产生不止“啤酒→尿布”的单一关联规则，而将出现涉及多种商品的“纵横交错”的多条关联规则。针对这一实际问题，本文利用学生日常购物记录数据进行关联分析，通过概念分层从不同粒度上分析商品之间的关联性，从而找到商品之间的关联规则，实现优化超市货物摆放次序的目的。 二数据预处理 1)在SQL server 2000 查询分析器里执行下面的SQL语句 declare @sql varchar(8000) set @sql = 'select zid ,xh' select @sql = @sql + ' , max(case goodsid when ''' + goodsid + ''' then goodsid end) [' + 'n'+ goodsid + ']' from (select distinct goodsid from rcxfjl) as a set @sql = @sql + ' into table_a from rcxfjl group by zid,xh' exec(@sql) 2)在PB里将有购买记录的列改为”yes” for i=1 to dw_1.rowcount() for li_index=1 to long(dw_1.object.datawindow.column.count) if integer(dw_1.getitemstring(i,dw_1.describe('#' + string(li_index) + ".name")))>0 then dw_1.setitem(i,dw_1.describe('#' + string(li_index) + ".name"),"yes") end if next next 3)将处理好的数据直接导出到Excel中 4)将Excel表中的空格替换成”?”(在weka中?表示缺省值)
聚类分析和关联规则属于数据挖掘这个大概念中的两类挖掘问题， 聚类分析是无监督的发现数据间的聚簇效应。 关联规则是从统计上发现数据间的潜在联系。 细分就是 聚类分析与关联规则是数据挖掘中的核心技术； 从统计学的观点看，聚类分析是通过数据建模简化数据的一种方法。传统的统计聚类分析方法包括系统聚类法、分解法、加入法、动态聚类法、有序样品聚类、有重叠聚类和模糊聚类等。采用k-均值、k-中心点等算法的聚类分析工具已被加入到许多著名的统计分析软件包中，如SPSS、SAS等。 从机器学习的角度讲，簇相当于隐藏模式。聚类是搜索簇的无监督学习过程。与分类不同，无监督学习不依赖预先定义的类或带类标记的训练实例，需要由聚类学习算法自动确定标记，而分类学习的实例或数据对象有类别标记。聚类是观察式学习，而不是示例式的学习。 聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。聚类分析所使用方法的不同，常常会得到不同的结论。不同研究者对于同一组数据进行聚类分析，所得到的聚类数未必一致。 从实际应用的角度看，聚类分析是数据挖掘的主要任务之一。而且聚类能够作为一个独立的工具获得数据的分布状况，观察每一簇数据的特征，集中对特定的聚簇集合作进一步地分析。聚类分析还可以作为其他算法（如分类和定性归纳算法）的预处理步骤。 关联规则挖掘过程主要包含两个阶段：第一阶段必须先从资料集合中找出所有的高频项目组(FrequentItemsets)，第二阶段再由这些高频项目组中产生关联规则(AssociationRules)。 关联规则挖掘的第一阶段必须从原始资料集合中，找出所有高频项目组(LargeItemsets)。高频的意思是指某一项目组出现的频率相对于所有记录而言，必须达到某一水平。 关联规则挖掘的第二阶段是要产生关联规则(AssociationRules)。从高频项目组产生关联规则，是利用前一步骤的高频k-项目组来产生规则，在最小信赖度(MinimumConfidence)的条件门槛下，若一规则所求得的信赖度满足最小信赖度，称此规则为关联规则。
实验三：基于Weka 进行关联规则挖掘 实验步骤 1.利用Weka对数据集contact-lenses.arff进行Apriori关联规则挖掘。要求： 描述数据集；解释Apriori 算法及流程；解释Weka 中有关Apriori 的参数；解释输出结果 Apriori 算法： 1、发现频繁项集，过程为 （1）扫描 （2）计数 （3）比较 （4）产生频繁项集 （5）连接、剪枝，产生候选项集 （6）重复步骤（1）~（5）直到不能发现更大的频集 2、产生关联规则 （1）对于每个频繁项集L，产生L的所有非空子集； （2）对于L的每个非空子集S，如果 P（L）/P（S）≧min_conf(最小置信度阈值) 则输出规则“S=>L-S” Weka 中有关Apriori 的参数：
1. car 如果设为真，则会挖掘类关联规则而不是全局关联规则。 2. classindex 类属性索引。如果设置为-1，最后的属性被当做类属性。 3.delta 以此数值为迭代递减单位。不断减小支持度直至达到最小支持度或产生了满足数量要求的规则。 4. lowerBoundMinSupport 最小支持度下界。 5. metricType 度量类型。设置对规则进行排序的度量依据。可以是：置信度（类关联规则只能用置信度挖掘），提升度(lift)，杠杆率(leverage)，确信度(conviction)。 在Weka中设置了几个类似置信度(confidence)的度量来衡量规则的关联程度，它们分别是： a)Lift ：P(A,B)/(P(A)P(B)) Lift=1时表示A和B独立。这个数越大(>1)，越表明A和B存在于一个购物篮中不是偶然现象,有较强的关联度. b)Leverage :P(A,B)-P(A)P(B) Leverage=0时A和B独立，Leverage越大A和B的关系越密切
关联规则数据挖掘 学习报告
目录 引言 2 案例 2 关联规则 3 （一）关联规则定义 （二）相关概念 （三）关联规则分类 数据 6 （一）小型数据 （二）大型数据 应用软件7 （一）WEKA （二）IBM SPSS Modeler 数据挖掘12 总结27
一、引言 数据库与互联网技术在日益发展壮大，人们每天可以获得的信息量呈指数级增长。如何从这浩如瀚海的数据中找出我们需要的数据显得尤为重要。数据挖掘又为资料探勘、数据采矿。它是数据库知识发现中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。 数据挖掘大致分为以下几类：分类（Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)。 二、案例 "尿布与啤酒"的故事。 在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售。但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。这不是一个笑话，而是发生在美国沃尔玛连锁店超市的真实案例，并一直为商家所津津乐道。沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。一个意外的发现是："跟尿布一起购买最多的商品竟是啤酒！经过大量实际调查和分析，揭示了一个隐藏在"尿布与啤酒"背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。 按常规思维，尿布与啤酒风马牛不相及，若不是借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内在这一有价值的规律的。
数据挖掘考试题目——关联分析 一、10个选择 1.以下属于关联分析的是（） A．CPU性能预测B．购物篮分析 C．自动判断鸢尾花类别D．股票趋势建模 2.维克托?迈尔-舍恩伯格在《大数据时代：生活、工作与思维的大变革》一书中，持续强调了一个观点：大数据时代的到来，使我们无法人为地去发现数据中的奥妙，与此同时，我们更应该注重数据中的相关关系，而不是因果关系。其中，数据之间的相关关系可以通过以下哪个算法直接挖掘（） A．K-means B．Bayes Network C．C4.5 D．Apriori 3.置信度(confidence)是衡量兴趣度度量（）的指标。 A．简洁性B．确定性 C．实用性D．新颖性 4.Apriori算法的加速过程依赖于以下哪个策略（） A．抽样B．剪枝 C．缓冲D．并行 5.以下哪个会降低Apriori算法的挖掘效率（） A．支持度阈值增大B．项数减少 C．事务数减少D．减小硬盘读写速率 6.Apriori算法使用到以下哪些东东（） A．格结构、有向无环图B．二叉树、哈希树 C．格结构、哈希树D．多叉树、有向无环图 7.非频繁模式（） A．其置信度小于阈值B．令人不感兴趣 C．包含负模式和负相关模式D．对异常数据项敏感 8.对频繁项集、频繁闭项集、极大频繁项集的关系描述正确的是（）[注：分别以1、2、3代表之] A．3可以还原出无损的1 B．2可以还原出无损的1 C．3与2是完全等价的D．2与1是完全等价的 9.Hash tree在Apriori算法中所起的作用是（） A．存储数据B．查找 C．加速查找D．剪枝 10.以下不属于数据挖掘软件的是（） A．SPSS Modeler B．Weka C．Apache Spark D．Knime 二、10个填空 1.关联分析中表示关联关系的方法主要有：和。 2.关联规则的评价度量主要有：和。 3.关联规则挖掘的算法主要有：和。 4.购物篮分析中，数据是以的形式呈现。 5.一个项集满足最小支持度，我们称之为。 6.一个关联规则同时满足最小支持度和最小置信度，我们称之为。
实验七关联规则 1. 实验目标 ?使用SSAS进行关联规则挖掘实验 2. 实验要求 （1）按“实验内容”完成操作，并记录实验步骤； （2）回答“问题讨论”中的思考题，并写出本次实验的心得体会； （3）完成实验报告。 3. 实验内容 生成市场篮方案。Adventure Works 的市场部希望改进公司的网站以促进越区销售。在更新网站之前，需要根据客户的在线购物篮中已有的其他产品创建一个可预测客户购买需求的数据挖掘模型。这些预测还有助于市场部将可能被集中购买的项统一放置在网站的一个位置上。通过实验，创建关联规则模型，可预测可能出现在购物篮中的其他项或客户想要放入购物篮的项。 4. 实验步骤 (1) 创建市场篮挖掘模型结构 1.在Business Intelligence Development Studio 的解决方案资源管理器中，右键单击“挖掘 结构”，再选择“新建挖掘结构”。 此时，系统将打开数据挖掘向导。 2.在“欢迎使用数据挖掘向导”页上，单击“下一步”。 3.在“选择定义方法”页上，确保已选中“从现有关系数据库或数据仓库”，再单击“下一步”。 4.在“选择数据挖掘技术”页的“您要使用何种数据挖掘技术”下，选中“Microsoft 关联规 则”，再单击“下一步”。 “选择数据源视图”页随即显示。默认情况下，“可用数据源视图”下的Adventure Works DW 为选中状态。 5.单击“下一步”。
6.在“指定表类型”页上，选中vAssocSeqOrders表旁的“事例”复选框，选中 vAssocSeqLineItems表旁边的“嵌套”复选框，再单击“下一步”（注意先在视图中建立两 个表之间的关联）。 7.在“指定定型数据”页上，依次清除CustomerKey旁边的“键”复选框和LineNumber旁 边的“键”和“输入”复选框。 8.选中Model列旁边的“键”和“可预测”复选框。然后，系统也将自动选中“输入”复选框。 9.单击“下一步”。 10.在“指定列的内容和数据类型”页上，单击“下一步”。 11.在“完成向导”页的“挖掘结构名称”中，键入Association。 12.在“挖掘模型名称”中，键入Association，再单击“完成”。 (2) 调整关联模型的参数和处理关联模型 在处理上一个任务中与“关联”挖掘结构一起创建的初始挖掘模型之前，必须更改以下两个参数的默认值：Support和Probability。Support定义规则被视为有效前必须存在的事例百分比。Probability定义关联被视为有效前必须存在的可能性。 调整关联模型的参数步骤如下： 1.打开数据挖掘设计器的“挖掘模型”选项卡。 2.右键单击设计器网格中的“关联”列，然后选择“设置算法参数”。 系统将打开“算法参数”对话框。 3.在“算法参数”对话框的“值”列中，设置以下参数： MINIMUM_PROBABILITY = MINIMUM_SUPPORT = 4.单击“确定”。 处理关联模型步骤如下： 1.在Business Intelligence Development Studio 的“挖掘模型”菜单上，选择“处理挖掘结构和 所有模型”。 系统将打开“处理挖掘结构- 关联”对话框。 2.单击“运行”。 系统将打开“处理进度”对话框，以显示有关模型处理的信息。模型处理可能需要一些时间，具体时间取决于您的计算机。 3.处理完成之后，在“处理进度”和“处理挖掘结构- 关联”对话框中，单击“关闭”。
数据挖掘实验报告（二）关联规则挖掘 姓名：李圣杰 班级：计算机1304 学号：1311610602
一、实验目的 1. 1.掌握关联规则挖掘的Apriori算法； 2.将Apriori算法用具体的编程语言实现。 二、实验设备 PC一台，dev-c++5.11 三、实验内容 根据下列的Apriori算法进行编程：
四、实验步骤 1.编制程序。 2.调试程序。可采用下面的数据库D作为原始数据调试程序，得到的候选1项集、2项集、3项集分别为C1、C2、C3，得到的频繁1项集、2项集、3项集分别为L1、L2、L3。
代码 #include 摘要关联分析是一种简单、实用的分析技术，就是发现存在于大量数据集中的关联性或相关性，从而描述了一个事物中某些属性同时出现的规律和模式。关联分析是从大量数据中发现项集之间有趣的关联和相关联系。在关联规则挖掘算法中，Apriori算法是最常用的，Apriori算法广泛应用于商业中，应用于消费市场价格分析中，它能够很快的求出各种产品之间的价格关系和它们之间的影响。通过数据挖掘，市场商人可以瞄准目标客户，采用个人股票行市、最新信息、特殊的市场推广活动或其他一些特殊的信息手段，从而极大地减少广告预算和增加收入。百货商场、超市和一些老字型大小的零售店也在进行数据挖掘，以便猜测这些年来顾客的消费习惯。 关键词关联分析 Apriori算法spss clementines12.0 相关性 关联分析又称关联挖掘，就是在交易数据、关系数据或其他信息载体中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。或者说，关联分析是发现交易数据库中不同商品（项）之间的联系。在关联分析中，建立“关联规则模型”分析数据，了解事物之间的相关程度。比如，进行市场调查解决营销问题上，在海量数据中利用模型发现内在的规律性，从而找出解决方案。 A => B [ 支持度 =2%, 置信度 =60%] 式中A是规则前项（Antecedent），B是规则后项 (Consequent)。实例数表示所有购买记录中包含A的记录的数量。 支持度（Support）表示购买A的记录数占所有的购买记录数的百分比。 规则支持度（Rule Support）表示同时购买A和B的记录数占所有的购买记录数的百分比。 置信度（confidence）表示同时购买A和B的记录数占购买A记录数的百分比。 提升（Lift）表示置信度与已知购买B的百分比的比值，提升大于 1 的规则才是有意义的。 支持度 2% 意味着，所分析的记录中的 2% 购买了A。置信度 60% 表明，购买A的顾客中的 60% 也购买了B。如果关联满足最小支持度阈值和最小置信度阈值，就说关联规则是有意义的。这些阈值可以由用户或领域专家设定。就顾客购物而言，根据以往的购买记录，找出满足最小支持度阈值和最小置信度阈值的关联规则，就找到顾客经常同时购买的商品。 关联规则中的挖掘算法--Apriori算法 Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集。而且算法已经被广泛的应用到商业、网络安全等各个领域。 该算法的基本思想是：首先找出所有的频集，这些项集出现的频繁性至少和预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。然后使用第1步找到的频集产生期望的规则，产生只包含集合的项的所有规则，其中每一条规则的右部只有一项，这里采用的是中规则的定义。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度的规则才被留下来。经典的关联规则数据挖掘算法Apriori 算法广泛应用于各种领域，通过对数据的关联性进行了分析和挖掘，挖掘出的这些信息在决策制定过程中具有重要的参考价值。 数据挖掘考试题目——关联分析 数据挖掘考试题目——关联分析 一、10个选择 1.以下属于关联分析的是（） A．CPU性能预测B．购物篮分析 C．自动判断鸢尾花类别D．股票趋势建模 2.维克托?迈尔-舍恩伯格在《大数据时代：生活、工作与思维的大变革》一书中，持续强调了一个观点：大数据时代的到来，使我们无法人为地去发现数据中的奥妙，与此同时，我们更应该注重数据中的相关关系，而不是因果关系。其中，数据之间的相关关系可以通过以下哪个算法直接挖掘（）A．K-means B．Bayes Network C．C4.5 D．Apriori 3.置信度(confidence)是衡量兴趣度度量（）的指标。 A．简洁性B．确定性 C．实用性D．新颖性 4.Apriori算法的加速过程依赖于以下哪个策略（） A．抽样B．剪枝 C．缓冲D．并行 5.以下哪个会降低Apriori算法的挖掘效率（） A．支持度阈值增大B．项数减少 C．事务数减少D．减小硬盘读写速率 6.Apriori算法使用到以下哪些东东（） A．格结构、有向无环图B．二叉树、哈希树 C．格结构、哈希树D．多叉树、有向无环图 7.非频繁模式（） A．其置信度小于阈值B．令人不感兴趣 C．包含负模式和负相关模式D．对异常数据项敏感 8.对频繁项集、频繁闭项集、极大频繁项集的关系描述正确的是（）[注：分别以1、2、3代表之] A．3可以还原出无损的1 B．2可以还原出无损的1 C．3与2是完全等价的D．2与1是完全等价的 9.Hash tree在Apriori算法中所起的作用是（） A．存储数据B．查找 C．加速查找D．剪枝 10.以下不属于数据挖掘软件的是（） A．SPSS Modeler B．Weka C．Apache Spark D．Knime 二、10个填空 1.关联分析中表示关联关系的方法主要有：和。 2.关联规则的评价度量主要有：和。 3.关联规则挖掘的算法主要有：和。 4.购物篮分析中，数据是以的形式呈现。 5.一个项集满足最小支持度，我们称之为。 第42卷 第2期 吉林大学学报(理学版) V ol.42 N o.2 2004年4月 JO U RN A L OF JIL IN U N IV ER SIT Y(SCIEN CE EDIT ION)A pr 2004 关联规则最大频繁项目集的快速发现算法 刘大有1,2,刘亚波1,2,尹治东3 (1.吉林大学计算机科学与技术学院,长春130012; 2.吉林大学符号计算与知识工程教育部重点实验室,长春130012; 3.吉林出入境检验检疫局,长春130062) 摘要:提出一种快速发现最大频繁项目集的算法,该算法对集合枚举树进行改进,结合自底向上与自顶向下的搜索策略,利用非频繁项目集对候选最大频繁项目集进行剪枝和降维,减少了不必要候选最大频繁项目集的数量,显著提高了发现的效率. 关键词:关联规则;集合枚举树;最大频繁项目集 中图分类号:T P311 文献标识码:A 文章编号:1671-5489(2004)02-0212-04 Fast algorithm for discovering maximum frequent itemsets of association rules LIU Da-yo u1,2,LIU Ya-bo1,2,YIN Zhi-dong3 (1.College of Comp uter S cience and T echnology,J ilin U niver sity,Changchun130012,China; 2.K ey L abor atory of Sy mbolic Comp utation and K now ledg e E ngineering of M inistry of Education,J ilin U niver sity, Changchun130012,China; 3.J ilin E ntry-Ex it I nsp ection and Quar antine Bureau,Changchun130062,China) Abstract:The present paper presents an efficient alg orithm that improv es set-enumeratio n tr ee and finds maxim um frequent item sets.By co mbining botto m-up and top-dow n searches in set-enumeration tree and making use of the infrequent itemsets to pr une candidates of the m ax imum frequent itemsets, the algorithm reduces the number of candidates of the max imum frequent itemsets g enerated by it so that the efficiency is incr eased. Keywords:association rule;set-enumeration tree;max imum frequent itemset 发现频繁项目集是关联规则等多种数据挖掘的关键问题.在关联规则挖掘中,如果一个项目集的支持度不小于用户定义的最小支持度(以下简记为minsup),则称为频繁项目集;反之则称为非频繁项目集.如果一个频繁项目集的所有超集都是非频繁项目集,则称为最大频繁项目集.目前,多数频繁项目集发现算法都是Apr io ri算法或者其变种[1].这些算法采用自底向上的方法穷举每个频繁项目集,当最大频繁项目集很长时,这将是一个NP问题.任何频繁项目集都是最大频繁项目集的子集,该问题可以转化为发现所有最大频繁项目集.提高发现最大频繁项目集效率的关键是减少生成不必要的候选项目集及对其支持度的计算. 文献[2]中的M ax-Miner算法采用集合枚举树来描述项目集,突破了传统的自底向上的搜索策 收稿日期:2003-09-28. 作者简介:刘大有(1942～),男,教授,博士生导师,从事人工智能、数据挖掘和计算机应用的研究,E-mail:dyliu@https://www.doczj.com/doc/0413653436.html,. cn.联系人:刘亚波(1975～),女,博士研究生,从事关联规则挖掘和粗糙集理论的研究,E-mail:liu-yabo@https://www.doczj.com/doc/0413653436.html,. 基金项目:国家自然科学基金(批准号:60173006)、国家高技术研究发展计划项目(批准号:2003AA118020)、吉林省科技发展计划重大项目(批准号:吉科合字20020303-2)和吉林大学符号计算与知识工程教育部重点实验室资助基金. 数据分析与挖掘实验报告 《数据挖掘》实验报告 目录 1.关联规则的基本概念和方法 (1) 1.1数据挖掘 (1) 1.1.1数据挖掘的概念 (1) 1.1.2数据挖掘的方法与技术 (2) 1.2关联规则 (5) 1.2.1关联规则的概念 (5) 1.2.2关联规则的实现——Apriori算法 (7) 2.用Matlab实现关联规则 (12) 2.1Matlab概述 (12) 2.2基于Matlab的Apriori算法 (13) 3.用java实现关联规则 (19) 3.1java界面描述 (19) 3.2java关键代码描述 (23) 4、实验总结 (29) 4.1实验的不足和改进 (29) 4.2实验心得 (30) 1.关联规则的基本概念和方法 1.1数据挖掘 1.1.1数据挖掘的概念 计算机技术和通信技术的迅猛发展将人类社会带入到了信息时代。在最近十几年里，数据库中存储的数据急剧增大。数据挖掘就是信息技术自然进化的结果。数据挖掘可以从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的，人们事先不知道的但又是潜在有用的信息和知识的过程。 许多人将数据挖掘视为另一个流行词汇数据中的知识发现（KDD）的同义词，而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤。知识发现过程如下： ·数据清理（消除噪声和删除不一致的数据）·数据集成（多种数据源可以组合在一起）·数据转换（从数据库中提取和分析任务相关的数据） ·数据变换（从汇总或聚集操作，把数据变换和统一成适合挖掘的形式） ·数据挖掘（基本步骤，使用智能方法提取数 据模式） ·模式评估（根据某种兴趣度度量，识别代表知识的真正有趣的模式） ·知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）。 1.1.2数据挖掘的方法与技术 数据挖掘吸纳了诸如数据库和数据仓库技术、统计学、机器学习、高性能计算、模式识别、神经网络、数据可视化、信息检索、图像和信号处理以及空间数据分析技术的集成等许多应用领域的大量技术。数据挖掘主要包括以下方法。神经网络方法：神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。典型的神经网络模型主要分3大类：以感知机、bp反向传播模型、函数型网络为代表的，用于分类、预测和模式识别的前馈式神经网络模型；以hopfield 的离散模型和连续模型为代表的，分别用于联想记忆和优化计算的反馈式神经网络模型；以art 模型、koholon模型为代表的，用于聚类的自组 数据挖掘中关联规则挖掘的应用研究 吴海玲，王志坚，许峰 河海大学计算机及信息工程学院，江苏南京（210098） 摘 要：本文首先介绍关联规则的基本原理，并简单概括其挖掘任务，然后说明关联规则的经典挖掘算法Apriori 算法，通过一个实例分析进一步明确关联规则在CRM 中的应用，最后展望了关联规则挖掘的研究方向。 关键词：数据挖掘，关联规则，Apriori 算法，CRM 引言 关联规则是表示数据库中一组对象之间的某种关联关系的规则，关联规则挖掘的主要对象是交易(Transaction)数据库。这种数据库的一个主要应用是零售业，比如超级市场的销售管理。条形码技术的发展使得数据的收集变得更容易、更完整，从而可以存储大量的交易资料。关联规则就是辨别这些交易项目之间是否存在某种关系。例如：关联规则可以表示“购买了商品A 和B 的顾客中有80％的人又购买了商品C 和D”。这种关联规则提供的信息可以用作商品目录设计、商场货架的布置、生产安排、具有针对性的市场营销等。 [1] 1 关联规则的基本原理 设Ｉ＝｛i 1，i 2，……，i m ｝是项的集合，设任务相关的数据D 是数据库事务的集合，其中每个事务T 是项的集合，使得T I 。每一个事务有一个标识符，称作T ID 。设X 是一个项集，事务T 包含X 当且仅当X T 。关联规则是形如X Y 的蕴涵式，其中X I ，Y ?I ，并且X ∩Y ＝?。规则X Y 在事务集D 中成立，具有支持度s ，其中s 是D 中事务包含X ∪Y （即X 和Y 二者）的百分比，它是概率P （X ∪Y ）。规则X Y 在事务集中具有可信度c ，如果D 中包含X 的事务同时也包含Y 的百分比c 。这是条件概率P （X Y ∣）。即是 ??????support(X ?Y)= P （X Y ∪） confidence(X ?Y)= P （X Y ∣） 同时满足最小支持度(minsup)和最小可信度阈值（minconf ）的规则称作强规则[1]。 项的集合称为项集（itemset ）。包含k 个项的项集成为k －项集，例如集合{computer, software }是一个2—项集。项集的出现频率是包含项集的事务数，简称为项集的频率。项集满足最小支持度minsup ，如果项集的出现频率大于或者等于minsup 与D 中事务总数的乘积。如果项集满足最小支持度，则称它为频繁项集(frequent itemset) [2]。 2 关联规则的发现任务 关联规则挖掘的问题就是要找出这样的一些规则，它们的支持度或可信度分别大于指定的最小支持度minsup 和最小可信度minconf 。因此，该问题可以分解成如下两个子问题[3]： 1．产生所有支持度大于或等于指定最小支持度的项集，这些项目集称为频繁项目集（frequent itemsets ），而其他的项目集则成为非频繁项目集（non-frequent itemsets ） 2．由频繁项集产生强关联规则。根据定义，这些规则必须满足最小支持度和最小可信度。 关联规则挖掘的问题的主要特征是数据量巨大，因此算法的效率很关键。目前研究的重点在第一步，即发现频繁项目集，因此第二步相对来说是很容易的。 数据挖掘中的关联规则 程晓飞2009306202008 摘要： 近年来，数据挖掘己经引起了信息产业界的极大关注，这是快速增长的数据量和曰益贫乏的信息量之间矛盾运动的必然结果，对数据挖掘技术进行系统、深入、全面、详尽地研究是全球信息化发展的客观需要。本文对数据挖掘技术，尤其是关联规则数据挖掘技术进行了系统、深入、全面、详尽地分析和研究。 关键词：数据挖掘；关联规则；Ａｐｒｉｏｒｉ算法；基于划分的算法 1.什么是关联规则 在描述有关关联规则的一些细节之前，我们先来看一个有趣的故事："尿布与啤酒"的故事。 在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售。但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。这不是一个笑话，而是发生在美国沃尔玛连锁店超市的真实案例，并一直为商家所津津乐道。沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。一个意外的发现是："跟尿布一起购买最多的商品竟是啤酒！经过大量实际调查和分析，揭示了一个隐藏在"尿布与啤酒"背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。 按常规思维，尿布与啤酒风马牛不相及，若不是借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内在这一有价值的规律的。 数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。关联规则挖掘发现大量数据中项集之间有趣的关联或相关联系。Agrawal等于1993年首先提出了挖掘顾客交易数据库中项集间的关联规则问题，以后诸多的研究人员对关联规则的挖掘问题进行了大量的研究。他们的工作包括对原有的算 实验三关联规则 1. 实验目标 ?使用SSAS进行关联规则挖掘实验 2. 实验要求 （1）按“实验内容”完成操作，并记录实验步骤； （2）回答“问题讨论”中的思考题，并写出本次实验的心得体会； （3）完成实验报告。 3. 实验内容 生成市场篮方案。Adventure Works 的市场部希望改进公司的网站以促进越区销售。在更新网站之前，需要根据客户的在线购物篮中已有的其他产品创建一个可预测客户购买需求的数据挖掘模型。这些预测还有助于市场部将可能被集中购买的项统一放置在网站的一个位置上。通过实验，创建关联规则模型，可预测可能出现在购物篮中的其他项或客户想要放入购物篮的项。 4. 实验步骤 (1) 创建市场篮挖掘模型结构 1.在Business Intelligence Development Studio 的解决方案资源管理器中，右键单击“挖 掘结构”，再选择“新建挖掘结构”。 此时，系统将打开数据挖掘向导。 2.在“欢迎使用数据挖掘向导”页上，单击“下一步”。 3.在“选择定义方法”页上，确保已选中“从现有关系数据库或数据仓库”，再单击“下一步”。 4.在“选择数据挖掘技术”页的“您要使用何种数据挖掘技术?”下，选中“Microsoft 关联规 则”，再单击“下一步”。 “选择数据源视图”页随即显示。默认情况下，“可用数据源视图”下的Adventure Works DW 为选中状态。 5.单击“下一步”。 6.在“指定表类型”页上，选中vAssocSeqOrders表旁的“事例”复选框，选中 vAssocSeqLineItems表旁边的“嵌套”复选框，再单击“下一步”（注意先在视图中建立两个表之间的关联）。如下图所示 视图的内容显示 深圳大学研究生课程论文 题目对关联分析方法的学习报告成绩 专业软件工程(春)课程名称、代码数据库与数据挖掘142201013021年级2013 姓名刘璐 学号20134313008 时间2014 年11 月 任课教师傅向华 1关联分析方法及其应用综述 1.1关联分析概念 关联分析是一种简单、实用的分析技术，就是发现存在于大量数据集中的关联性或相关性，从而描述了一个事物中某些属性同时出现的规律和模式。 关联分析是从大量数据中发现项集之间有趣的关联和相关联系。关联分析的一个典型例子是购物篮分析。该过程通过发现顾客放人其购物篮中的不同商品之间的联系，分析顾客的购买习惯。通过了解哪些商品频繁地被顾客同时购买，这种关联的发现可以帮助零售商制定营销策略。其他的应用还包括价目表设计、商品促销、商品的排放和基于购买模式的顾客划分。 可从数据库中关联分析出形如“由于某些事件的发生而引起另外一些事件的发生”之类的规则。如“67%的顾客在购买啤酒的同时也会购买尿布”，因此通过合理的啤酒和尿布的货架摆放或捆绑销售可提高超市的服务质量和效益。又如“‘C语言’课程优秀的同学，在学习‘数据结构’时为优秀的可能性达88%”，那么就可以通过强化“C语言”的学习来提高教学效果。 世间万物的事情发生多多少少会有一些关联。一件事情的发生，很可能是也会引起另外一件事情的发生。或者说，这两件事情很多时候很大程度上会一起发生的。那么人们通过发现这个关联的规则，可以由一件事情的发生来，来推测另外一件事情的发生，从而更好地了解和掌握事物的发展，动向等等。这就是数据挖掘中，寻找关联规则的基本意义。数据挖掘技术中的关联规则挖掘是通过计算机自动从一大对真实数据中发现这样的关联规则出来。对于计算机而言，它需要知道所有的事情发生情况，并且把相应的事情合并成一个事务，通过对各个事务的扫描，来确定事情的关联规则。 1.2关联分析算法简介 Apriori算法[1] 是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。 该算法的基本思想是：首先找出所有的频集，这些项集出现的频繁性至少和预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。然后使用第1步找到的频集产生期望的规则，产生只包含集合的项的所有规则，其中每一条规则的右部只有一项，这里采用的是中规则的定义。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度的规则才被留下来。为了生成所有频集，使用了递归的方法。 （1） L1 = find_frequent_1-itemsets(D); （2） for (k=2;Lk-1 ≠Φ ;k++) { 关联规则挖掘在商业销售中的应用 戚芸 （班级：数科院08（6）班学号：08213118） [摘要]数据挖掘是近些年企业界相当热门的话题，它利用统计与人工智能的算法，从庞大的企业历史资料中，找出隐藏的规律并简历准确的模型，用以预测未来。其中关联规则的挖掘是数据挖掘的一个重要问题。[关键字]关联规则支持度置信度增益 一、关联规则的概述 关联规则一般用以发现交易数据库中不同商品 (项)之间的联系 ,用这些规则找出顾客的购买行为模式 ,比如购买了某一种商品对购买其他商品的影响 ,这种规则可以应用于超市商品货架设计、货物摆放以及根据购买模式对用户进行分类等。进而引伸至寻找一个变量间不同选择之间的关系,或寻找不同变量间的关系。以交易数据为例描述关联规则 : 给定一个交易集 ,该交易集包含一系列商品 ,则一条关联规则可以表示为 : X → Y 二、关联规则的分类 （1）按关联规则中处理变量的类别,可将关联规则分为布尔型和数值型布尔型关联规则中对应变量都是离散变量或类别变量,它显示的是离散型变量间的关系,比如“买啤酒→买婴儿尿布”;数值型关联规则处理则可以与多维关联或多层关联规则相结合,处理数值型变量,如“月收入5000 元→每月交通费约800 元”。 （2）按关联规则中数据的抽象层次,可以分为单层关联规则和多层关联规则单层关联规则中,所有变量都没有考虑到现实的数据具有多个不同的层次;而多层关联规则中,对数据的多层性已经进行了充分的考虑。比如“买夹克→买慢跑鞋”是一个细节数据上的单层关联规则,而“买外套→慢跑鞋”是一个较高层次和细节层次间的多层关联规则。 （3）按关联规则中涉及到的数据维数可以分为单维关联规则和多维关联规则单维关联规则只涉及数据的一个维度(或一个变量) ,如用户购买的物品;而多维关联规则则要处理多维数据,涉及多个变量,也就是说,单维关联规则处理单一属性中的关系,而多维关联规则则处理多个属性间的某些关系。比如“买啤酒→买婴儿尿布”只涉及用户购买的商品,属于单维关联规则,而“喜欢野外活动→购买慢跑鞋”涉及到两个变量的信息,属于二维关联规则。 电子科技大学政治与公共管理学院本科教学实验报告 （实验）课程名称：数据分析技术系列实验 电子科技大学教务处制表 电 子 科 技 大 学 实 验 报 告 学生姓名： 学 号： 指导教师： 一、实验室名称： 电子政务可视化实验室 二、实验项目名称：关联规则 三、实验原理 设I={i1,i2,…,in}是项目的集合，其中的元素称为项目(item)。 记D 为事务T (transaction)的集合，这里 T 是项目的集合，并且I T ?。 对应每一个事务有一个唯一的标识，如事务号，记为TID 。 设 X 是一个I 中项目的集合，如果T X ?，那么称事务T 包含X 。如果项目 X 包含个k 项目，则称其为k 项集。 一个关联规则是形如Y X ?的逻辑蕴含式，这里I X ?,I Y ?,并且 φ=?Y X 。 支持度(support)： 规则Y X ?在事务集 D 中的支持度是事务集中同时包含 X 和 Y 的事务数与所有事务数之比。 它反映了规则的可靠程度，记为 support( Y X ?))(Y X P ?=即 如果项集的支持度超过用户给定的最小支持度阈值，则称该项集为频繁项集(或大项集Large)。 置信度(confidence) 规则X ? Y 在事务集中的置信度是指同时包含X 和Y 的事务数与包含 X 的事务数(不考虑是否包含 Y )之比。 它反映规则的把握程度，是一个条件概率，即support(X ∪Y)/support(X), 记为confidence(X ? Y) 同时满足最小支持度阈值和最小置信度阈值的规则称为强规则。 四、实验目的 理解关联规则的基本原理，掌握在Statistica 软件中因子分析的主要参数设关联分析解析
数据挖掘考试题目——关联分析教学提纲
关联规则最大频繁项目集的快速发现算法
数据分析与挖掘实验报告
数据挖掘中关联规则挖掘的应用研究
数据挖掘中的关联规则2
数据挖掘实验(实验三-七)
关联分析方法.
数据挖掘中的关联规则
数据分析方法与技术关联规则实验报告
相关主题
文本预览