关联规则数据挖掘
- 格式:docx
- 大小:1.05 MB
- 文档页数:30
数据挖掘分类的名词解释数据挖掘是一门涉及从大量数据中发现模式、关联和信息的学科。
它使用统计学、机器学习和数据库系统等技术,通过对数据进行分析和解释来揭示潜在的知识和见解。
而数据挖掘的分类是对这门学科的不同方面和方法进行了系统的归类和整理,以便更好地理解和应用这些技术。
1. 关联规则挖掘关联规则挖掘是数据挖掘中最常见的一种分类方法。
它旨在发现数据集中的项之间的相关性。
通过分析事务数据,揭示其中的共同模式和规律。
关联规则可以被表示为“A如果B”的形式,其中A和B是数据项的集合。
例如,超市销售数据中的关联规则可能是“购买尿布的人也购买啤酒”。
这种方法可以帮助超市了解消费者倾向,从而进行有效的市场营销和产品布局。
2. 分类分类是数据挖掘的另一个重要方面。
它旨在根据已有样本的特征和类别,建立一个模型,可以将新数据分类到合适的类别中。
常见的分类算法包括决策树、朴素贝叶斯、支持向量机等。
例如,在邮件过滤中,可以使用分类算法将邮件分为垃圾邮件和正常邮件,以便自动过滤垃圾邮件。
3. 聚类聚类是将数据分组成有相似特征的集合的过程。
聚类算法试图将数据划分为不同的簇,使得同一簇内的数据相似度最大,而不同簇之间的相似度最小。
它有助于发现不同群体、市场细分、社交网络等领域的模式和结构。
例如,通过对顾客消费行为的聚类分析,可以发现不同人群的消费偏好和购买习惯,从而定向推销特定的产品或服务。
4. 异常检测异常检测是寻找与大多数样本显著不同的数据点的过程。
它用于识别数据集中的异常或异常行为,帮助我们发现潜在的问题或异常情况。
异常检测的应用领域广泛,包括金融欺诈检测、网络安全监控、故障检测等。
例如,在信用卡欺诈检测中,根据用户的消费习惯和模式,可以使用异常检测来识别可能的欺诈行为。
5. 文本挖掘文本挖掘是从大量的文本数据中自动发现有趣的模式和知识的过程。
它包括文本分类、情感分析、关键词提取等技术。
文本挖掘广泛应用于社交媒体分析、舆情监测、新闻报道等领域。
数据挖掘中的关联规则挖掘常见问题解答数据挖掘是一项涵盖多个领域的技术,其中关联规则挖掘是其中的一种重要技术方法。
关联规则挖掘可以帮助我们发现数据中的潜在关联性,从而揭示出隐藏在数据背后的有用信息。
然而,在进行关联规则挖掘的过程中,常常会出现一些问题和困惑。
在下面的文章中,我将回答一些关于数据挖掘中关联规则挖掘的常见问题。
问题1:什么是关联规则挖掘?关联规则挖掘是一种发现数据中有趣关联关系的技术。
在关联规则挖掘中,我们根据数据集中事务项的出现频率和相关性,发现项目之间的关联规则。
例如,在购物篮分析中,我们可以通过挖掘顾客在购物篮中同时购买的商品来发现它们之间的关联规则。
关联规则通常采用类似于“如果A出现,则B也会出现”的形式表示。
问题2:关联规则挖掘的应用领域有哪些?关联规则挖掘在各个领域都有广泛的应用。
在市场营销中,关联规则挖掘可以帮助企业了解顾客的购买习惯和偏好,从而制定个性化的推荐策略。
在医疗领域,关联规则挖掘可以发现不同症状之间的关联关系,辅助医生进行疾病诊断。
在交通领域,关联规则挖掘可以帮助城市规划者优化交通路线,减少拥堵情况。
此外,关联规则挖掘还可以应用在网络安全、社交网络分析等领域。
问题3:关联规则挖掘的主要算法有哪些?关联规则挖掘的主要算法包括Apriori算法和FP-Growth算法。
Apriori算法是一种基于候选项的经典算法,在挖掘关联规则时生成候选项集,并通过逐层计算每个项集的支持度来筛选频繁项集。
FP-Growth算法是一种基于前缀树的高效算法,通过构建频繁模式树并利用其特殊性质来挖掘频繁项集。
这两种算法都有其优劣势,具体选择哪种算法取决于数据集的特点和需求。
问题4:关联规则挖掘的评价指标有哪些?在关联规则挖掘中,评价挖掘结果的指标包括支持度、置信度和提升度。
支持度指标衡量了关联规则在数据集中出现的频率,支持度越高表示规则出现越频繁。
置信度指标衡量了关联规则的可信程度,即当前规则的先决条件出现时,结论项也出现的概率。
数据挖掘中的关联规则挖掘算法随着大数据时代的来临,数据挖掘作为一种数据分析的方法,被越来越多的人所重视。
其中关联规则挖掘算法是其中的一种,今天我们就来探讨一下这种算法。
一、什么是关联规则挖掘算法?关联规则挖掘算法是一种在数据中发现变量之间关系的方法,其中涉及两个或两个以上的变量之间的关联。
例如,购物篮分析可以使用该算法,从中分析出消费者经常购买的商品组合。
该算法通常用于市场营销、产品建议等领域。
二、关联规则挖掘算法的优点1. 可以在大规模数据集上进行运算关联规则挖掘算法可以在大规模数据集上运算,因为它不需要预处理数据。
这种优点使得它在实践中非常有用,可以帮助人们更好地了解顾客或消费者行为。
2. 可以快速确定规则该算法可以快速确定规则,因为它可以使用较少的比较来确定规则。
这种快速的计算和确定规则的能力可以减轻与该算法的实施相关的工作。
3. 可以为制定实用的营销策略提供支持关联规则挖掘算法可以为制定实用的营销策略提供支持,因为它可以确定消费者对不同产品或服务的偏好和与之相关的属性。
这种知识可以为决策者制定更好的营销策略提供支持。
三、如何使用关联规则挖掘算法?1. 找到数据首先,为了使用关联规则挖掘算法,需要找到有关变量之间关系的数据。
2. 清洗数据然后需要对数据进行清洗。
清洗数据可以去掉无用的信息,以及错误的信息。
3. 建立模型接着需要建立模型。
建立模型包括确定变量和规则。
此过程可以使用统计学和机器学习的方法。
4. 评估模型一旦模型确定后,需要评估模型。
评估模型的目的是确定模型的准确性和应用范围。
一般使用统计学方法做模型评估。
5. 应用模型最后需要应用模型。
应用模型是指在实际数据中测试模型,判断该模型是否是有效的。
四、总结关联规则挖掘算法是一种用于确定数据集中变量之间关系的算法。
该算法在大规模数据集上拥有出色的表现,可以快速确定规则,在制定营销策略时非常有用。
使用关联规则挖掘算法的过程可以分为找到数据,清洗数据,建立模型,评估模型和应用模型。
《数据挖掘中关联规则算法研究》篇一一、引言随着信息技术和大数据时代的飞速发展,数据挖掘技术逐渐成为各个领域研究的重要课题。
关联规则算法作为数据挖掘的核心技术之一,能够从大量数据中提取出有价值的信息和知识。
本文将深入探讨数据挖掘中关联规则算法的研究现状、常用算法及其应用领域。
二、关联规则算法概述关联规则算法是一种在大规模数据集中寻找项集之间有趣关系的技术。
其主要目标是发现数据集中项集之间的关联性或因果结构,从而帮助人们更好地理解和利用数据。
关联规则算法通常用于购物篮分析、用户行为分析、生物信息学等领域。
三、常用关联规则算法1. Apriori算法:Apriori算法是一种经典的关联规则挖掘算法,其核心思想是通过寻找频繁项集来生成关联规则。
Apriori算法通过不断迭代,逐步找出满足最小支持度和最小置信度的规则。
2. FP-Growth算法:FP-Growth算法是一种改进的关联规则挖掘算法,它通过构建频繁模式树(FP-Tree)来发现数据集中的频繁项集和关联规则。
与Apriori算法相比,FP-Growth算法具有更高的效率。
3. Eclat算法:Eclat算法也是一种常用的关联规则挖掘算法,其基本思想是将数据库分割成若干个不相交的子集,然后对每个子集进行局部搜索,最后将局部搜索结果合并得到全局的关联规则。
四、关联规则算法的应用领域1. 购物篮分析:通过分析顾客的购物行为,发现商品之间的关联关系,从而帮助商家制定更有效的营销策略。
2. 用户行为分析:在互联网领域,通过分析用户的浏览、点击等行为数据,发现用户兴趣之间的关联关系,为个性化推荐等应用提供支持。
3. 生物信息学:在生物信息学领域,关联规则算法可以用于分析基因、蛋白质等生物分子之间的相互作用关系,从而揭示生物系统的复杂网络结构。
五、研究现状与展望目前,关联规则算法已经广泛应用于各个领域,并取得了显著的成果。
然而,随着数据规模的日益增大和复杂性的提高,传统的关联规则算法面临着诸多挑战。
关联规则挖掘举例关联规则挖掘是一种数据挖掘技术,用于从大量的数据集中发现物品之间的关联关系。
这些关联关系可以用一种形式化的方式表示,称为关联规则。
关联规则使用了前提和结论的形式,其中前提是一组物品的集合,结论是另一组物品的集合。
关联规则的形式为:“如果前提出现,则结论也会出现”。
这种关联关系的发现对于许多实际应用非常有用,例如市场篮子分析、电子商务推荐系统、医学诊断等。
下面举几个关联规则挖掘的例子,以说明其在实际场景中的应用:1.市场篮子分析:在超市中,通过挖掘顾客购买商品的数据,可以发现一些商品之间的关联关系。
例如,通过分析大量的购物数据,可以发现这样的规则:“如果顾客购买牛奶和麦片,则他们可能也会购买面包”。
这个规则可以帮助超市优化货架布局和销售策略,增加交叉销售和提高顾客满意度。
2.电子商务推荐系统:推荐系统通常基于用户的历史购买或浏览行为,为用户提供个性化的推荐。
关联规则挖掘可以辅助推荐系统发现商品之间的关联关系,并根据这些关联关系预测用户可能感兴趣的商品。
例如,“如果用户购买了手机和手机配件,则他们可能对电脑也感兴趣”。
通过这种方式,电子商务网站可以提高商品推荐的准确性,提高购买转化率。
3.医学诊断:关联规则挖掘还可以应用于医学领域,辅助医生进行疾病诊断。
通过分析医疗记录和疾病特征的数据,可以发现一些疾病之间的关联关系。
例如,通过挖掘大量的病例数据,可以发现这样的规则:“如果患者具有高血压和高血糖,则他们可能患有糖尿病”。
这些规则能够帮助医生进行早期预测和干预,提高疾病的诊断准确性和治疗效果。
关联规则挖掘的过程通常包括数据预处理、关联规则生成和规则评估三个主要步骤。
数据预处理包括数据清洗、去重和转换等操作,以准备数据集用于关联规则挖掘。
关联规则生成阶段通过计算频繁项集,构建频繁项集的超集,从而生成所有可能的关联规则。
最后,规则评估阶段通过计算支持度和置信度等指标来评估关联规则的质量,并筛选出具有实际意义的规则。
数据挖掘中的关联规则算法数据挖掘是伴随着信息技术的不断发展而产生的一种新的工具和方法。
它可以从大量的数据中挖掘出有用的信息,并为实际决策提供帮助。
关联规则算法是其中的一种重要方法,它可以找到项集之间的关系,并预测未来的行为或者趋势。
接下来,我们将对关联规则算法进行详细的介绍。
一、关联规则算法的定义关联规则算法是在数据挖掘中使用频率最广泛的算法之一。
其基本思想是通过寻找数据之间的关联,提取出频繁出现的项集以及项集之间的关系。
在实际应用中,关联规则算法可以广泛应用于市场营销、电子商务、人口统计学等领域。
它可以帮助用户挖掘到有用的信息,理清数据之间的关系,从而做出更明智的决策。
二、关联规则算法的原理关联规则算法有两个基本参数:支持度和置信度。
支持度是指指定的项集在总事务中出现的频率。
置信度则是指在满足条件A的前提下,出现B的概率。
关联规则算法通过计算这两个参数来判断各个项集之间的关系。
举个例子:假设我们想要了解一个超市的销售情况。
我们首先需要确定项集,比如说可乐和糖果在同一笔订单出现的概率。
如果我们设定支持度为50%,即一笔订单至少含有一种可乐和一种糖果,那么我们就可以通过统计数据得到可乐和糖果同时出现的频率。
如果这个频率高于50%,那么我们就可以得出这两个项集之间存在关联规则。
三、关联规则算法的应用关联规则算法可以应用于很多领域,如市场营销、电子商务、人口统计学等。
在市场营销方面,关联规则算法可以帮助企业挖掘到产品之间的关联性,从而了解顾客的需求和偏好,并制定相应的定价策略。
在电子商务中,关联规则算法可以根据用户购买历史记录来推荐相似的产品,提高用户的购买率。
在人口统计学方面,关联规则算法可以帮助政府了解不同人群之间的联系,从而制定更为精准的政策。
四、关联规则算法的优缺点优点:关联规则算法具有较高的算法效率,可以处理大规模数据。
其结果易于理解,可以呈现给用户。
同时,关联规则算法可以挖掘出隐藏在数据中的规律性,帮助用户发现新的信息。
关联规则在数据挖掘中的应用
关联规则在数据挖掘中的应用非常广泛,它可以用于市场篮子分析、交叉销售、商品推荐等领域。
以下是几个具体的应用案例:
1. 市场篮子分析:市场篮子分析是关联规则应用最为广泛的领域之一。
通过挖掘超市、商场等的购物数据,可以发现商品之间的关联关系,其中最典型的例子是挖掘购买尿布和啤酒之间的关联关系。
2. 交叉销售:关联规则可以帮助企业发现不同商品之间的关联关系,从而进行交叉销售。
例如,在电子商务平台上,当用户购买手机时,可以通过关联规则发现与手机配件相关的商品,并将其推荐给用户。
3. 商品推荐:关联规则可以用于个性化商品推荐。
通过挖掘用户的购买历史和行为数据,可以发现用户喜欢购买哪些商品,以及这些商品之间的关联关系,从而为用户提供个性化的商品推荐。
4. 信用卡欺诈检测:关联规则可以帮助银行等金融机构进行信用卡欺诈的检测。
通过挖掘信用卡交易数据,可以发现欺诈交易之间的关联关系,从而帮助机构提前发现和预防欺诈行为。
总结起来,关联规则在数据挖掘中的应用主要集中在市场篮子分析、交叉销售、商品推荐和欺诈检测等领域,通过挖掘数据
中的关联关系,帮助企业发现潜在商机,提高销售额,或者辅助金融机构等行业进行风险控制。
数据挖掘中的关联规则挖掘数据挖掘是一种从大量数据中自动发现有用信息的过程。
将数据挖掘应用于商业领域,可以帮助企业做出更明智的决策,发现潜在客户,提高销售业绩。
而关联规则挖掘则是数据挖掘中的一个重要方法,它可以帮助我们发现数据集中项集之间的关联关系。
什么是关联规则挖掘?在数据挖掘中,关联规则挖掘是指通过挖掘数据集中的关联规则,从而发现数据集中的频繁项集之间的关联关系。
举个例子,在超市购物场景中,如果我们发现顾客购买了尿布,并伴随着啤酒的购买,那么我们就可以发现尿布和啤酒之间存在关联规则。
这个规则的意义就在于,我们一旦发现顾客购买了尿布,就有可能会购买啤酒,因此我们可以在超市中增加这两种商品的陈列位置,以提高销量。
如何进行关联规则挖掘?关联规则挖掘的过程如下:1.确定数据集和支持度阈值关联规则挖掘需要一个数据集,并且需要指定一个最小支持度阈值。
支持度是指所有包含该项集的事务数除以总事务数,即$supp(X) = \frac{count(X)}{|D|}$其中,X指数据集中的一个项集,count(X)指包含该项集的事务数,D指整个数据集。
2.寻找频繁项集频繁项集是指在数据集中出现次数超过最小支持度阈值的项集,即$\{X | supp(X) \geq minsupp\}$3.生成关联规则根据频繁项集生成关联规则,关联规则的形式为$X \rightarrow Y$其中,X和Y是项集,表示在购买X的情况下,也会购买Y。
关联规则的质量可以通过支持度和置信度来衡量。
4.衡量关联规则的质量关联规则的置信度是指在购买X的情况下,也购买了Y的概率,即$conf(X \rightarrow Y) = \frac{supp(X \cup Y)}{supp(X)}$其中,conf代表置信度,X和Y是项集,supp(X∪Y)代表同时包含X和Y的事务数,supp(X)代表X的支持度。
同时,也可以通过提升度来衡量规则的质量。
提升度是指在购买X的情况下,购买Y的概率是在没有购买X的情况下购买Y的概率的多少倍,即$lift(X \rightarrow Y) = \frac{conf(X \rightarrow Y)}{supp(Y)}$关联规则挖掘的应用场景关联规则挖掘可以被广泛应用于各种业务场景中,例如:1.零售业在零售业场景中,关联规则挖掘可以帮助零售商发现顾客之间的购买模式和趋势,从而提高销售额和客户忠诚度。
关联规则数据挖掘学习报告目录引言 2 案例 2 关联规则 3(一)关联规则定义(二)相关概念(三)关联规则分类数据 6(一)小型数据(二)大型数据应用软件7 (一)WEKA(二)IBM SPSS Modeler数据挖掘12 总结27一、引言数据库与互联网技术在日益发展壮大,人们每天可以获得的信息量呈指数级增长。
如何从这浩如瀚海的数据中找出我们需要的数据显得尤为重要。
数据挖掘又为资料探勘、数据采矿。
它是数据库知识发现中的一个步骤。
数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。
数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。
数据挖掘大致分为以下几类:分类 (Classification)、估计(Estimatio n)、预测(Prediction)、相关性分组或关联规则(Affinity grouping or association ruleS)、聚类(Clusteri ng)、复杂数据类型挖掘(Text, Web图形图像,视频,音频等)。
二、案例"尿布与啤酒"的故事。
在一家超市里,有一个有趣的现象:尿布和啤酒赫然摆在一起出售。
但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。
这不是一个笑话,而是发生在美国沃尔玛连锁店超市的真实案例,并一直为商家所津津乐道。
沃尔玛拥有世界上最大的数据仓库系统,为了能够准确了解顾客在其门店的购买习惯,沃尔玛对其顾客的购物行为进行购物篮分析,想知道顾客经常一起购买的商品有哪些。
沃尔玛数据仓库里集中了其各门店的详细原始交易数据。
在这些原始交易数据的基础上,沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。
一个意外的发现是:"跟尿布一起购买最多的商品竟是啤酒!经过大量实际调查和分析,揭示了一个隐藏在"尿布与啤酒"背后的美国人的一种行为模式:在美国,一些年轻的父亲下班后经常要到超市去买婴儿尿布,而他们中有30%〜40%的人同时也为自己买一些啤酒。
产生这一现象的原因是:美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布,而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。
按常规思维,尿布与啤酒风马牛不相及,若不是借助数据挖掘技术对大量交易数据进行挖掘分析,沃尔玛是不可能发现数据内在这一有价值的规律的。
在这个案例中使用了数据挖掘中的关联规则分析。
关联分析是发现交易数据库中不同项之间的联系。
毫无疑问,关联分析中发现的规则为超市带来了更多的收益。
如果我们能在生活中对关联分析进行应用,一定可以解决更多的问题。
数据关联是数据库中存在的一类重要的可被发现的知识。
若两个或多个变量的取值之间存在某种规律性,就称为关联。
关联可分为简单关联、时序关联、因果关联。
关联分析的目的是找出数据库中隐藏的关联网。
有时并不知道数据库中数据的关联函数,即使知道也是不确定的,因此关联分析生成的规则带有可信度。
关联规则挖掘发现大量数据中项集之间有趣的关联或相关联系。
Agrawal等于1993年首先提出了挖掘顾客交易数据库中项集间的关联规则问题,以后诸多的研究人员对关联规则的挖掘问题进行了大量的研究。
他们的工作包括对原有的算法进行优化,如引入随机采样、并行的思想等,以提高算法挖掘规则的效率;对关联规则的应用进行推广。
关联规则挖掘在数据挖掘中是一个重要的课题,最近几年已被业界所广泛研究。
三、关联规则(一)关联规则定义关联分析是一种简单、实用的分析技术,就是发现存在于大量数据集中的关联性或相关性,从而描述了一个事物中某些属性同时出现的规律和模式。
关联分析是从大量数据中发现项集之间有趣的关联和相关联系。
关联分析的一个典型例子是购物篮分析。
该过程通过发现顾客放人其购物篮中的不同商品之间的联系,分析顾客的购买习惯。
通过了解哪些商品频繁地被顾客同时购买,这种关联的发现可以帮助零售商制定营销策略。
其他的应用还包括价目表设计、商品促销、商品的排放和基于购买模式的顾客划分。
(二)相关概念1. 关联规则关联规则是指数据之间的简单的使用规则,是指数据之间的相互依赖关系。
关联规则形如:XY;其中XI,YI,并且xn 丫二。
X为先决条件,丫为结果;关联规则反映了项目集X出现的同时项目集丫也会跟着出现。
2. 支持度(Support)设X属于数据项目集,为事务数据库中包含X的记录条数,为事务数据库中记录的总个数,那么项目集X的支持度=/支持度表示项目集在事物集中出现的频率的是多少。
3. 置信度(Confidenee )有关联规则XY,其中XI, YI,并且X n Y=,那么XY的置信度为:Conf (XY) =*100%=P (Y|X)。
置信度是反映在事物X中出现事物Y的条件概率。
4. 强关联规则如果某条规则同时满足最小支持度和最小置信度则称为强关联规则。
5. 最小支持度、大项集和最小置信度从关联规则的定义可以看出任意两个数据项集都存在关联规则只是其支持度和置信度不同而已。
为了找出有意义的规则就需要规定最小支持度和最小置信度前者描述了关联规则中数据项集的最低重要程度,记为min sup 后者规定了关联规则必须满足的最低可靠性记为,min co nf。
支持度大于最小支持度的数据项集称作大项集(Large Itemset) 反之则称为弱项集(Small Items)。
同时满足最小支持度、最小置信度的关联规则称为强关联规则。
(三)关联规则分类1. 基于规则中处理的变量的类别,关联规则可以分为布尔型和数值型。
布尔型关联规则处理的值都是离散的、种类化的,它显示了这些变量之间的关系;而数值型关联规则可以和多维关联或多层关联规则结合起来,对数值型字段进行处理,将其进行动态的分割,或者直接对原始的数据进行处理,当然数值型关联规则中也可以包含种类变量。
2. 基于规则中数据的抽象层次,可以分为单层关联规则和多层关联规则。
在单层的关联规则中,所有的变量都没有考虑到现实的数据是具有多个不同的层次的;而在多层的关联规则中,对数据的多层性已经进行了充分的考虑。
3. 基于规则中涉及到的数据的维数,关联规则可以分为单维的和多维的。
单维关联规则是处理单个属性中的一些关系;多维关联规则是处理各个属性之间的某些关系。
(四)算法1. Apriori 算法1)Apriori算法是一种使用频繁项集的先验知识从而生成关联规则的一种算法也是最有影响的关联规则挖掘算法。
2)定义:设C(k )表示候选k-项集L(k)表示C(k)中出现频率大于或等于最小支持度阈值与事务总数的乘积的k-项集,即k-频繁项集或者是k-大项集。
3)Apriori算法具有以下性质:任何非频繁的(k-1)-项集都不可能是频繁k- 项集的子集。
这是因为如果含有(k-1)-项集的事务占事务总数的百分比不大于最小支持度阈值。
那么含有该(k-1)-项集与另外一项构成的k项集的事务占事务总数的百分比就更不可能大于或等于最小支持度阈值了。
如果用概念来解释的话,含有k-项集的事务构成的概念的内涵比含有(k-1)-项集事务所构成的概念的内涵增加了那么它的外延必然会减小所包含的事务数也必然减小。
因此,根据这个性质可以在生成k-项集之前先将(k-1)-项集中的非频繁项集删除通过删除候(k-1)-项集中的非频繁项集得到(k-1)-频繁项集。
4)Apriori算法的步骤步骤如下①设定最小支持度s和最小置信度c。
②Apriori算法使用候选项集。
首先产生出候选的项的集合,即候选项集若候选项集的支持度大于或等于最小支持度则该候选项集为频繁项集。
③在Apriori算法的过程中,首先从数据库读入所有的事务,每个项都被看作候选1-项集得出各项的支持度再使用频繁1-项集集合来产生候选2-项集集合。
因为先验原理保证所有非频繁的1-项集的超集都是非频繁的。
④再扫描数据库。
得出候选2-项集集合。
再找出频繁2-项集。
并利用这些频繁2-项集集合来产生候选3-项集。
⑤重复扫描数据库,与最小支持度比较;产生更高层次的频繁项集再从该集合里产生下一级候选项集直到不再产生新的候选项集为止。
2. FP-树频集算法1)定义:针对Apriori算法的固有缺陷,J. Han等提出了不产生候选挖掘频繁项集的方法:FP-树频集算法。
采用分而治之的策略,在经过第一遍扫描之后,把数据库中的频集压缩进一棵频繁模式树(FP-tree ),同时依然保留其中的关联信息,随后再将FP-tree分化成一些条件库,每个库和一个长度为1的频集相关,然后再对这些条件库分别进行挖掘。
当原始数据量很大的时候,也可以结合划分的方法,使得一个FP-tree可以放入主存中。
实验表明,FP-growth对不同长度的规则都有很好的适应性,同时在效率上较之Apriori算法有巨大的提高。
2)FP-树频集算法的步骤步骤如下①遍历一次数据库,到处频繁项集(1项集)的集合和支持度计数(频率),并且以降序排序,结果集或表记为L。
②构造FP-tree。
③根据第二步得到的FP-tree,为1项频繁项集中的每一项构造条件FP-tree。
④得到频繁模式(频繁项集)。
四、数据(一)小型数据这是我们得到的最原始的数据,是国外某超市的购物篮数据,共有约一千条。
文件格式为txt 格式,每一行代表一个顾客购物篮中的商品。
(二)大型数据gjiLtrt :辭年亠 —_I Q I 回护卉丈*",損砖宙fi'SiVi *-r ,H12第二个大型数据也是国外某公司的超市购物篮数据,共有88162条数据。
数据为txt 格式。
第一行是对每列数据的一个编号,从第二列开始是每个顾客超 市购物篮中的东西。
每个数字代表一个商品。
因为数据过大,所以整个数据是数 据集的形式。
五•应用软件(一) WEKA1. WEKA 简介4L51629 no 96697454.97—2 14 38r !・T7 16 0 6 7 7 86 0 5 5 67 7 72Z22232248891 4 0 4 3 9 0 1123j5 9 4 5 G 7 88 2 6 3 8 9-01112 20 0 4 1 4- ns- o i二二393268238 ? o 宮Q n I* 2 - J 5 5 R nG CFi 4 _1 1- 1 1- 1 1 1 MJ 1*4- CO6 6 8 785 「930 co $o 11 4 1 2 2L g g 畑02L 1221353751G57g638Lg 85 77 3 8 8231dallLLL51J-l-_y43 1ZH 21T218219 2209 1 D 严J 6 g CM 3 2 8 9 6 1 9 6 9 8 9 1 8 9 9 Dfr £ 9- & 2 2 9 6 9 9 912 7 1 7 7 8WEKA的全名是怀卡托智能分析环境( Waikato Environment for KnowledgeAnalysis ),是一款免费的,非商业化的,基于JAVA环境下开源的机器学习以及数据挖掘软件。