数据挖掘中的关联规则挖掘

数据挖掘实验报告

班级

学号

姓名

课程数据挖掘

实验名称 实验一：数据准备 实验类型

实验目的：

（1）掌握利用文本编辑软件生成ARFF文件的方法；

（2）掌握将EXCEL表格文件转换为ARFF文件的方法；

（3）掌握数据的预处理方法。

实验要求：

（1）将下列表格中的数据利用文本编辑软件生成ARFF文件：

姓名 出生日期 性别 婚否 工资 职业 信用等级

黄大伟 1970.05.08 男 3580 教师 优秀

李明 1964.11.03 男 是 4850 公务员 优秀

张明明 1975.03.12 女 是 职员 优秀

覃明勇 1981.07.11 男 是 2980 职员 良好

黄燕玲 1986.05.08 女 否 2560 工人 一般

表中没有填上的数据为缺失数据。请列出你编辑ARFF文件并在WEKA中打开该文件。

（2）将EXCEL表格文件“bankdata.xls”转换为ARFF文件的方法,并将它另存为ARFF文件“bankdata.arff”, 在WEKA中打开该文件，写出操作过程。

（3）数值属性的离散化：在WEKA中打开ARFF文件“bankdata.arff”，对属性“age”和“income”分别按等宽分箱和等深分箱进行离散化为三个箱。给出分箱的结果。

实验结果：

(1) @relation book1

@attribute 姓名 {黄大伟,'李明',张明明,覃明勇,黄燕玲}

@attribute 出生日期 {1970.05.08,1964.11.03,1975.03.12,1981.07.11,1986.05.08}

@attribute 性别 {男,女}

@attribute 婚否 {是,否}

@attribute 工资 numeric

@data

黄大伟,1970.05.08,男,?,3580

李 ',1964.11.03,男,是,4850

张明明,1975.03.12,女,是,?

关联规则挖掘的相关算法

1.Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。

该算法的基本思想是：首先找出所有的频集，这些项集出现的频繁性至少和预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。然后使用第1步找到的频集产生期望的规则，产生只包含集合的项的所有规则，其中每一条规则的右部只有一项，这里采用的是中规则的定义。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度的规则才被留下来。为了生成所有频集，使用了递推的方法。

可能产生大量的候选集,以及可能需要重复扫描数据库，是Apriori算法的两大缺点。

2.基于划分的算法这个算法先把数据库从逻辑上分成几个互不相交的块，每次单独考虑一个分块并对它生成所有的频集，然后把产生的频集合并，用来生成所有可能的频集，最后计算这些项集的支持度。这里分块的大小选择要使得每个分块可以被放入主存，每个阶段只需被扫描一次。而算法的正确性是由每一个可能的频集至少在某一个分块中是频集保证的。该算法是可以高度并行的，可以把每一分块分别分配给某一个处理器生成频集。产生频集的每一个循环结束后，处理器之间进行通信来产生全局的候选k-项集。通常这里的通信过程是算法执行时间的主要瓶颈；而另一方面，每个独立的处理器生成频集的时间也是一个瓶颈。

3.FP-树频集算法采用分而治之的策略，在经过第一遍扫描之后，把数据库中的频集压缩进一棵频繁模式树（FP-tree），同时依然保留其中的关联信息，随后再将FP-tree分化成一些条件库，每个库和一个长度为1的频集相关，然后再对这些条件库分别进行挖掘。当原始数据量很大的时候，也可以结合划分的方法,使得一个FP-tree可以放入主存中。实验表明，FP-growth对不同长度的规则都有很好的适应性，同时在效率上较之Apriori算法有巨大的提高。

关联规则数据挖掘论文

1关联规则挖掘算法

在早期关于数据挖掘技术的研究中，研究的重点放在数据挖掘模型的建立以及相关算法的研究上，但是应用这种研究方法所得到结果研究结果是比较孤立的，难以取得理想的数据处理效果，随着关于数据挖掘技术研究的深入，人们发现在展开数据挖掘技术的研究过程中，想要有效的实现用户相关的挖掘目标，除了需要增大算法的研究力度之外，还需要制定出特定的实现机制，以便于所制定的挖掘计划能够转化成为对一个系统工作的操纵，这样才能促使挖掘项目获得一个理想的挖掘效果，对于挖掘算法的约束作用，在挖掘算法展开的任何阶段都能够实现，并且挖掘算法的基本形式就是交互式数据，在实际的挖掘算法展开的过程中，严格按照相关的计算流程展开才能达到快速、准确完成挖掘任务的目的。在展开数据挖掘计算的过程中，因为面临着多种因素的影响，并且其中一些因素是难以把握的，这直接导致了挖掘算法的结算结果具有不可预测性，所以还需要为挖掘算法添加反馈机制，通过有效的反馈机制能够对计算结果实行验证，并且能够对算法中的数据实行修正，在该过程中，不但要保证所挖掘到数据的准确性，还需要保证数据是用户所侧重的，这就需要所挖掘的数据结果不但具有逻辑上的准确性，还要能够满足用户的主观偏好，既要能够满足用户的需求，这就需要有效的约束来发现算法中的问题，并即时的展开算法纠正，这样才能保证所展开的挖掘算法能够满足各方面的实际需求。

但是在实际的展开挖掘算法的过程中，很容易导致陷入到一个误区当中，也就是将注重的重点放在一个系统处理所出现的问题上，但是对系统规模大小的操纵没有予以充足的重视，出现这样的问题会对挖掘算法结果起到反作用，使得相关问题难以很好的解决。在实行数据挖掘的约束时，要保证实现系统增量式扩充，在对用户的实际需求与目标予以明确之后，需要借助于约束参数，结合约束参数的形式对一些有待解决的问题实施验证，一旦确定相关数值之后，就能够通过实验的交互式输入实现，最终较大较优值，该约束机制能够应用于数据挖掘算法的各个不同阶段，另一方面，在展开数据的预处理时，要能够保证约束个数的设置在保证数据挖掘结果准确性的同时，能够保持数据的规模，并且能够将约束机制应用于整个项目细分之后的子目标，从而实现快速约束。为了能够更好的解决相关问题，能够对不同类型的问题加用不用的约束调节，特别是在维度较高的数据的除了过程中，如果所选择的约束条件合适，能够有效简化挖掘算法。

关联规则挖掘方法

一、前言

关联规则挖掘是数据挖掘中的一个重要领域，它可以帮助我们发现数据中隐藏的规律和关系，从而为商业决策和市场营销提供支持。本文将介绍关联规则挖掘的方法和步骤，包括数据预处理、频繁项集生成、关联规则生成和评估等。

二、数据预处理

在进行关联规则挖掘之前，我们需要对原始数据进行预处理。首先，我们需要去除无用的属性和记录，并对缺失值进行处理。其次，我们需要将离散型数据转换为数值型数据，并对连续型数据进行离散化。最后，我们需要对异常值进行检测和处理。

三、频繁项集生成

频繁项集是指在数据集中经常出现的一组物品集合。频繁项集生成是关联规则挖掘的第一步，其目的是找到所有满足最小支持度阈值的频繁项集。

1. Apriori算法

Apriori算法是最常用的频繁项集生成算法之一。它基于两个重要性质：单调性和自由子集性质。Apriori算法分为两个阶段：候选项集生成和剪枝。

2. FP-growth算法

FP-growth算法是一种基于树结构的频繁项集生成算法。它通过构建一棵FP树来发现频繁项集。FP-growth算法相对于Apriori算法具有更快的速度和更小的空间复杂度。

四、关联规则生成

在找到所有频繁项集之后，我们需要从中挖掘出有意义的关联规则。关联规则是指形如X->Y的规则，其中X和Y都是物品集合，且X∩Y=∅。

1. 关联规则挖掘

关联规则挖掘是指从频繁项集中挖掘出满足最小置信度阈值的关联规则。置信度是指在条件X下出现Y的概率。

2. 关联规则评估

关联规则评估是指对挖掘出来的关联规则进行评估和选择。常用的评价指标包括支持度、置信度、提升度和全置信度等。

五、总结

本文介绍了关联规则挖掘的方法和步骤，包括数据预处理、频繁项集生成、关联规则生成和评估等。在实际应用中，我们需要根据具体情况选择不同的算法和参数，并进行优化和调整。