增量关联规则
- 格式:pptx
- 大小:615.73 KB
- 文档页数:17


利用sqlserver数据挖掘关联规则分析案例软件操作
步骤1:准备数据
首先要准备需要进行关联规则分析的数据,并将其以csv或txt格式导入到Sql Server数据库中。
步骤2:创建数据挖掘结构
在Sql Server中的“对象资源管理器”界面下展开“数据库”和“数据挖掘”,然后右键单击“数据挖掘结构”,选择“新建数据挖掘结构”。
在弹出的向导中选择“从现有表或视图中创建”选项,并选择要进行关联规则分析的数据表。在“数据列选择”界面中,选择需要分析的数据列。
步骤3:创建数据挖掘模型
在数据挖掘结构中,选择“新建数据挖掘模型”。在弹出的向导中选择“关联规则”算法,并设置其他参数,例如支持度和置信度的设置等。
步骤4:设置模型属性
在数据挖掘模型创建完成后,右键单击模型名称,选择“模型属性”进行设置。在“挖掘”的选项卡下,选择“多项式表达式内容”的值为“True”,以显示模型中生成的关联规则。
步骤5:运行模型
在模型属性设置完成后,右键单击模型名称,选择“运行”进行分析。分析完成后,可以在模型中的“报告”和“结构”选项卡下查看生成的关联规则和相关的统计数据。
以上就是利用Sql Server数据挖掘关联规则分析案例的软件操作步骤。
科 科l技i论i坛 关联规则算法优化研究 张瑞雪解晨光郝春梅 (哈尔滨金融高等专科学校,黑龙江哈尔滨150040) 摘要:关联规则是数据挖掘中一个重要的研究内容。典型的关联规则发现算法是由R.Agrawal等提出的Apfiori算法。本文研究了数据挖掘技 术中的关联规则算法。对经典的Apriori算法作了全面的分析,指出了挖掘中的关键步骤,提出算法的不足,并给出了算法可以改进的方向。 关键词:数据挖掘;关联规则;支持度;置信度 引言 在数据挖掘的知识模式中,关联规则模式 是比较重要的一种,也是最活跃的一个分支。关 联规则表示数据库中一组对象之间某种关联关 系的规则。采用关联模型比较典型的例子是“啤 酒和尿布”的故事。关联规则经典算法Apriori 是由美国学者R.Agrawal等人于1993年首先 提出,随即引起了广泛的关注。目前的大多数关 联规则挖掘算法在这些情况下效率较低,必须 对关联规则挖掘算法作进一步的研究,设计高 效的算法。所以,如何设计高效的更新、维护算 法也是非常重要的研究课题。 l关联规则算法简介 关联规则挖掘主要分为两个问题:a一找出 事务数据库D中所有大于等于用户指定最小 支持度的项目集(itemset)。具有最小支持度的 项目集称为最大项目集,简称大项集。项目集的 支持度指包含该项目集的数目。I,刑用最大项 目集生成所需要的关联规则。对每一最大项目 集A找到A的所有非空子集a,如果比率sup— port(A)/support(a)t>mincontldenee,就生成关联 规贝0 a= A—a).support(A)/support(a)即规贝0 a (A j的置信度 事实上,由于第2步比较简单,所以挖掘 关联规则的关键就是寻找频繁集。 Apriori算法的中心思想是首先通过对事 务数据库进行扫描,找出支持度不小于最小支 持度的所有项目,即频繁I项集。接下来的工作 是循环的,每次循环分3步进行: 连接,对频 繁k项集中的项进行连接,前提条件是前k-1 项必须相同。b.减枝,在减枝这一步主要根据一 个频繁项目集的任何一个子集都应该是频繁的 这一思想对连接后的项目集进行筛选,删除那 些子集不是频繁集的项目集,得出候选(k+1) 项集。c.对数据库进行扫描,计算候选项的支持 度,从候选集中删除支持度小于最小支持度的 候选项,进而得出频繁(k+1)项集。循环的终 止条件是频繁k项集为空,也就是说再也找不 出相关联的项目了。 2关联规则挖掘算法存在的缺陷 A州 算法的频繁项集方法已被证明是 在大型数据库中挖掘关联规则的有效工具,但 在实际应用中,还存在不足之处。 2.1关联规则有较大的冗余性。 2.2由于该算法只用支持度和置信度这两 个标准来衡量关联规则,在实际应用中常会产 生一些没有价值的规则,甚至是错误的结果。 2.3关联规则挖掘算法的挖掘效率有待进 一步提高。通过前面算法的介绍,我们知道 Apfiofi算法在进行相应计算和操作时总是要对 整个数据库进行扫描,数据库有时候可达GB 甚至TB数量级,而数据库l{1有的事务是可以 在扫描中略去的,这样效率就会比较低。 3关联规则算法优化 如何提高关联规则挖掘算法的效率~直 是关联规则挖掘问题研究的热点。对关联规则 问题的研究主要集中在以下几个方面:减少候 选项目集的数虽;减少对数据库的扫描次数;减 少所需扫描的数据库的大小;为此,特提出如下 优化方案: 3.1增加衡量标准 目前,衡量和生成关联规则的标准主要有 最小支持度和最小置信度两个。但仅用这两个 标准来衡量关联规则显然是不够的,由此提出 增加如下标准: 3.】,1兴趣度 一般来说,如果挖掘出的关联规则具有新 颖性——与人们以前的认识和观点不同,或具 有实用性——用户根据所挖掘出的关联规则可 以辅助决策,那么这样的关联规则就是用户感 兴趣的规则,或称关联规则是兴趣的。 兴趣度度量一条规则给用户带来的信息 的多少.不同的兴趣度的计算将具有不同的修 剪效果。 在数值关联规则的挖掘中,通过比较一条 规则的预测支持率与实际支持率之问的差距来 确定该规则的兴趣度。例如:对如下两条规则 (曼)<Age:20—40> <Cars:1-2>(支持率 8%,置信度7O%) ②<Age:20-25> <Cars:1—2>(支持率 2%,置信度7O%) 如果已经得到了第一条规则,则可以预测 笫二条规则具有2%左右的支持率和70%左右 的置信度。因此第二条规则并没有带给用户更 多的信息而可以被删除掉。 3.1.2有效度 考虑数据库中x不出现而Y出现的可能 性,能较全面地描述x对Y的影响程度。将在 数据库中x和Y同时出现的概率P(XY)减去 x不出现而Y出现时的概率P Y)定义为有效 度,取值在 Il区间,记为Validity。如果Valid— ity<0,则X Y规则是无意义的。 如果在挖掘关联规则时,x Y的有效度 小于或等于零,即使支持度和置信度均满足要 求,该规则仍是无用的。 所以,将类似兴趣度、有效度这样的标准 加入到关联规则的定义之中,能够减少关联规 则挖掘的盲目性,从而提高算法的效率。 3.2运用领域知识 领域知识就是在数据库中未明确表达,而 在该领域内达成共识的信息知识。 在数据准备与预处理阶段,可以利用领域 知识排除与关联规则发现无关的数据库 『1白9记 录或数据项,有效地降低问题的维数,缩减数据 库的大小,使设计出的挖掘算法更加有效。 在数据挖掘的产生假设阶段,用领域知识 排除假设中不必要的条件以优化假设,减少从 数据库发现有用信息的搜索时间。 在发现新模式阶段,利用领域知识及对规 则的关注程度或兴趣度无意义的候选关联规则 进行修剪,以提高挖掘效率。 但领域知识也应该认真使用以防阻碍一 些有用规则的发现。 3.3改进挖掘方式 关联规则挖掘的基本模型在数据集更新 (事务数的少量增减)时,需要对整个数据集重 新进行挖掘。关联规则挖掘的增量算法对数据 集中的事务增加时的关联规则挖掘进行了优 化,算法只需要找出新增数据集中的频繁项目 集并对原数据集扫描一次就可以确定更新后的 整个数据集中的新的频繁项目集。 Online关联规则挖掘是针对关联规则挖 掘的基本模型的封闭性而作的改进。关联规则 挖掘的基本模型的封闭性是指在寻找频繁项目 集的过程中,用户难以与挖掘算法交互。Online 关联规则挖掘使用户在第一次扫描数据集的任 何时候都可以根据需要调整最小支持率和最小 置信度,以挖掘出所需的关联规则,该算法只需 对数据集扫描两次。 4结论 本文通过对Apfiori算法的分析,找到该算 法存在的缺陷,并提出算法改进的可能方向和 途径。 参考文献 【1]Vipin Kumar,Mahesh VJoshi,Eui—Hong Sam Hart,eta1.High Performance Data Mining【M】. Lecture Notes in Computer Science.2003,8:63- 88页 I21陈辉,向伟忠,单健.关联规则挖掘在教师教 学评价系统中的应用【J】.南华大学学报(自然科 学版)Vo1.19.No.1 f3】王铁军.数据挖掘技术在教学评价系统中的 应用[J】.MODERN COMPUTER.2005,3. 作者简介:张瑞雪(1978~),女,黑龙江哈尔 滨人,哈尔滨金融高等专科学校教师,哈尔滨工 程大学硕士毕业,从事模式识别、数据库技术研 究。 项目编号:11525019 项目来源:黑龙江省教育厅高职高专院校 科研项目 项目名称:关联规则算法研究及其在高校 教学评价数据分析中的应用 -
第34卷
VoL34 第3期
No3 计算机工程
Computer Engineering 2008年2月
February 2008
・博士论文・ 文章编号:1o0o—3428(2o08)o3—o029.__03 文献标识码:A 中圈分类号;TP391
基于CAN.树的高效关联规则增量挖掘算法
邹力鸱,张其善
(北京航天航空大学电子信息工程学院,北京100083)
摘要:关联规则是数据挖掘领域的一个重要研究方向。针对关联规则的增量挖掘问题,该文提出一种快速算法 ̄AFAR。算法使用CAN一
树存储原始交易数据库,弥补了FP一树的不足,适应于增量挖掘以及最小支持度变化的情况。采用子父节点指针的设计,可以快速生成条
件模式树,提高算法的效率。实验验证了算法的有效性。 关翻:数据挖掘;关联规则;条件模式树;指针
Efficient Incremental Association Rules Mining Algorithm
Based on CAN.tree
ZoU Li-kun.ZHANG Qi-shan
(School of Electronics and Information Engineering,Beijing University ofAeronautics and Astronautics,Beijing 100083)
]Abstract]Finding association rules is a major aspect ofdata mining research.An efficient algorithm FIAFAR is proposed to deal with incremental mining of association rules.Algorithm is based on the CAN—tree structure.overcomes the shortcomings of FP—tree which it is not suitable for
关联规则评价指标计算公式
关联规则是数据挖掘中常用的一种分析方法,用于发现数据集中的规律和关系。为了评估关联规则的质量和重要性,需要使用一些评价指标。其中最常用的指标是支持度、置信度和提升度。
支持度(Support)衡量了关联规则在整个数据集中出现的频率,即规则的出现次数与数据集总数的比例。支持度越高,表示规则越常见。支持度的计算公式如下:
支持度 = 规则出现次数 / 数据集总数
置信度(Confidence)衡量了规则的准确性,即当前规则的后项在前项已经发生的情况下发生的概率。置信度越高,表示规则越可信。置信度的计算公式如下:
置信度 = 规则出现次数 / 前项出现次数
提升度(Lift)衡量了规则的重要性,即当前规则发现了前项和后项之间的关联程度。提升度大于1表示前项和后项之间有正向关联,提升度小于1表示前项和后项之间有负向关联,提升度等于1表示前项和后项之间没有关联。提升度的计算公式如下:
提升度 = 置信度 / 后项出现概率
除了支持度、置信度和提升度,还有一些其他的评价指标可以用来评估关联规则,例如全置信度、Jaccard相似度等。这些指标可以根据具体的应用场景和需求进行选择和计算。
关联规则评价指标的计算公式包括支持度、置信度和提升度。通过计算这些指标,可以评估关联规则的质量和重要性,从而进行进一步的分析和应用。