数据挖掘考试题目——关联分析教学提纲

《数据挖掘》复习提纲第一章数据挖掘概述1、什么是数据挖掘从大量数据中挖掘有用的知识2、数据挖掘的动机数据丰富，信息贫乏3、数据挖掘的同义词从数据中挖掘知识,知识提炼,数据/模式分析,数据考古,数据捕捞、信息收获、资料勘探等等4、知识发现的过程1.数据清理2.数据集成3.数据选择4.数据变换5.数据挖掘6.模式评估7.知识表示5、数据挖掘和知识发现是一回事吗？数据挖掘是知识发现过程的一个步骤6、数据挖掘可以挖掘的两类模式？描述性的数据挖掘，预测性的数据挖掘7、常用的数据挖掘技术？概念/类描述: 特性化和区分,挖掘频繁模式、关联和相关,分类和预,聚类分析,离群点（孤立点）分析,趋势和演变分析8、什么是离群点？离群点总是被抛弃的吗？离群点:一些与数据的一般行为或模型不一致的孤立数据。

通常孤立点被作为“噪音”或异常被丢弃，但在欺骗检测中却可以通过对罕见事件进行孤立点分析而得到结论9、挖掘的所有模式都是有趣的吗？什么样的模式是有趣的？如何度量模式的有趣度？一个数据挖掘系统/查询可以挖掘出数以千计的模式, 并非所有的模式都是有趣的易于理解，在某种必然程度上，对于新的或检验数据是有效的，是潜在有用的，是新颖的，符合用户确信的某种假设客观: 基于模式的统计和结构, 例如, 支持度, 置信度, 等.主观: 基于用户对数据的确信, 例如, 出乎意料, 新颖性, 可行动性等.10、数据挖掘原语类型？任务相关的数据，挖掘的知识类型，背景知识，模式相关度度量，发现模式的可视化第二章数据预处理1、现实世界中的数据是“脏”的，主要体现在哪几个方面？数据为什么脏？不完整、含噪声和不一致不完全数据源于：数据收集时未包含，数据收集和数据分析时的不同考虑.，人/硬件/软件问题噪音数据源于：收集数据的设备可能出现故障，数据输入时人为录入错误，数据传输错误不一致数据源于：不同的数据源，数据代码不一致（日期格式）2、为什么要进行数据预处理？现实世界的数据一般是脏的、不完整的和不一致的。

一、1.2 数据仓库与数据库有何不同？它们有哪些相似之处?简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。

数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。

数据库设计是尽量防止冗余，一般采用符合式的规那么来设计，数据仓库在设计是有意引入冗余，采用反式的方式来设计。

数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个根本的元素是维表和事实表。

维是看问题的角度，比方时间，部门，维表放的就是这些东西的定义，事实表里放着要查询的数据，同时有维的ID。

单从概念上讲，有些晦涩。

任何技术都是为应用效劳的，结合应用可以很容易地理解。

以银行业务为例。

数据库是事务系统的数据平台，客户在银行做的每笔交易都会写入数据库，被记录下来，这里，可以简单地理解为用数据库记帐。

数据仓库是分析系统的数据平台，它从事务系统获取数据，并做汇总、加工，为决策者提供决策的依据。

比方，某银行某分行一个月发生多少交易，该分行当前存款余额是多少。

如果存款又多，消费交易又多，那么该地区就有必要设立ATM了。

显然，银行的交易量是巨大的，通常以百万甚至千万次来计算。

事务系统是实时的，这就要求时效性，客户存一笔钱需要几十秒是无法忍受的，这就要求数据库只能存储很短一段时间的数据。

而分析系统是事后的，它要提供关注时间段所有的有效数据。

这些数据是海量的，汇总计算起来也要慢一些，但是，只要能够提供有效的分析数据就到达目的了。

数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库〞。

那么，数据仓库与传统数据库比拟，有哪些不同呢?让我们先看看W.H.Inmon关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。

“面向主题的〞:传统数据库主要是为应用程序进展数据处理，未必按照同一主题存储数据;数据仓库侧重于数据分析工作，是按照主题存储的。

这一点，类似于传统农贸市场与超市的区别—市场里面，白菜、萝卜、香菜会在一个摊位上，如果它们是一个小贩卖的;而超市里，白菜、萝卜、香菜那么各自一块。

数据挖掘技术（三）——关联分析3、关联分析3.1、基本概念（1）通常认为项在事物中出现⽐不出现更重要，因此项是⾮对称⼆元变量。

（2）关联规则是形如X->Y的蕴涵表达式，其中X和Y是不相交的项集，即X交Y=空。

（3）由关联规则作出的推论并不必然蕴涵因果关系。

它只表⽰规则前件和后件中的项明显地同时出现。

（4）通常，频繁项集的产⽣所需的计算开销远⼤于规则产⽣所需的计算开销。

（5）任何具有反单调性的度量都能够结合到数据挖掘算法中，对候选项集的指数搜索空间有效地进⾏剪枝。

3.2、Apriori算法：算法主要利⽤了如下性质：如果⼀个项集是频繁的，则它的所有⼦集⼀定也是频繁的（这个性质也称⽀持度度量的反单调性）。

也就是说如果当前的项集不是频繁的，那么它的超集也不在是频繁的。

（该算法的计算复杂度依赖于数据中的项数和事物的平均长度等性质）算法步骤：（1）算法初始通过单遍扫描数据集，确定每个项的⽀持度。

⼀旦完成这⼀步，就得到所有频繁1项集的集合F1；（2）接下来，该算法使⽤上⼀次迭代发现的频繁(k-1)项集，产⽣新的候选k项集；（3）为了对候选项的⽀持度计数，算法需要再次扫描⼀遍数据库，使⽤⼦集函数确定包含在每⼀个事物t中的C k中的所有候选k项集；（4）计算候选项的⽀持度计数后，算法将删除⽀持度计数⼩于minsup的所有候选项集；（5）当没有新的频繁项集产⽣时，算法结束。

Apriori算法第⼀它是逐层算法，第⼆它使⽤产⽣—测试策略来发现频繁项集。

注意：在由k-1项集产⽣k项集的过程中有以下⼏点注意：（1）新产⽣的k项集先要确定它的所有的k-1项真⼦集都是频繁的（其实如果k个⼦集中的m个⽤来产⽣候选项集，则在候选项集剪枝时只需检查剩下的k-m个⼦集），如果有⼀个不是频繁的，那么它可以从当前的候选项集中去掉。

（2）候选项集的产⽣⽅法：A)蛮⼒法：从2项集开始以后所有的项集都从1项集完全拼出来。

如：3项集有3个⼀项集拼出（要列出所有的3个⼀项集拼出的可能）。

数据挖掘之关联分析1. 什么是关联分析关联分析是数据挖掘领域常用的一类算法，主要用于发现隐藏在大型数据集中有意义的联系。

举一个大家最耳熟能详的例子，就是尿布和啤酒，表示成关联规则的形式就是｛尿壶｝——> ｛啤酒｝。

这就是使用关联分析方法所得到的结果，而关联分析所得到的结果，我们可以用关联规则或者频繁项集的形式表示。

在进行关联分析时，我们常常会遇到这样两个问题：A. 从大型数据集中发现模式一般来说需要在计算上付出巨大的代价，甚至往往是impossble的，我们往往采用置信度和支持度的剪枝来解决这个问题。

B. 所发现的某些模式可能是虚假的，这个我们需要采用一些关联规则的评估来解决这个问题。

2. 基本概念A. 项集：在关联分析中，包含0个或者多个的项的集合称为项集。

如果一个项集包含k个项，那么就称为k-项集。

比如｛牛奶，咖啡｝则称为2项集。

B. 支持度：支持度用来确定给定数据集的频繁程度，即给定数据集在所有的数据集中出现的频率，例如s(X -> Y) = P(X,Y) / NC. 置信度：置信度则是用来确定Y在包含X的事务中出现的频繁程度，即 c(X -> Y) = P(X,Y) / P(X)3. 关联分析算法的基本原理支持度和置信度的意义在于，支持度是一个重要的度量，如果支持度很低，代表这个规则其实只是偶然出现，基本没有意义。

因此，支持度通常用来删除那些无意义的规则。

而置信度则是通过规则进行推理具有可靠性。

用c(X->Y)来说，只有置信度越高，Y出现在包含X的事务中的概率才越大，否则这个规则也没有意义。

通常我们在做关联规则发现的时候都会设定支持度和置信度阈值 minsup 和minconf ，而关联规则发现则是发现那些支持度大于等于minsup 并且置信度大于 minconf的所有规则。

所以，提高关联分析算法效率最简单的办法则是提高支持度和置信度的阈值。

所以，通过上面的概念，我们可以很自然地想到，关联分析的基本算法：A. 找到满足最小支持度阈值的所有项集，我们称之为频繁项集。

数据挖掘课程复习提纲（4+0）有关考试题型：一、选择题（每题2 分，共16 分）二、判断题（每题1 分，共10 分)三、填空题（每空1 分，共19 分）四、简答题（每题5 分，共15 分）五、计算题（每题10 分，共40 分）基本要求：掌握数据预处理、分类、聚类、关联分析、离群点检测的基本方法，及每类方法的应用场景（每类方法理解、熟悉一个例子）。

算法重点掌握k-means、一趟聚类、Appriori 及基于密度的离群点检测方法；掌握决策树分类(C4.5、CART)、KNN分类的基本思想，基于聚类的离群点检测方法的思想。

第一章绪论1 数据挖掘的定义技术层面：数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中、人们事先不知道的、但又潜在有用的信息和知识的过程。

商业层面：数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。

2 数据挖掘的任务预测任务：根据其它属性的值预测特定（目标）属性的值，如回归、分类、异常检测。

描述任务：寻找概括数据中潜在联系的模式，如关联分析、聚类分析、序列模式挖掘。

●聚类(Clustering)分析“物以类聚，人以群分”。

聚类分析技术试图找出数据集中数据的共性和差异，并将具有共性的对象聚合在相应的簇中。

聚类分析可以帮助判断哪些组合更有意义，聚类分析已广泛应用于客户细分、定向营销、信息检索等领域。

●分类(Classification)分析分类分析就是通过分析示例数据库中的数据，为每个类别做出准确的描述，或建立分析模型，或挖掘出分类规则，然后用这个分类模型或规则对数据库中的其它记录进行分类。

分类分析已广泛应用于用户行为分析(受众分析)、风险分析、生物科学等领域。

聚类与分类的区别聚类问题是无指导的：没有预先定义的类。

分类问题是有指导的：预先定义有类。

●关联(Association)分析关联分析是发现特征之间的相互依赖关系，通常是在给定的数据集中发现频繁出现的模式知识(又称为关联规则)。

数据挖掘课程复习提纲（4+0 ）有关考试题型：一、选择题（每题2 分，共16 分）二、判断题（每题1 分，共10 分）三、填空题（每空1 分，共19 分）四、简答题（每题5 分，共15 分）五、计算题（每题10 分，共40 分）基本要求：掌握数据预处理、分类、聚类、关联分析、离群点检测的基本方法，及每类方法的应用场景（每类方法理解、熟悉一个例子）。

算法重点掌握k-means 、一趟聚类、Appriori及基于密度的离群点检测方法；掌握决策树分类（C4.5、CART）、KNN 分类的基本思想，基于聚类的离群点检测方法的思想。

第一章绪论1 数据挖掘的定义技术层面：数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中、人们事先不知道的、但又潜在有用的信息和知识的过程。

商业层面：数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。

2 数据挖掘的任务预测任务：根据其它属性的值预测特定（目标）属性的值，如回归、分类、异常检测。

描述任务：寻找概括数据中潜在联系的模式，如关联分析、聚类分析、序列模式挖掘。

聚类（Clustering）分析“物以类聚，人以群分”。

聚类分析技术试图找出数据集中数据的共性和差异，并将具有共性的对象聚合在相应的簇中。

聚类分析可以帮助判断哪些组合更有意义，聚类分析已广泛应用于客户细分、定向营销、信息检索等领域。

分类（Classification）分析分类分析就是通过分析示例数据库中的数据，为每个类别做出准确的描述，或建立分析模型，或挖掘出分类规则，然后用这个分类模型或规则对数据库中的其它记录进行分类。

分类分析已广泛应用于用户行为分析（受众分析）、风险分析、生物科学等领域。

聚类与分类的区别聚类问题是无指导的：没有预先定义的类。

分类问题是有指导的：预先定义有类。

关联(Association) 分析关联分析是发现特征之间的相互依赖关系，通常是在给定的数据集中发现频繁出现的模式知识(又称为关联规则)。

数据挖掘关联分析1 引言在大型数据库中，关联规则挖掘是最常见的数据挖掘任务之一．关联规则挖掘就是从大量数据中发现项集之间的相关联系．Apriori 算法，前者采用逐层搜索的迭代策略，先产生候选集，再对候选集进行筛选，然后产生该层的频繁集。

2 Apriori 算法Apriori 算法是关联规则挖掘中最基本也是最常见的算法．它是由Agrawal 等人于1993年提出的一种最有影响的挖掘布尔关联规则频繁项集的算法，主要用来在大型数据库上进行快速挖掘关联规则。

2.1 算法基本思想Apriori 算法采用逐层迭代搜索方法，使用候选项集来找频繁项集。

其基本思想是: 首先找出所有频繁1－项集的集合L l，L1用于找频繁2－项集的集合L2，而L2用于找L3，如此下去，直到不能找到频繁k－项集。

并利用事先设定好的最小支持度阈值进行筛选，将小于最小支持度的候选项集删除，再进行下一次的合并生成该层的频繁项集。

经过筛选可减少候选项集数，从而加快关联规则挖掘的速度。

2.2 算法的挖掘如果一个项集是频繁的，那么它的所有子集都是频繁的先验原理成立的原因:XsYY⊆∀⇒X≥,YX()())s(:一个项集的支持度不会超过其任何子集的支持度该性质称作支持度的反单调性质2.2.1候选项集的生成Apriori 算法使用了Apriori性质来产生候选项集．任何非频繁的( k－1 )项集都不可能是频繁k－项集的子集．因此，如果一个候选k－项集的( k－1 )－子集不在L k －1中，则该候选项集也不可能是频繁的，从而可以从C k中删除．2.2.2由L k-1 生成L k设定k=1扫描事务数据库一次，生成频繁的1-项集如果存在两个或以上频繁k-项集，重复下面过程：[候选产生] 由长度为k的频繁项集生成长度为k+1的候选项集[候选前剪枝] 对每个候选项集，若其具有非频繁的长度为k的子集，则删除该候选项集[支持度计算] 扫描事务数据库一次，统计每个余下的候选项集的支持度[候选后剪枝] 删除非频繁的候选项集，仅保留频繁的(k+1)-项集，设定k = k+1Apriori流程图2.2.3候选项集的支持度计算1)扫描事务数据库，决定每个候选项集的支持度。

《数据分析与数据挖掘》课程教学大纲引言概述：《数据分析与数据挖掘》是一门重要的课程，它在培养学生数据分析能力和数据挖掘技术方面起着关键作用。

本文将详细介绍该课程的教学大纲，包括课程目标、教学内容、教学方法、考核方式等。

一、课程目标：1.1 培养学生的数据分析思维：通过该课程的学习，学生将掌握数据分析的基本方法和技巧，培养数据分析思维，能够利用数据解决实际问题。

1.2 培养学生的数据挖掘技术：课程将介绍数据挖掘的基本概念和常用算法，培养学生掌握数据挖掘技术，能够从大量数据中发现有价值的信息。

1.3 培养学生的团队合作能力：课程将通过实际案例和项目，培养学生的团队合作能力，使他们能够在团队中协作解决实际问题。

二、教学内容：2.1 数据分析基础知识：介绍数据分析的基本概念、数据类型、数据清洗和预处理等内容，为后续学习打下基础。

2.2 数据挖掘算法：学习数据挖掘的常用算法，包括聚类分析、分类算法、关联规则挖掘等，了解算法原理和应用场景。

2.3 数据可视化：介绍数据可视化的方法和工具，培养学生对数据的可视化分析能力，使得数据分析结果更加直观和易懂。

三、教学方法：3.1 理论授课：通过讲解理论知识，使学生掌握数据分析和数据挖掘的基本概念和方法。

3.2 实践操作：通过实际案例和项目，让学生亲自动手进行数据分析和数据挖掘，提升实际操作能力。

3.3 团队合作：组织学生进行团队项目，培养学生的团队合作能力和解决实际问题的能力。

四、考核方式：4.1 课堂作业：布置课堂作业，检验学生对理论知识的掌握和理解。

4.2 项目实践：要求学生完成一个数据分析或数据挖掘项目，考核学生的实际操作能力和团队合作能力。

4.3 期末考试：进行综合性的理论考试，考察学生对整个课程的综合掌握程度。

五、总结：《数据分析与数据挖掘》课程教学大纲旨在培养学生的数据分析能力和数据挖掘技术，通过理论教学和实践操作，使学生能够熟练掌握数据分析和数据挖掘的基本方法和技巧。