数据挖掘中常用的关联规则挖掘算法
摘要：文中首先介绍了数据挖掘中关联规则的经典算法—Apriori算法。再从宽度、深度、划分、采样、增量式更新等几个角度对关联规则挖掘进行了分类讨论。然后运用文献查询和比较分析的方法对常见的关联规则挖掘算法进行了概述，主要包括FP-growth算法、DHP算法、Partition算法、FUP算法、CD等算法。最后对关联规则挖掘的发展远景进行了展望。关键词：数据挖掘；关联规则；频繁项集；挖掘算法
Common Algorithms of Association Rules Mining in Data Mining Computer Science and Communication Engineering, Pattern Recognition and Intelligent Systems
Abstract: This paper first introduces the data mining association rules in the classical algorithm-Apriori algorithm. Again from the depth, width and division, sampling, incremental updating aspects of association rules mining are classified discussions. Then use the literature search and the method of comparison to the common algorithm for mining association rules are summarized, including the FP-growth algorithm, Partition algorithm, the algorithm, DHP, FUP algorithm, CD. The association rules mining development prospect is discussed.
Key words: Data mining; Association rule; Frequent itemsets; Mining algorithm
1引言
数据挖掘(Data Mining)，又称数据库中的知识发现(Knowledge Discovery In Database)，是从大量的、不完整的、有噪声的、模糊的、随机的大型数据中提取隐含在其中的、人们事先未知的、具有潜在价值的信息和知识的过程[1]。简单的说，数据挖掘就是从大量数据中提取或“挖掘”出人们有用的知识。面对当前“海量数据，微量信息”的现状，数据挖掘的重要研究分支—关联规则，作为一种高级和智能的数据处理和分析技术的研究正方兴未艾。通过关联规则挖掘，可以得到隐含于海量数据中具有潜在价值的有用信息。关联规则的目标是以有效的方式提取最有趣的模式。关联规则挖掘是数据挖掘领域一个重要的研究课题。关联规则一般可分为布尔型关联规则和多值属性关联规则。Agrawal于1993年提出布尔型关联规则问题，之后提出了经典的Apriori和Apriori TID算法[2]。多值属性分为类别属性和数值属性，很多算法在解决多值属性关联规则挖掘时，都是将连续数值离散化，得到相应的模糊文字描述，然后其处理方法类似于布尔型关联规则挖掘。传统的关联挖掘算法认为数据库中各个项的重要程度相同，然而在现实中各个项的重要性往往不同。例如，决策者往往会优先考虑利润较高的项目，而忽略利润较低的项目。另外，时间的推移以及消费习惯的改变也会对关联规则产生影响，时间间隔较短的事务所产生的关联规则尽管支持度不太高，却能很好地反映新的消费趋势，因此，在实际分析数据时，利用加权关联规则是有意义的。文献[2]提出布尔型属性加权关联规则的概念，并给出2种加权关联规则的挖掘算法：MINWAL(O)算法和MINWAL(W)算法，但前者的加权支持度可能大干I，后者的加权支持度不一定支持含有属性数多的加权关联规则，也不能很好地突出重点项目，文献[3]采用权重集归一化的思想对这2种算法做了改进。文献[4]提出了一种基于概率的加权关联规则算法。文献[5]提出了基于Apriori 算法的水平加权关联规则挖掘方法，较好地突出了权值的作用。
2 关联规则的基本概念
设集合I={i1，i2，…，im}，其中,ik(k=1，2，…，m)表示项。如果X∈I，集合X被称为项集。当|X|=k，则X被称为k-项集。事务二元组T=(tid，X)，tid 是事务唯一的标识，符称为事务号。数据集D={t1，-t2，t3，…，tn}是由t1，t2，t3，…，tn事务组成的集合。关联规则可以描述为：形如A => B的蕴涵式，其中A∈I，B∈I，并且A∩B=￠。项集X的支持度s是D中包含X的事务数占所有事务数的百分比，记为。项集x的置信度c是D中同时包含X∪Y的事务数占包含X的所有事务数的百分比，记为c(X)=P(X|Y)=。至于最小支持度“minsup和最小置信度minconf都是由用户所给定，如果项集X的sup(X)≥minsup，那么项集X被称为频繁项集，其中生成的关联规则中所有支持度和置信度都不小于minsup和minconf的被称为强关联规则。关联规则的支持度表示在整个数据库中的重要性，而置信度则反映其可靠程度。只有支持度和置信度均为较高的关联规则才是用户感兴趣的、有用的关联规则。
3 关联规则的种类
根据不同的标准，关联规则可以用很多不同的方法分成若干类型[2]，根据挖掘模式的完全性可以把关联规则分为闭频繁项集、挖掘频繁项集的完全性、极大频繁项集和被约束的频繁项集。根据规则涉及的数据的层和维可以把关联规则分为单层关联规则、多层关联规则、单维关联规则和多维关联规则的挖掘。根据规则所处理的值的类型可以把关联规则分为挖掘布尔型关联规则和量化关联规则。根据所挖掘的规则类型可以把关联规则分为关联规则和相关规则挖掘。根据所挖掘的模式类型可以把关联规则分为频繁项集挖掘、序列模式挖掘、结构模式挖掘等。根据所挖掘的约束类型可以把关联规则分为知识类型约束、数据约束、维／层约束、兴趣度约束、规则约束。
4 关联规则挖掘算法
4.1 经典的关联规则挖掘算法
1994年Agrawal提出的Apriori算法是挖掘完全频繁项集中最具有影响力的算法。算法有两个关键的步骤：一是发现所有的频繁项集；二是生成强关联规则。发现频繁项集是关联规则挖掘中的关键步骤。在Apriori算法中还利用了“频繁项集的子集是频繁项集，非频繁项集的超集是非频繁项集”这一个性质有效的对频繁项集进行修剪。算法核心思想：给定一个数据库，第一次扫描数据库，搜索出所有支持度大于等于最小支持度的项集组成频繁1-项集即为L1，由Ll连接得到候选1-项集Cl；第二次扫描数据库，搜索出Cl中所有支持度大于等于最小支持度的项集组成频繁2-项集即为L2，由L2连接得到候选2-项集C2；同理第k次扫描数据库，搜索出Ck-1中所有支持度大于等于最小支持度的项集组成频繁k-项集即为Lk，由Lk连接得到候选k-项集Ck，直到没有新的候选集产生为止。Apriori算法需扫描数据库的次数等于最大频繁项集的项数。Apriori 算法有两个致命的性能瓶颈：产生的候选集过大(尤其是2-项集)，算法必须耗费大量的时间处理候选项集；多次扫描数据库，需要很大的l/0负载，在时间、空间上都需要付出很大的代价。
4.2 常用的关联规则挖掘算法
目前常见的关联规则挖掘算法大致可分为宽度优先算法、深度优先算法、数据集划分算法、采样算法、增量式更新算法等。下面对一些常用算法做简单的介绍。
4.2.1 宽度优先算法
宽度优先算法又称为分层算法，包括由Agrawal等人提出的Apriori、AprioriTid[7]和AprioriHybrid[8]算法，Park等人提出的DHP算法[9]等等。Apriori算法也是宽度优先算法，AprioriTid算法是在Apriori算法的基础上演化而来的。该算法第一趟扫描数据库时采用Apriori算法，当再次扫描时不再是扫描整个数据库，而只是扫描上次生成的候选项集，扫描的同时还会计算出频繁项集的支持度，以减少扫描数据库的时间来提高算法的效率。Apriori算法和AprioriTid算法的融合产生了AprioriHybird算法，初始扫描数据库时使用Apriori 算法，当生成的候选项集大小可以存放到内存中进行处理时再转向AprioriTid算法，直到找出所有的频繁项集。DHP算法采用哈希(Hash)表技术对数据集和候选项集进行修剪来降低算法的时间和空间的开销。它利用哈希表在计算(k-1)-项集时先粗略计算出k-项集的支持度，排除无意义的候选k-项集来减少候选k-项集的数量，尤其是对候选2 -项集的数量控制特别突出。总的来说，宽度优先算法的不足之处还是在于需要生成大量候选项集，需要多次扫描数据库。
4.2.2 深度优先算法
深度优先算法中常见的算法有FP-growth算法[10]、0P算法[11]、TreeProjection算法[12]等。FP-growth算法是深度优先算法中最新最高效的且从本质上不同于Apriori算法的经典算法。基本思想是：采取分而治之的策略，首先在保留项集关联信息的前提下，将数据库压缩到一棵频繁模式树(FP-tree)中；然后将这种压缩后的FP-tree分成一些条件数据库并分别挖掘每个数据库。在算法中有两个关键步骤：一是生成频繁模式树FP-tree；二是在频繁模式树FP-tree 上挖掘频繁项集。与Apriori算法相比，FP-growth算法具有以下优点：FP-growth 算法只需扫描数据库两次，避免多次扫描数据库；不需要产生庞大的候选项集，在挖掘过程中大大减少了搜索空间，在时间效率、空间效率上都有一个量级的提高。但它的应用难点在于处理很大的且很稀疏的数据库时，在挖掘处理、递归运算中都需要相当大的空间。
4.2.3 数据集划分算法
数据集划分算法包括SavaSere等人提出的Partition算法[13]，Brin等人提出的DIC算法[13]等。Partition算法是从逻辑上将整个数据库划分成几个相互独立的可以存放在内存中进行处理的数据块，节省访问外存时I/O的开销。它单独考虑每个逻辑块生成相应的频集，然后利用“频繁项集至少在一个分区中是频繁的”这一性质把所有逻辑块生成的所有频集合并生成所有可能的全局候选项集，最后再次扫描数据库计算项集的支持度进行全局计数。整个过程只需对数据库进行两次扫描，但是产生的候选项集数量比较大。DIC算法同样采取数据库划分的思想，将数据库划分为若干个分区并在每个分区的开始部分做标记，在扫描数据库过程中可以在各个分区的标记点添加候选项集，在计算项集时并行计算可能为频集的支持度。算法扫描数据库的次数基本上是少于最大频集的项数。在数据块划分恰到好处时只需通过两次扫描数据库就能找出所有的频繁项集。但是该类型的算法具有高度的并行性，只需扫描两次数据库，大大减少了I/O操作从而提高了算法效率。在基于划分的算法中主要瓶颈是算法执行的时间，同时产生的频繁项集的精度也不是很高。
4.2.4采样算法
采样算法包括由Park等人提出的可调精度的挖掘算法[15] 、Toivonen提出的Sampling[16]算法等。Sampling算法是从数据库D中随机抽取一个可以调人内存的数据库子集D’，然后求出数据库子集D’中可能在数据库D中成立的
所有规则，再用数据库D中剩余部分(D-D’)来验证结果的正确性。它适用于挖掘准确性不太高而挖掘效率较高的环境。采样算法很大程度上减少了扫描数据库的时间开销，但它最大的缺点就是可能产生数据扭曲导致结果不精确。当选取的随机样本不能代表整个数据库的分布形式时，就有可能丢失一些全局频繁项集导致结果不精确。如果频繁项集包含了数据库D中的所有频繁项集，则只需要扫描一次D。否则，为了减少这个问题带来的影响，可以使用更小的支持度阈值在随机样本上做第二次扫描数据库再次产生频繁项集，找出在第一次扫描中遗漏的频繁项集。通过对数据库多次扫描来减少频繁项集的遗漏。对于数据扭曲现象，Lin和Dunham在文献[15]中讨论了反扭曲(Anti—skew)算法来挖掘关联规则，可以使得扫描数据集的次数少于2次。
4.2.5 增量式更新算法
增量式更新算法是利用己挖掘的关联规则在变化了的数据库或参数上发现新的关联规则、删除过时的关联规则来维护数据集更新的问题。目前大多数的增量式更新算法都是以Apriori算法为核心进行的改进与演化，包括D．W．Cheung 等人提出的FUP和FUP2算法[17]，冯玉才等人提出的IUA和PIUA算法[18l、高峰等人提出的IUAR算法[19]等等。FUP算法是Apriori算法的改进，也是解决增量更新问题的一种经典算法。FUP算法主要是针对在最小支持度和最小置信度不变的情况下，数据库DB被添加、删除或修改时，如何生成更新后的数据库的关联规则。它利用已挖掘得到的频繁项集信息来避免重复计算频繁项集支持数的时间开销来提高算法效率。UP算法不足之处：算法在处理规模巨大的候选项集时耗费大量时间；对候选项集进行模式匹配时需要多重复扫描数据库代价很大。FUP2算法同时考虑到增加数据库和修改、删除数据库的情况，比较适用于大量的增加数据库和少量的删除数据库的情况。IUA、PIUA算法都是主要考虑在最小支持度和最小置信度发生变化而数据库DB不变时，如何生成DB 中的关联规则。IUAR算法主要考虑在最小支持度和最小置信度和数据库DB 同时发生变化时，如何生成更新后的关联规则。
4.2.6 并行挖掘算法
并行算法是利用同时执行的诸进程的集合相互作用和协调完成对给定问题的求解。包括Agrawal等人提出的CD、DD、CaD算法[19]，Park等人提出的PDM算法，Cheung等人提出的DMA和H)M算法等。CD算法允许在空闲的处理器上进行并行冗余计算以减小通信量，速度几乎可以达到线性加速比的速度。但它的缺点是通信量和候选频繁项集都比较大。DD算法通过把候选集划分到各个处理器来克服CD算法的缺陷，然而DD算法由于数据移动方案效率较低导致通信负载较大、处理器间的交互模式易导致处理器处于空闲状态、每一笔交易记录都根据多个哈希树进行处理导致冗余计算等缺点[20]。CaD算法试图通过划分数据库和候选集的办法来减少处理器之间的数据依赖性，使每个处理器可以独立地进行计算。但它在划分候选集时要对整个的事务数据库进行划分并分配到每一个处理器节点中，从而消耗了大量的时间用于通信。PDM算法类似于CD算法，所有处理器含有相同的杂凑表和候选集。并行候选集生成的过程是通过每个处理器生成一个候选子项集，然后交换所有处理器上的子项集生成全局候选集来实现。但是PDM算法对非大项集的项目和事务的物理剪枝要涉及大量磁盘I/O操作。关联规则挖掘算法中目前常用的还包括：基于约束的关联规则挖掘算法、多层关联规则挖掘算法、多维关联规则挖掘算法、加权支持度关联规则挖掘算法等算法。
5结束语
文中对数据挖掘中关联规则挖掘进行了细致清晰的分类讨论，并对比较常用的几种挖掘算法进行了分析比对和总结。关联规则挖掘中多值关联规则挖掘、兴趣度度量和评估技术、增强关联规则的维护方法、增强关联规则挖掘算法与用户的交互性、关联规则挖掘如何应用到隐私保护和信息安全问题中都将是下一步研究的热点问题。不过现有的改进算法远远不能满足人们对挖掘系统快速及时响应的需求，如何提高挖掘过程的效率、与用户进行交互生成可视化结果等等都是以后研究工作的重点和难点。
参考文献
[1] Han Jiawei, Kamber M. 数据挖掘概念与技术[M]. 北京: 机械工业出版社, 2007.
[2] Agrawal R, Imielinski T, Swami A. Mining Association Rules Between Sets of Items in Large Database[C]//Proc. of SIGMOD’93. Washington D. C., USA: ACM Press, 1993.
[3] Cheung D W, Han Jiawei. Mainte nance of Discovered Association Rules in Large Databases: An Incremental Updating Technique[C]// Proc. of the 12th Int’l Conf. on Data Engineering. New Orleans, Louisiana, USA: [s. n.], 1996: 106-114.
[4] 尹群，王丽珍，田启明．一种基于概率的加权关联规则挖掘算法[J].计算机应用，2005，25(4)：805-807．
[5]Park J S,Chen M S,Yu P S.An effective hash based algorithm for mining association rules[C]//In:Proc.1995 ACM SIGMOD.San Jose,CA:[s.n..],1995:175-186.
[6]Han J,Pei J,Yin Y.Mining frequent patterns without candidate generation[C]//In Proceeding of the 2000 ACM SIGMOD Conference on Managerment of Data.Dallas,TX:[s.n.],2000.
[7] 张智军，方颖，许云涛．基于Apriori算法的水平加权关联规则挖掘．计算机工程与应用，2003，39(14)：197-199．
[8] 靳晓明, 陆玉昌, 石纯一. 时序规则分布挖掘方法[J]. 清华大学学报: 自然科学版, 2003, 43(7): 972-976.
[9]张文献，陆建江．加权布尔关联规则的研究[J]．计算机工程，2003，29(9)：55-57．
[10]Brin S,Motwani R,Ullman J D.Dynamic Itemset counting and implication rules for market basket data[C]//Proceedings of the 1997ACM SIGMOD International Conference on Management of Data.Tucson,Arizona:[s.n.],1997:255-264.
[11]Park J S,Chen M,Yu P https://www.doczj.com/doc/9616427295.html,ing a Hash-Based Method with Transaetion Trimming and Database Scan Reduction for Mining Association Rules[J].IEEE Transaction on knowledge and data engineering,1997,9(5):813-825.
[12]Toivonen H.Sampling Large Databases for Association Rules[C]//Proceedings of 1996 International Conference on Very Large Databases(VLDB'96).Bumbay,India:Morgan Kaufmann,1996:134-145.
[13]Lin J L,Dunhan M H.Mining association rules:Anti-skew algorithms[C]//Proceedings of the International Conference on Data Engingeering.Orlando,Florida:[s.n.],1998.
[14] 陈京民．数据仓库原理、设计与应用[M]．北京：中国水利水电出版社，
2004．156-161．
[15]丁祥武.挖掘时态关联规则[J].武汉交通科技大学学报,1999,23(4):365-367.
[16]高峰,谢剑英.发现关联规则的增量式更新算法[J].计算机工程,2000,26(12):49-50.
[17] 董彩云，曲守宁．数据挖掘及其在高校教学系统中的应用[J]．济南大学学报：自然科学版，2004，18(1)：65-68．
[18] 李晓虹，尚晋．一种改进的新Apriori算法[J]．计算机科学，2007，34(4)：196-198．
[19] 柴华昕，王勇．Apriori挖掘频繁项目集算法的改进[J]．计算机工程与应用，2007，43(24)：158-161．
[20]刘颖.关联规则并行算法在医药销售系统中的应用[D].重庆:重庆大学,2004.
数据库与数据仓库的区别是什么 简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。 数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问题的角度，比如时间，部门，维表放的就是这些东西的定义，事实表里放着要查询的数据，同时有维的ID。 单从概念上讲，有些晦涩。任何技术都是为应用服务的，结合应用可以很容易地理解。以银行业务为例。数据库是事务系统的数据平台，客户在银行做的每笔交易都会写入数据库，被记录下来，这里，可以简单地理解为用数据库记帐。数据仓库是分析系统的数据平台，它从事务系统获取数据，并做汇总、加工，为决策者提供决策的依据。比如，某银行某分行一个月发生多少交易，该分行当前存款余额是多少。如果存款又多，消费交易又多，那么该地区就有必要设立ATM了。 显然，银行的交易量是巨大的，通常以百万甚至千万次来计算。事务系统是实时的，这就要求时效性，客户存一笔钱需要几十秒是无法忍受的，这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的，它要提供关注时间段内所有的有效数据。这些数据是海量的，汇总计算起来也要慢一些，但是，只要能够提供有效的分析数据就达到目的了。 数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库”。那么，数据仓库与传统数据库比较，有哪些不同呢?让我们先看看W.H.Inmon关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。 “面向主题的”:传统数据库主要是为应用程序进行数据处理，未必按照同一主题存储数据;数据仓库侧重于数据分析工作，是按照主题存储的。这一点，类似于传统农贸市场与超市的区别—市场里面，白菜、萝卜、香菜会在一个摊位上，如果它们是一个小贩卖的;而超市里，白菜、萝卜、香菜则各自一块。也就是说，市场里的菜(数据)是按照小贩(应用程序)归堆(存储)的，超市里面则是按照菜的类型(同主题)归堆的。 “与时间相关”:数据库保存信息的时候，并不强调一定有时间信息。数据仓库则不同，出于决策的需要，数据仓库中的数据都要标明时间属性。决策中，时间属性很重要。同样都是累计购买过九车产品的顾客，一位是最近三个月购买九车，一位是最近一年从未买过，这对于决策者意义是不同的。 “不可修改”:数据仓库中的数据并不是最新的，而是来源于其它数据源。数据仓库反映的是历史信息，并不是很多数据库处理的那种日常事务数据(有的数据库例如电信计费数据库
数据仓库与数据挖掘 第一章课后习题 一：填空题 1）数据库中存储的都是数据，而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2）数据仓库中的数据分为四个级别：早起细节级、当前细节级、轻度综合级、高度综合级。3）数据源是数据仓库系统的基础，是整个系统的数据源泉，通常包括业务数据和历史数据。4）元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5）数据处理通常分为两大类：联机事务处理和联机事务分析 6）Fayyad过程模型主要有数据准备，数据挖掘和结果分析三个主要部分组成。 7）如果从整体上看数据挖掘技术，可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8）那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9）按照挖掘对象的不同，将Web数据挖掘分为三类：web内容挖掘、web结构挖掘和web 使用挖掘。 10）查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层，它们各自的侧重点不同，因此适用范围和针对的用户也不相同。 二：简答题 1）什么是数据仓库？数据仓库的特点主要有哪些？ 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支
持管理决策。 主要特点：面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 2）简述数据挖掘的技术定义。 从技术角度看，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 3）什么是业务元数据？ 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 4）简述数据挖掘与传统分析方法的区别。 本质区别是：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 5）简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构 c.单独的数据集市体系结构 d.分布式数据仓库结构
数据仓库与数据挖掘技术复习资料 一、单项选择题 1.数据挖掘技术包括三个主要的部分（ C ） A．数据、模型、技术 B．算法、技术、领域知识 C．数据、建模能力、算法与技术 D．建模能力、算法与技术、领域知识 2.关于基本数据的元数据是指: ( D ) A.基本元数据与数据源,数据仓库,数据集市和应用程序等结构相关的信息； B.基本元数据包括与企业相关的管理方面的数据和信息； C.基本元数据包括日志文件和简历执行处理的时序调度信息； D.基本元数据包括关于装载和更新处理,分析处理以及管理方面的信息。 3.关于OLAP和OLTP的说法,下列不正确的是: ( A) A．OLAP事务量大,但事务内容比较简单且重复率高 B．OLAP的最终数据来源与OLTP不一样 C．OLTP面对的是决策人员和高层管理人员 D．OLTP以应用为核心，是应用驱动的 4．将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？( C ) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘5．下面哪种不属于数据预处理的方法？ ( D ) A.变量代换 B.离散化 C. 聚集 D. 估计遗漏值 6.在ID3 算法中信息增益是指（ D ） A.信息的溢出程度 B.信息的增加效益 C.熵增加的程度最大 D.熵减少的程度最大 7.以下哪个算法是基于规则的分类器 ( A ) A. C4.5 B. KNN C. Bayes D. ANN 8.以下哪项关于决策树的说法是错误的（ C ） A．冗余属性不会对决策树的准确率造成不利的影响 B．子树可能在决策树中重复多次 C．决策树算法对于噪声的干扰非常敏感 D．寻找最佳决策树是NP完全问题 9.假设收入属性的最小与最大分别是10000和90000，现在想把当前值30000映射到区间[0,1],若采用最大－最小数据规范方法，计算结果是（ A ）
武汉大学计算机学院 20XX级研究生“数据仓库和数据挖掘”课程期末考试试题 要求：所有的题目的解答均写在答题纸上，需写清楚题目的序号。每张答题纸都要写上姓名和学号。 一、单项选择题（每小题2分，共20分） 1. 下面列出的条目中，（）不是数据仓库的基本特征。B A.数据仓库是面向主题的 B.数据仓库是面向事务的 C.数据仓库的数据是相对稳定的 D.数据仓库的数据是反映历史变化的 2. 数据仓库是随着时间变化的，下面的描述不正确的是（）。 A.数据仓库随时间的变化不断增加新的数据内容 B.捕捉到的新数据会覆盖原来的快照 C.数据仓库随事件变化不断删去旧的数据内容C D.数据仓库中包含大量的综合数据，这些综合数据会随着时间的变化不断地进行重新综合 3. 以下关于数据仓库设计的说法中（）是错误的。A A.数据仓库项目的需求很难把握，所以不可能从用户的需求出发来进行数据仓库的设计，只能从数据出发进行设计 B.在进行数据仓库主题数据模型设计时，应该按面向部门业务应用的方式来设计数据模型 C.在进行数据仓库主题数据模型设计时要强调数据的集成性 D.在进行数据仓库概念模型设计时，需要设计实体关系图，给出数据表的划分，并给出每个属性的定义域 4. 以下关于OLAP的描述中（）是错误的。A A.一个多维数组可以表示为（维1，维2，…，维n） B.维的一个取值称为该维的一个维成员 C.OLAP是联机分析处理 D.OLAP是数据仓库进行分析决策的基础 5. 多维数据模型中，下列（）模式不属于多维模式。D A.星型模式 B.雪花模式 C.星座模式 D.网型模式 6. 通常频繁项集、频繁闭项集和最大频繁项集之间的关系是（）。C A.频繁项集?频繁闭项集?最大频繁项集 B.频繁项集?最大频繁项集?频繁闭项集 C.最大频繁项集?频繁闭项集?频繁项集 D.频繁闭项集?频繁项集?最大频繁项集
《数据仓库与数据挖掘》教学大纲 一、课程概况 课程名称：数据仓库与数据挖掘 英文名称：Data warehousing and data mining 课程性质：选修 课程学时：32 课程学分：2 授课对象：信息类的大学本科高年级学生 开课时间：三年级下学期 讲课方式：课堂+实验 主讲老师： 二、教学目的 本课程把数据视为基础资源，根据软件工程的思想，总结了数据利用的历程，讲述了数据仓库的基础知识和工具，研究了数据挖掘的任务及其挑战，给出了经典的数据挖掘算法，介绍了数据挖掘的产品，剖析了税务数据挖掘的案例，探索了大数据的管理和应用问题。 三、教学任务 完成《数据仓库与数据挖掘》教材内容，及教学计划中的互动实践内容，另有学生自主选题的大作业、选作的论文报告。32学时：课堂24、实验2、课外2、研讨4学时。 四、教学内容的结构 课程由9个教学单元组成，对应于《数据仓库与数据挖掘》的内容。 第1章数据仓库和数据挖掘概述 1.1概述1 1.2数据中心4 1.2.1关系型数据中心 1.2.2非关系型数据中心
1.2.3混合型数据中心（大数据平台）1.3混合型数据中心参考架构 第2章数据 2.1数据的概念 2.2数据的内容 2.2.1实时数据与历史数据 2.2.2时态数据与事务数据 2.2.3图形数据与图像数据 2.2.4主题数据与全部数据 2.2.5空间数据 2.2.6序列数据和数据流 2.2.7元数据与数据字典 2.3数据属性及数据集 2.4数据特征的统计描述22 2.4.1集中趋势22 2.4.2离散程度23 2.4.3数据的分布形状25 2.5数据的可视化26 2.6数据相似与相异性的度量29 2.7数据质量32 2.8数据预处理32 2.8.1被污染的数据33 2.8.2数据清理35 2.8.3数据集成36 2.8.4数据变换37 2.8.5数据规约38 第3章数据仓库与数据ETL基础39 3.1从数据库到数据仓库39 3.2数据仓库的结构39 3.2.1两层体系结构41 3.2.2三层体系结构41 3.2.3组成元素42 3.3数据仓库的数据模型43 3.3.1概念模型43 3.3.2逻辑模型43 3.3.3物理模型46 3.4 ETL46 3.4.1数据抽取47 3.4.2数据转换48 3.4.3数据加载49 3.5 OLAP49 3.5.1维49 3.5.2 OLAP与OLTP49 3.5.3 OLAP的基本操作50
浅析数据库(DB)、操作数据存储(ODS)和数据仓库(D W)的区别与联系 文章背景： 相信大部分刚接触上面三个概念的同学，都多多少少会有些迷惑，现在我就给大家简单分析下这三者的关系，希望大家对这三者的概念理解有所帮助吧。 本文主要从下面两类关系来叙述上面三者的关系： 1. 数据库（DB）和数据仓库（DW）的区别与联系 2. 操作数据存储（ODS）和数据仓库（DW）的区别与联系 数据库与数据仓库的区别与联系 数据库与数据仓库基础概念： 数据库：传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line Analytical Proces sing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 OLTP和OLAP概念补充： 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction proc essing）、联机分析处理OLAP（On-Line Analytical Processing）。 OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。 OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
OLTP 系统强调数据库内存效率，强调内存各种指标的命令率，强调绑定变量，强调并发操作； OLAP 系统则强调数据分析，强调SQL执行市场，强调磁盘I/O，强调分区等。 举一个具体的例子：（转自知乎作者：陈诚），个人觉得例子描述的很清晰 举个最常见的例子，拿电商行业来说好了。 基本每家电商公司都会经历，从只需要业务数据库到要数据仓库的阶段。 第一阶段，电商早期启动非常容易，入行门槛低。找个外包团队，做了一个可以下单的网页前端+ 几台服务器+ 一个MySQL，就能开门迎客了。这好比手工作坊时期。 第二阶段，流量来了，客户和订单都多起来了，普通查询已经有压力了，这个时候就需要升级架构变成多台服务器和多个业务数据库（量大+分库分表），这个阶段的业务数字和指标还可以勉强从业务数据库里查询。初步进入工业化。 第三阶段，一般需要3-5 年左右的时间，随着业务指数级的增长，数据量的会陡增，公司角色也开始多了起来，开始有了CEO、CMO、CIO，大家需要面临的问题越来越复杂，越来越深入。高管们关心的问题，从最初非常粗放的：“昨天的收入是多少”、“上个月的PV、UV 是多少”，逐渐演化到非常精细化和具体的用户的集群分析，特定用户在某种使用场景中，例如“20~30岁女性用户在过去五年的第一季度化妆品类商品的购买行为与公司进行的促销活动方案之间的关系”。 这类非常具体，且能够对公司决策起到关键性作用的问题，基本很难从业务数据库从调取出来。原因在于： 1. 业务数据库中的数据结构是为了完成交易而设计的，不是为了而查询和分析的便利设 计的。 2. 业务数据库大多是读写优化的，即又要读（查看商品信息），也要写（产生订单，完 成支付）。因此对于大量数据的读（查询指标，一般是复杂的只读类型查询）是支持不足的。
数据仓库与数据挖掘习题 1.1什么是数据挖掘？在你的回答中，强调以下问题： (a) 它是又一个骗局吗？ (b) 它是一种从数据库，统计学和机器学习发展的技术的简单转换吗？ (c) 解释数据库技术发展如何导致数据挖掘 (d) 当把数据挖掘看作知识发现过程时，描述数据挖掘所涉及的步骤。 1.2 给出一个例子，其中数据挖掘对于一种商务的成功至关重要的。这种商务需要什么数据挖掘功能？他们能够由数据查询处理或简单的统计分析来实现吗？ 1.3 假定你是Big-University的软件工程师，任务是设计一个数据挖掘系统，分析学校课程数据库。该数据库包括如下信息：每个学生的姓名，地址和状态（例如，本科生或研究生），所修课程，以及他们累积的GPA（学分平均）。描述你要选取的结构。该结构的每个成分的作用是什么？ 1.4 数据仓库和数据库有何不同？它们有那些相似之处？ 1．5简述以下高级数据库系统和应用：面向对象数据库，空间数据库，文本数据库，多媒体数据库和WWW。 1．6 定义以下数据挖掘功能：特征化，区分，关联，分类，预测，聚类和演变分析。使用你熟悉的现实生活中的数据库，给出每种数据挖掘的例子。 1．7 区分和分类的差别是什么？特征化和聚类的差别是什么？分类和预测呢？对于每一对任务，它们有何相似之处？ 1．8 根据你的观察，描述一种可能的知识类型，它需要由数据挖掘方法发现，但未在本章中列出。它需要一种不同于本章列举的数据挖掘技术吗？ 1. 9 描述关于数据挖掘方法和用户交互问题的三个数据挖掘的挑战。 1. 10 描述关于性能问题的两个数据挖掘的挑战。 2.1 试述对于多个异种信息源的集成，为什么许多公司宁愿使用更新驱动的方法（构造使用数据仓库），而不愿使用查询驱动的方法（使用包装程序和集成程序）。描述一些情况，其中查询驱动方法比更新驱动方法更受欢迎。 2.2 简略比较以下概念，可以用例子解释你的观点 （a）雪花模式、事实星座、星型网查询模型 （b）数据清理、数据变换、刷新 （c）发现驱动数据立方体、多特征方、虚拟仓库 2.3 假定数据仓库包含三个维time，doctor和patient，两个度量count 和charge，其中charge 是医生对一位病人的一次诊治的收费。 （a）列举三种流行的数据仓库建模模式。 （b）使用（a）列举的模式之一，画出上面数据仓库的模式图。 （c）由基本方体[day，doctor，patient]开始，为列出2000年每位医生的收费总数，应当执行哪些OLAP操作？ （d）为得到同样的结果，写一个SQL查询。假定数据存放在关系数据库中，其模式如下：fee（day，month，year，doctor，hospital，patient，count，charge） 2.4 假定Big_University的数据仓库包含如下4个维student, course, semester和instructor，2个度量count和avg_grade。在最低的概念层（例如对于给定的学生、课程、学期和教师的组合），度量avg_grade存放学生的实际成绩。在较高的概念层，avg_grade存放给定组合的
数据仓库与数据挖掘学习心得 通过数据仓库与数据挖掘的这门课的学习，掌握了数据仓库与数据挖掘的一些基础知识和基本概念，了解了数据仓库与数据库的区别。下面谈谈我对数据仓库与数据挖掘学习心得以及阅读相关方面的论文的学习体会。 《浅谈数据仓库与数据挖掘》这篇论文主要是介绍数据仓库与数据挖掘的的一些基本概念。数据仓库是支持管理决策过程的、面向主题的、集成的、稳定的、不同时间的数据集合。主题是数据数据归类的标准，每个主题对应一个客观分析的领域，他可为辅助决策集成多个部门不同系统的大量数据。数据仓库包含了大量的历史数据，经集成后进入数据仓库的数据极少更新的。数据仓库内的数据时间一般为5年至10年，主要用于进行时间趋势分析。数据仓库的数据量很大。 数据仓库的特点如下： 1、数据仓库是面向主题的； 2、数据仓库是集成的，数据仓库的数据有来自于分散的操作型数据，将所需数据从原来的数据中抽取出来，进行加工与集成，统一与综合之后才能进入数据仓库； 3、数据仓库是不可更新的，数据仓库主要是为决策分析提供数据，所涉及的操作主要是数据的查询； 4、数据仓库是随时间而变化的，传统的关系数据库系统比较适合处理格式化的数据，能够较好的满足商业商务处理的需求，它在商业领域取得了巨大的成功。
作为一个系统，数据仓库至少包括3个基本的功能部分：数据获取：数据存储和管理；信息访问。 数据挖掘的定义：数据挖掘从技术上来说是从大量的、不完全的、有噪音的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程。 数据开采技术的目标是从大量数据中，发现隐藏于其后的规律或数据间的的关系，从而服务于决策。数据挖掘的主要任务有广义知识；分类和预测；关联分析；聚类。 《数据仓库与数据挖掘技术在金融信息化中的应用》论文主要通过介绍数据额仓库与数据挖掘的起源、定义以及特征的等方面的介绍引出其在金融信息化中的应用。在金融信息化的应用方面，金融机构利用信息技术从过去积累的、海量的、以不同形式存储的数据资料里提取隐藏着的许多重要信息，并对它们进行高层次的分析，发现和挖掘出这些数据间的整体特征描述及发展趋势预测，找出对决策有价值的信息，以防范银行的经营风险、实现银行科技管理及银行科学决策。 现在银行信息化正在以业务为中心向客户为中心转变6银行信息化不仅是数据的集中整合，而且要在数据集中和整合的基础上向以客为中心的方向转变。银行信息化要适应竞争环境客户需求的变化，创造性地用信息技术对传统过程进行集成和优化，实现信息共享、资源整合综合利用，把银行的各项作用统一起来，优势互补统一调配各种资源，为银行的客户开发、服务、综理财、管理、风险防范创立坚实的基础，从而适应日益发展的数据技术需要，全面提高银行竞争力，为金融创新和提高市场反映能力
数据仓库和数据库有什么区别？ 通常情况下基于业务数据库数据分析人员也能完成数据分析需求，但是为什么要建数据仓库？ 没有数据仓库时，我们需要直接从业务数据库中取数据来做分析。 业务数据库主要是为业务操作服务的，虽然可以用于分析，但需要很多额度的调整。 一，业务数据库中存在的问题 基于业务数据库来做分析，主要有以下几个问题： 结构复杂，数据脏乱，难以理解，历史缺失，数据量大时查询缓慢。 结构复杂 业务数据库通常是根据业务操作的需要进行设计的，遵循3NF范式，尽可能减少数据冗余。这就造成表与表之间关系错综复杂。在分析业务状况时，储存业务数据的表，与储存想要分析的角度表，很可能不会直接关联，而是需要通过多层关联来达到，这为分析增加了很大的复杂度。 数据脏乱 因为业务数据库会接受大量用户的输入，如果业务系统没有做好足够的数据校验，就会产生一些错误数据，比如不合法的身份证号，或者不应存在的Null值，空字符串等。 理解困难 业务数据库中存在大量语义不明的操作代码，比如各种状态的代码，地理位置的代码等等，在不同业务中的同一名词可能还有不同的叫法。 这些情况都是为了方便业务操作和开发而出现的，但却给我们分析数据造成了很大负担。各种操作代码必须要查阅文档，如果操作代码较多，还需要了解储存它的表。同义异名的数据更是需要翻阅多份文档。 缺少历史 出于节约空间的考虑，业务数据库通常不会记录状态流变历史，这就使得某些基于流变历史的分析无法进行。比如想要分析从用户申请到最终放款整个过程中，各个环节的速度和转化率，没有流变历史就很难完成。 大规模查询缓慢 当业务数据量较大时，查询就会变得缓慢。 二，数据仓库解决方案 上面的问题，都可以通过一个建设良好的数据仓库来解决。 业务数据库是面向操作的，主要服务于业务产品和开发。 而数据仓库则是面向分析的，主要服务于我们分析人员。评价数据仓库做的好不好，就看我们分析师用得爽不爽。因此，数据仓库从产品设计开始，就一直是站在分析师的立场上考虑的，致力于解决使用业务数据进行分析带来的种种弊端。 数据仓库解决的问题 结构清晰，简单 数据仓库不需要遵循数据库设计范式，因此在数据模型的设计上有很大自由。 数据模型一般采用星型模型，表分为事实表和维度表两类。 其中事实表位于星星的中心，存储能描述业务状况的各种度量数据。
数据仓库与数据挖掘课后习 题答案 -标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
数据仓库与数据挖掘 第一章课后习题 一：填空题 1）数据库中存储的都是数据，而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2）数据仓库中的数据分为四个级别：早起细节级、当前细节级、轻度综合级、高度综合级。 3）数据源是数据仓库系统的基础，是整个系统的数据源泉，通常包括业务数据和历史数据。 4）元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5）数据处理通常分为两大类：联机事务处理和联机事务分析 6）Fayyad过程模型主要有数据准备，数据挖掘和结果分析三个主要部分组成。 7）如果从整体上看数据挖掘技术，可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8）那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9）按照挖掘对象的不同，将Web数据挖掘分为三类：web内容挖掘、web结构挖掘和web使用挖掘。 10）查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层，它们各自的侧重点不同，因此适用范围和针对的用户也不相同。 二：简答题 1）什么是数据仓库数据仓库的特点主要有哪些 2） 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 主要特点：面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 3）简述数据挖掘的技术定义。 从技术角度看，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 4）什么是业务元数据？ 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 5）简述数据挖掘与传统分析方法的区别。 本质区别是：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 6）简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构
数据仓库与数据库的区别 数据仓库的出现，并不是要取代数据库。目前，大部分数据仓库还是用关系数据库管理系统来管理的。 数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余，数据仓库在设计是有意引入冗余。 数据库是为捕获数据而设计，数据仓库是为分析数据而设计。 数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策 面向主题：而数据仓库中的数据是按照一定的主题域进行组织。 集成：对原有分散的数据库数据经过系统加工,整理得到的消除源数据中的不一致性 相对稳定：一旦某个数据进入数据仓库以后只需要定期的加载、刷新 反映历史变化通过这些信息，对企业的发展历程和未来趋势做出定量分析预测数据仓库建设是一个工程，是一个过程，而不是一种可以购买的产品 企业数据处理方式: 以联机事务处理形式信息，以联机分析处理形式处理信息，并利用信息进行决策；在信息应用过程中管理信息。 OLAP基本概念 从动态的多维角度分析数据，对数据进行钻取，以获得更为精确的信息 数据库设计是信息系统开发和建设中的核心技术。 信息技术基础设施的定义 ? ?可以从技术和服务两个角度来 定义信息技术基础设施 从技术角度来看，信息技术基础设 施---运营整个企业所必需的硬件 设施和软件系统的集合。
?从服务角度定义信息技术基 础设施更为恰当，信息技术基 础设施是整个企业范围内由管 理层所决定的包括人和技术能 力的服务的组合。 信息技术的普及性已经达到相当成熟的阶段 ?信息技术本身对企业来说不 可或缺；尽管能为整个行业带 来彻底的变化，但它已经不能 为单个企业提供战略性的竞争 优势；因为资源的稀缺性。?另一方面，不同企业应用信息技术 的能力差异很大 ?企业在利用信息技术改进业 务流程、创新业务、管理技巧
Adventure Works分销商销售数据分析 ---Women’s Tights 一、概述 Women’s Tights型号共三种产品，分别为“Women’s Tights,L”、“omen’s Tights,M”和“omen’s Tights,S”。这三种商品在拿大、法国和英国均有销售。 在Adventure WorksDW数据库中查询得知三种产品的总销售额如下： 表 1 三种商品销量对比 English Product Name Sales Amount Women's Tights, L$93,554.46 Women's Tights, M$17,727.64 Women's Tights, S$90,550.91 总计$201,833.01 查询命令为： SELECT DimProduct.EnglishProductName AS产品, SUM(FactResellerSales.SalesAmount)AS销售额 FROM DimProduct INNER JOIN FactResellerSales ON DimProduct.ProductKey = FactResellerSales.ProductKey GROUP BY DimProduct.EnglishProductName, DimProduct.ModelName HAVING(DimProduct.ModelName ='Women''s Tights') 从上表可以看出，[Women's Tights, L]与[Women's Tights, S]的销量相当，而[Women's Tights, M]的销量明显低于另两种，其销量只占总销量的9%。会有如此大的差距呢？下面运用OLAP技术进行分析。 为叙述方便，下文用“M”简称[Women's Tights, M]，用“L”表示[Women's Tights, L]，用“S”表示[Women's Tights, S]。 二、多维数据集的设计
第1章数据仓库的概念与体系结构 1.数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。 2.元数据是描述数据仓库内数据的结构和建立方法的数据，它为访问数据仓库提供了一个信息目录，根据元数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类。 3.数据处理通常分成两大类：联机事务处理OLTP和联机分析处理OLAP。 4.多维分析是指对以“维”形式组织起来的数据（多维数据集）采取切片（Slice）、切块（dice）、钻取（Drill-down 和Roll-up 等）和旋转（pivot）等各种分析动作，以求剖析数据，使用户能从不同角度、不同侧面观察数据仓库中的数据，从而深入理解多维数据集中的信息。 5. ROLAP是基于关系数据库的OLAP实现，而MOLAP是基于多维数据结构组织的OLAP实现。 6.数据仓库按照其开发过程，其关键环节包括数据抽取、数据存储与管理和数据表现等。 7.数据仓库系统的体系结构根据应用需求的不同，可以分为以下4种类型：两层架构、独立型数据集市、依赖型数据集市和操作型数据存储、逻辑型数据集市和实时数据仓库。 8.操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的（但是可“挥发”的）、企业级的、详细的数据库，也叫运营数据存储。 9.“实时数据仓库”意味着源数据系统、决策支持服务和数据仓库之间以一个接近实时的速度交换数据和业务规则。 10.从应用的角度看，数据仓库的发展演变可以归纳为5个阶段：以报表为主、以分析为主、以预测模型为主、以营运导向为主、以实时数据仓库和自动决策为主。 11.什么是数据仓库？数据仓库的特点主要有哪些？ 答：数据仓库就是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，通常用于辅助决策支持。 数据仓库的特点包含以下几个方面：（1）面向主题。操作型数据库的数据组织是面向事务处理任务，各个业务系统之间各自分离；而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点领域，一个主题通常与多个操作型业务系统或外部档案数据相关。（2）集成的。面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据作抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企事业单位一致的全局信息。也就是说存放在数据仓库中的数据应使用一致的命名规则、格式、编码结构和相关特性来定义。（3）相对稳定的。操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供单位决策分析之用，对所涉及的数据操作主要是数据查询和加载，一旦某个数据加载到数据仓库以后，一般情况下将作为数据档案长期保存，几乎不再做修改和删除操作，也就是说针对数据仓库，通常有大量的查询操作及少量定期的加载（或刷新）操作。（4）反映历史变化。操作型数据库（OLTP）主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含较久远的历史数据，因此总是包括一个时间维，以便可以研究趋势和变化。数据仓库系统通常记录了一个单位从过去某一时点(如开始启用数据仓库系统的时点)到目前的所有时期的信息，通过这些信息，可以对单位的发展历程和未来趋势做出定量分析和预测。 12. 简述数据仓库4种体系结构的异同点及其适用性。 答：（1）两层架构（Generic Two-Level Architecture）。 （2）独立型数据集市（Independent Data Mart）。 （3）依赖型数据集市和操作型数据存储（Dependent Data Mart and Operational Data Store）。 （4）逻辑型数据集市和实时数据仓库（Logical Data Mart and Real-Time Data Warehouse）。 13. 答：数据仓库技术的发展包括数据抽取、存储管理、数据表现和方法论等方面。在数据抽取方面，未来的技术发展将集中在系统集成化方面。它将互连、转换、复制、调度、监控纳入标准化的统一管理，以适应数据仓库本身或数据源可能的变化，使系统更便于管理和维护。在数据管理方面，未来的发展将使数据库厂商明确推出数据仓库引擎，作为数据仓库服务器产品与数据库服务器并驾齐驱。在这一方面，
数据仓库与数据挖掘 摘要 数据挖掘是一新兴的技术，近年对其研究正在蓬勃开展。本文阐述了数据仓库及数据挖掘的相关概念．做了相应的分析，同时共同探讨了两者共同发展的关系，并对数据仓库与挖掘技术结合应用的发展做了展望。用Data Miner作为对数据挖掘的工具，给出了应用于医院的数据仓库实例。指出了数据挖掘技术在医疗费用管理、医疗诊断管理、医院资源管理中具有的广泛应用性，为支持医院管理者的分析决策作出了积极探索。 Abstract The Data Mine is a burgeoning technology，the research about it is developing flourishing．In this paper，it expatiates and analyses the concepts of Data Warehouse and Data Mine Together，discussing the connections of how to expand the two technologies，and combining the two technologies with prospect．The data warehouse supports the mass data on the further handling and recycling．The paper points out the use of data mining in patient charge control，medical quality control， hospital resources allocation management． It helps the hospital to make decisions positively 关键字：数据仓库；数据挖掘；医院信息系统 Key words：Data Warehouse；Data Mine；Hospital information system
2014-2015-1《数据仓库与数据挖掘》 期末考试题型 一、单项选择题（每小题2分，共20分） 二、填空题（每空1分，共20分） 三、简答题(每题6分，共30分) 四、析题与计算题(共30分) 请同学们在考试时不要将复习资料带入考场！！！ 单选题 1. 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 2. 以下两种描述分别对应哪两种对分类算法的评价标准？ (A) (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision, Recall B. Recall, Precision A. Precision, ROC D. Recall, ROC 3. 将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘
当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他4. 标签的数据相分离？(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 5. 什么是KDD？ (A) A. 数据挖掘与知识发现 B. 领域知识发现 C. 文档知识发现 D. 动态知识发现 6. 使用交互式的和可视化的技术，对数据进行探索属于数据挖掘的哪一类任务？（A） A. 探索性数据分析 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7. 为数据的总体分布建模；把多维空间划分成组等问题属于数据挖掘的哪一类任务？(B) A. 探索性数据分析 B. 建模描述 C. 预测建模 D. 寻找模式和规则 8. 建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的哪一类任务？(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 9. 用户有一种感兴趣的模式并且希望在数据集中找到相似的模式，属于数据挖掘哪一类任务？(A) A. 根据内容检索 B. 建模描述
数据仓库与数据库的区别 简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。 数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问题的角度，比如时间，部门，维表放的就是这些东西的定义，事实表里放着要查询的数据，同时有维的ID。 单从概念上讲，有些晦涩。任何技术都是为应用服务的，结合应用可以很容易地理解。以银行业务为例。数据库是事务系统的数据平台，客户在银行做的每笔交易都会写入数据库，被记录下来，这里，可以简单地理解为用数据库记帐。数据仓库是分析系统的数据平台，它从事务系统获取数据，并做汇总、加工，为决策者提供决策的依据。比如，某银行某分行一个月发生多少交易，该分行当前存款余额是多少。如果存款又多，消费交易又多，那么该地区就有必要设立ATM 了。 显然，银行的交易量是巨大的，通常以百万甚至千万次来计算。事务系统是实时的，这就要求时效性，客户存一笔钱需要几十秒是无法忍受的，这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的，它要提供关注时间段内所有的有效数据。这些数据是海量的，汇总计算起来也要慢一些，但是，只要能够提供有效的分析数据就达到目的了。 数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库”。那么，数据仓库与传统数据库比较，有哪些不同呢?让我们先看看W.H.Inmon关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。 “面向主题的”:传统数据库主要是为应用程序进行数据处理，未必按照同一主题存储数据;数据仓库侧重于数据分析工作，是按照主题存储的。这一点，类似于传统农贸市场与超市的区别—市场里面，白菜、萝卜、香菜会在一个摊位上，
衡水学院经济学与管理学系实验报告
二、定义和部署多维数据集 1.定义维度 可以使用多维数据集向导，通过单个步骤定义一个多维数据集及其维度。也可以先定义一个或多个维度，然后使用多维数据集向导定义一个使用这些维度的多维数据集。如果要设计一个复杂的解决方案，通常是先定义维度。 （定义【时间维度】）在“解决方案资源管理器”中，用鼠标右键单击“维度”文件夹，然后单击【新建维度】，将显示维度向导。 点击【下一步】，在随后的“指定源信息”页上，选择Adventure Works DW 2012OLAP 数据源视图；在“主表”列表中，选择“日期”表，勾选属性，并修改属性类型
2生成多维数据集 这一步在上面创建的数据源视图的基础上生成多维数据集，方法如下： (a)在“解决方案资源管理器”中用鼠标右键单击“多维数据集”文件夹对象，在弹出的快捷菜单中选择【新建多维数据集】命令。 (b)在弹出的“多维数据集向导”欢迎界面中单击【下一步】按钮进入“选择创建方法”窗口，选择“使用现有表”，继续点击【下一步】，按图5选择度量值组的表
单击【下一步】按钮，在选择【现有维度】页上，选择已有的维度--时间维度，然后单击【下一步】，在【选择新维度】页上，选择要创建的新维度。为此，请确认已选中“客户”、和“产品”复选框，再单击【下一步】完成。 (c)完成向导后，可以查看建立的多维数据集结构，如图7所示，为多维数据集的数据源视图，与前面的数据源视图相比较，这里的视图表达的是多维数据集的表间关系，而且用黄色标记了事实表，蓝色标记了维度表。 3.向维度添加属性 前面已经定义了维度，维度中的属性可以通过下面方法添加。 (a)向“客户”维度中添加属性 在解决方案资源管理器的“维度”节点中双击“客户”维度，此时就打开了“客户”维度的维度设计器。如图8。 在“数据源视图”窗格中，将 Customer 表的以下各列拖到“属性”窗格中：BirthDate，MaritalStatus，Gender，EmailAddress，YearlyIncome，TotalChildren，NumberChildrenAtHome，EnglishEducation，EnglishOccupation，HouseOwnerFlag，NumberCarsOwned，Phone，DateFirstPurchase，CommuteDistance。 将“数据源视图”窗格内 Geography 表中的以下各列拖到“属性”窗格中：City，StateProvinceName，EnglishCountryRegionName，PostalCode。 (b)向“产品”维度中添加属性 将“数据源视图”窗格内 Product 表中的以下各列拖到“属性”窗格中：StandardCost，Color，SafetyStockLevel，ReorderPoint，ListPrice，Size，SizeRange，Weight，DaysToManufacture，ProductLine，DealerPrice，Class，Style，ModelName，StartDate， 4、部署多维数据集