数据仓库与数据挖掘

数据仓库与数据挖掘实例分析

摘 要：数据仓库与数据挖掘技术的应用主要在于构建企业的决策支持系统，以协助企业提高自身竞争力。作为近年来刚刚兴起并逐步发展起来的一门新兴交叉学科，数据仓库与数据挖掘涉及到了许多领域的知识，也包括许多概念、理论、设计方法及挖掘算法，这些内容比较繁杂且不易理解，对于初学者而言，学习起来颇为困难。针对此问题，通过实例加以说明，以期为初学者提供某些帮助。

关键词：数据仓库；数据挖掘；决策树

0 引言

数据仓库与数据挖掘是近年来刚刚兴起并逐步发展起来的一门新兴交叉学科，它把对数据的应用从低层次的简单查询，提升到从数据中挖掘知识，并提供决策支持。此门学科涉及到许多领域的知识，包括数据库技术、人工智能技术、数理统计、可视化技术、并行计算、机器学习等，汇集了多门学科的知识并在综合运用这些学科知识的基础上产生出新的知识和方法。此门学科的应用主要在于构建企业的决策支持系统，此系统正是目前帮助企业提高自身竞争力的重要手段。

在数据仓库与数据挖掘学科中涉及了许多概念、设计方法及诸多挖掘算法，本文将就其中的一些内容结合SQL Server Analysis Service应用实例加以阐述与说明，以加深对理论的理解，并逐步掌握此门学科所提供的更多技术。

总体来讲，构建一个企业的决策支持系统主要有两个阶段，第一个阶段是创建企业的数据仓库，第二个阶段是在数据仓库的基础上进行数据挖掘。这两个阶段的工作相辅相成，数据仓库是基础，数据挖掘是在数据仓库之上的高层应用，两者需要整体规划、分步实施。下面分别就这两部分内容结合实例加以阐述。

1 数据仓库的规划与设计

数据仓库是一个面向主题的、集成的，时变的、非易失的数据集合，支持部门管理的决策过程，数据中的每一个数据单元在实践上都是和某个时刻相关的。数据仓库也被看作是某个组织的数据存储库，用于支持战略决策。数据仓库的功能是以集成的方式存储整个组织的历史数据，这些数据会影响到这个组织和企业的多个方面。数据仓库的特点是：数据常常来自于多个数据源；其存放模式一致；驻留在单个站点；数据已经清理、变换、集成与装载并定期刷新；数据量巨大。

数据仓库、OLAP与数据挖掘关系概述

摘要：数据仓库、OLAP与数据挖掘是当今的技术热点，数据仓库是一种解决数据使用的高效技术，OLAP则将数据通过多维视角和多种层次向用户进行多方式的呈现，数据挖掘为之提供了更好的决策支持和服务，同时促进了数据仓库技术的发展，本文简单介绍了这三者的概念和应用。

关键词：数据仓库 OLAP 数据挖掘

一、数据仓库

数据仓库是一种资讯系统的资料储存理论，此理论强调利用某些特殊资料储存方式，让所包含的资料，特别有利于分析处理，以产生有价值的资讯并依此作决策。利用数据仓库方式所存放的资料，具有一但存入，便不随时间而更动的特性，同时存入的资料必定包含时间属性，通常一个数据仓库皆会含有大量的历史性资料，并利用特定分析方式，自其中发掘出特定资讯。

1.1 数据仓库的特征

（1）数据仓库的数据是面向主题的。主题是一个抽象的概念，是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。面向主题的数据组织方式，就是在较高层次上对分析对象的数据的一个完整、一致的描述，能完整、统一地刻划各个分析对象所涉及的企业的各项数据，以及数据之间的联系。所谓较高层次是相对面向应用的数据组织方式而言的，是指按照主题进行数据组织的方式具有 更高的数据抽象级别。

（2）数据仓库的数据是集成的 。数据仓库的数据是从原有的分散的数据库数据抽取来的。数据仓库的每一个主题所对应的源数据在原有的各分散数据库中有许多重复和不一致的地方，且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起；数据仓库中的综合数据不能从原有的数据库系统直接得到。因此在数据进入数据仓库之前，必然要经过统一与综合，这一步是数据仓库建设中最关键、最复杂的一步。

（3）数据仓库的数据是不可更新的。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一般情况下并不进行修改操作。数据仓库的数据反映的是一段相当长的时间内历史数据的内容，是不同时点的数据库快照的集合，以及基于这些快照进行统计、综合和重组的导出数据，而不是联机处理的数据。

第2章 数据仓库

2.1数据仓库的基本概念

1. 数据仓库的数据是面向主题的 数据仓库与数据挖掘技术

图2-1主题间的重叠关系

2. 数据仓库的数据是集成的

3. 数据仓库的数据是不可更新的 数据仓库与数据挖掘技术

4. 数据仓库的数据是随时间不断变化的

图2-2数据仓库体系结构

2.2数据仓库的体系结构

数据仓库与数据挖掘技术

图2-3数据仓库数据组织结构

2.2.1元数据

1. 元数据在数据仓库中的作用

2. 元数据的使用

3. 元数据的分类

4. 元数据的内容

2.2.2粒度的概念

1. 按时间段综合数据的粒度

2. 样本数据库

2.2.3分割问题

1. 分割的优越性

2. 数据分割的标准

3. 分割的层次

2.2.4数据仓库中的数据组织形式

1. 简单堆积结构

图2-4简单堆积结构数据组织形式

2. 轮转综合结构 数据仓库与数据挖掘技术

图2-5轮转综合结构数据组织形式

3. 简单直接结构

图2-6简单直接结构数据组织形式

4. 连续结构

图2-7连续结构数据组织形式 数据仓库与数据挖掘技术

2.3数据仓库的数据模型

2.3.1概念数据模型

图2-8商品、顾客和供应商E-R图

2.3.2逻辑数据模型

2.3.3物理数据模型

2.3.4高层数据模型、中间层数据模型和低层数据模型

1. 高层数据模型

2. 中间层数据模型

3. 低层数据模型 数据仓库与数据挖掘技术

2.4数据仓库设计步骤

图2-9数据仓库设计步骤

2.4.1概念模型设计

1. 界定系统边界

2. 确定主要的主题域

3. 实例

2.4.2技术准备工作

2.4.3逻辑模型设计

1. 分析主题域

2. 划分粒度层次

3. 确定数据分割策略

4. 定义关系模式

5. 定义记录系统

2.4.4物理模型设计

1. 确定数据的存储结构 数据仓库与数据挖掘技术

2. 确定索引策略

3. 确定数据存放位置

4. 确定存储分配

2.4.5数据仓库的生成

１．引言　数据挖掘出现于２０世纪８Ｏ年代后期，９Ｏ　年代有了突飞猛进的发展，数据数据挖掘的核　心模块技术历经了数十年的发展，其中包括数　理统计、人工智能、机器学习。今天，这些成　熟的技术，加上高性能的关系数据库引擎以及　广泛的数据集成，让数据挖掘技术在当前的数　据仓库环境中进入了实用的阶段。　２．数据挖掘内涵　数据挖掘（Ｄａｔａ　Ｍｉｎｉｎｇ）就是从大量的、　不完全的、有噪声的、模糊的、随机的实际应　用数据中，提取隐含在其中的、人们事先不知　道的、但又是潜在有用的信息和知识的过程。　与数据挖掘相近的同义词有数据融合、数　据分析和决策支持等。这个定义包括好几层含　义：数据源必须是真实的、大量的、含噪声的；　发现的是用户感兴趣的知识；发现的知识要可　接受、可理解、可运用；并不要求发现放之四　海皆准的知识，仅支持特定的发现问题。　数据挖掘与传统的数据分析（如查询、报　表、联机应用分析）的本质区别是数据挖掘是　在没有明确假设的前提下去挖掘信息、发现知　识。数据挖掘所得到的信息应具有先前未知、　有效和可实用三个特征。先前未知的信息是指　该信息是预先未曾预料到的，既数据挖掘是要　库的关联　

探讨了数据挖掘和数据仓库之间的紧密　

发现那些不能靠直觉发现的信息或知识，甚至　是违背直觉的信息或知识，挖掘出的信息越是　出乎意料，就可能越有价值。在商业应用中最　典型的例子就是一家连锁店通过数据挖掘发现　了小孩尿布和啤酒之间有着惊人的联系。　３．数据挖掘的功能　数据挖掘功能用于指定数据挖掘任务中要　找的模式模型，数据挖掘的目标是从数据库中　发现隐含的、有意义的知识，数据挖掘的任务　一般可以分两类：描述和预测，描述的数据挖　掘任务主要是规划数据库中已存在的数据，并　提供数据的有用的一般特征；预测的数据挖掘　任务主要是在已经有的数据上进行建模，并进　行预测新数据集。　３．１－概念／类描述　概念或类描述由特征化和比较组成。前者　主要是将大量数据进行汇总，并被作为目标类，　后者汇总的数据被称作目标类的数据集与称作　对比类的其他数据集相区别。　３．２关联分析　关联规则挖掘发现大量数据中项集之问有　趣的关联或相关联系。若两个或多个变量之间　的取值存在某种规律性，就称为关联，目前使　用比较频繁的规则是多维关联规则。关联分析　用于发现关联规则，目的是找出数据库中隐藏　的关联网。