当前位置：文档之家 › 数据仓库与数据挖掘第一章 数据仓库和数据挖掘概述

数据仓库与数据挖掘第一章 数据仓库和数据挖掘概述

  • 格式：pptx
  • 大小：1.44 MB
  • 文档页数：8

下载文档原格式

  / 8

合集下载

数据仓库与数据挖掘

数据仓库与数据挖掘

数据仓库与数据挖掘数据仓库和数据挖掘是现代信息技术领域中的重要概念，它们在企业和组织中扮演着关键角色。

数据仓库是一个用于存储、管理和分析大量数据的集中式数据库系统，而数据挖掘则是通过应用统计学、机器学习和人工智能等技术，从数据仓库中发现隐藏的模式、关联和趋势。

数据仓库的标准格式通常包括以下几个组成部分：1. 数据源：数据仓库的数据源可以来自多个不同的系统和应用程序，如企业资源计划（ERP）系统、客户关系管理（CRM）系统、销售和市场数据等。

这些数据源需要经过提取、转换和加载（ETL）的过程，以便将数据导入到数据仓库中。

2. 数据模型：数据仓库的数据模型是一个逻辑结构，用于描述数据之间的关系和组织方式。

常见的数据模型包括星型模型和雪花模型。

星型模型由一个中心事实表和多个维度表组成，而雪花模型在星型模型的基础上进一步细化维度表的结构。

3. 数据存储：数据仓库通常使用关系数据库管理系统（RDBMS）作为数据存储的基础。

常见的RDBMS包括Oracle、MySQL和SQL Server等。

数据存储的设计需要考虑数据的容量、性能和查询需求等因素。

4. 数据访问：数据仓库的数据可以通过多种方式进行访问和查询，如结构化查询语言（SQL）、在线分析处理（OLAP）和数据挖掘工具等。

这些工具可以帮助用户从数据仓库中提取所需的信息，并进行多维分析和数据挖掘。

5. 数据质量：数据仓库的数据质量是保证数据准确性和一致性的关键因素。

数据质量管理包括数据清洗、去重、校验和修复等步骤，以确保数据仓库中的数据是可信的和可用的。

而数据挖掘的标准格式通常包括以下几个步骤：1. 目标定义：在进行数据挖掘之前，需要明确挖掘的目标和问题。

例如，预测销售额、发现市场细分、识别欺诈行为等。

2. 数据准备：数据挖掘需要准备和清洗数据，以确保数据的质量和可用性。

这包括数据清洗、数据集成、数据转换和数据规范化等步骤。

3. 特征选择：在数据挖掘过程中，需要选择最相关和有价值的特征变量。

数据仓库与数据挖掘教程(第2版)陈文伟版课后答案

数据仓库与数据挖掘教程(第2版)陈文伟版课后答案

第一章数据仓库与数据挖掘概述1.数据库与数据仓库的本质差别是什么？答：数据库用于事务处理，数据仓库用于决策分析;数据库保持事务处理的当前状态，数据仓库既保存过去的数据又保存当前的数据;数据仓库的数据是大量数据库的集成;对数据库的操作比较明确，操作数据量少,对数据仓库操作不明确，操作数据量大。

数据库是细节的、在存取时准确的、可更新的、一次操作数据量小、面向应用且支持管理；数据仓库是综合或提炼的、代表过去的数据、不更新、一次操作数据量大、面向分析且支持决策。

6.说明OLTP与OLAP的主要区别。

答：OLTP针对的是细节性数据、当前数据、经常更新、一次性处理的数据量小、对响应时间要求高且面向应用，事务驱动； OLAP针对的是综合性数据、历史数据、不更新，但周期性刷新、一次处理的数据量大、响应时间合理且面向分析，分析驱动。

8.元数据的定义是什么？答：元数据（metadata）定义为关于数据的数据（data about data），即元数据描述了数据仓库的数据和环境。

9.元数据与数据字典的关系什么？答：在数据仓库中引入了“元数据”的概念，它不仅仅是数据仓库的字典，而且还是数据仓库本身信息的数据。

18.说明统计学与数据挖掘的不同。

答：统计学主要是对数量数据（数值）或连续值数据（如年龄、工资等），进行数值计算（如初等运算）的定量分析，得到数量信息。

数据挖掘主要对离散数据（如职称、病症等）进行定性分析（覆盖、归纳等），得到规则知识。

19.说明数据仓库与数据挖掘的区别与联系。

答：数据仓库是一种存储技术，它能适应于不同用户对不同决策需要提供所需的数据和信；数据挖掘研究各种方法和技术，从大量的数据中挖掘出有用的信息和知识。

数据仓库与数据挖掘都是决策支持新技术。

但它们有着完全不同的辅助决策方式。

在数据仓库系统的前端的分析工具中，数据挖掘是其中重要工具之一。

它可以帮助决策用户挖掘数据仓库的数据中隐含的规律性。

数据仓库和数据挖掘的结合对支持决策会起更大的作用。

数据仓库与数据挖掘 阶段考试复习题

数据仓库与数据挖掘 阶段考试复习题

第一章数据仓库与数据挖掘概述无习题第二章数据仓库概述一．判断题在分析型处理产生后，数据处理的环境由原来的以单一数据库为中心的数据环境发展为以数据仓库为基础的体系化环境。

在事务型（操作型）数据处理下，数据处理的环境主要是以单一数据库为中心的数据环境。

数据仓库是为构建分析型数据处理环境而出现的一种数据存储和组织技术.面向应用，是数据仓库区别于传统的操作型数据库的关键特征。

一个数据仓库是通过集成多个异种数据源来构造的。

由于在数据仓库中只进行数据的初始装载和查询操作，所以，数据一旦进入数据仓库，就是稳定的，基本上不会被更新。

数据立方体必须是3维的。

在数据仓库中，概念分层定义了一个映射序列，可以将低层概念映射到更一般的高层概念。

方体的格，是在单个维上定义的映射序列，可以将低层概念映射到更一般的高层概念。

雪花模型通过在每个维表基础上，增加附加维表的方式来降低星型模型中可能会存在的冗余现象。

在事实星座模型中，有且仅能有一个事实表。

在数据仓库的设计过程中，要坚持“数据驱动和需求驱动双驱动，且以需求驱动为中心”的原则。

二．单选题在以下人员中，被誉为“数据仓库之父”的是：（）（知识点：数据仓库的基本概念；易）A. H.Inmon B. E.F.Codd C. Simon D. Pawlak以下关于数据仓库的说法正确的是：（）（知识点：数据仓库的基本概念；难）A. 数据仓库中的数据只能来源于组织内部的操作型数据库B. 数据仓库是为应对事务型数据处理的需要而产生的C. 数据仓库是面向主题的，这是其区别于操作型数据库的关键特征D. 数据仓库必须是面向企业全局的，不能以部门为单位建立数据仓库以下哪项不是“信息包图”中的元素？（）（知识点：数据仓库的三级模型；难）A. 维度B. 维的概念层次及相应层次上的数量C. 度量D. 方体的格以下哪项不属于数据仓库的逻辑模型？（）（知识点：数据仓库的三级模型；中）A. 星型模型B. 雪花模型C. 度量模型D. 事实星座模型在数据仓库的设计过程中，下列描述正确的是（）（知识点：数据仓库的设计；难）A. 数据仓库是“数据驱动+需求驱动”双驱动，但必须以需求驱动为中心B. 数据仓库主要面向分析型处理环境，在设计时很难完全明确用户的需求C. 数据仓库与数据库一样，其数据主要来自于企业的业务流程D. 数据仓库的设计目标是要提高事务处理的性能下面哪项关于星型模型的说法是不正确的：（）（知识点：数据仓库的三级模型；难）A. 有一个事实表，且事实表中的属性由指向各个维表的外键和一些相应的度量数据组成B. 有一组小的附属表，称为维表，且每维一个维表C. 事实表的每个字段都是事实度量字段D. 由于每维只能建立一个维表，使得维表中有些信息会产生冗余在数据仓库的概念模型中，通过（）来实现数据从客观世界到主观认识的映射。

《数据仓库与数据挖掘第一章概述(SUN)》

《数据仓库与数据挖掘第一章概述(SUN)》
发现每逢周末，位于某地区的沃尔玛超市连锁店的啤酒和尿布 的销售量很大，而且单张发票中同时购买尿布和啤酒的记录非 常普遍。
分析人员认为这并非偶然，经过深入分析得知，通常周末购买 尿布的是男士，他们在完成了太太交给的任务后，经常会顺便 买一些啤酒。
得出这样的结果后，沃尔玛超市的工作人员尝试着将啤酒和尿 布摆放在一起销售，结果尿布与啤酒的销售额双双增长。
关系数据库，结构化查 Oracle、Sybase、
询语言，ODBC、
Informix、
Oracle、Sybase、IBM、 IBM、
Microsoft
Microsoft
在记录级提供历史 性的、动态数据信 息
联机分析处理(OLAP)、 多维数据库、数据仓库
Pilot、Comshare、 Arbor、Cognos、 Microstrategy
数据访问 (20世纪80年代)
数据仓库、 决策支持 (20世纪90年代)
数据挖掘 (正在流行)
商业问题
支持技术
产品厂家
产品特点
“过去五年中我的总 收入是多少？”
计算机、磁带和磁盘
IBM，CDC
提供历史性的、静 态的数据信息
“在新英格兰的分部 去年三月的销售额 是多少？”
“在新英格兰的分部 去年三月的销售额 是多少？波士顿据 此可得出什么结 论？”
可怕的数据
有用的知识
数据挖掘
一、数据挖掘技术的由来
数据挖掘是八十年代投资AI研究项目失败后，AI转入实际应用 时提出的。它是一个新兴的，面向商业应用的AI研究。 (AI(Artificial Intelligence，人工智能) )
1989年8月，在美国底特律召开的第11届国际人工智能联合会 议的专题讨论会上首次出现数据库中的知识发现（Knowledge Discovery in Database，KDD）这一术语。

数据仓库与数据挖掘.第1章ppt课件

数据仓库与数据挖掘.第1章ppt课件

2021精选ppt
5
数据仓库在我国的发展
• 现状：数据仓库的概念已经被国内用户接受多年，但在 应用方面的收效仍很有限。
• 原因：
– 尚不存在可靠的、完善的、被广泛接受的数据仓库标准；
– 现有的数据库系统不健全，数据积累还不够，无法提出决策 支持需求；
– 缺乏能够担负规划、设计、构建和维护数据仓库的重任的复 合型人才；
• 面向主题的数据组织方式可在较高层次上对 分析对象的数据给出完整、一致的描述，能 完整、统一的刻画各个分析对象所涉及的企 业的各项数据以及数据之间的联系。
2021精选ppt
18
集成性
• 数据仓库中的数据是从原有分散的源数据 库中提取出来的，其每一个主题所对应的 源数据在原有的数据库中有许多冗余和不 一致，且与不同的应用逻辑相关。因此， 数据仓库在提取数据时必须经过数据集成， 消除源数据中的矛盾，并进行数据综合和 计算。经过数据集成后，数据仓库所提供 的信息比数据库提供的信息更概括、更本 质。
数据中隐藏的知识的手段，导致了“数据爆炸但知 识贫乏的”现象。
• 自80年代后期以来，联机分析处理（OLAP）和数 据挖掘技术应运而生。
2021精选ppt
24
数据挖掘的发展
• 数据挖掘（Data Mining，简记为DM）是从关系 数据库、数据仓库、WEB数据库以及其他文件系 统中发现重要的数据模式、规律的过程，因此又 称为数据库中的知识发现（Knowledge Discovery in Database, 简记为KDD），它是OLAP的高级阶 段。
2021精选ppt
9
分析型处理
• 分析型处理：用于管理人员的决策分析，例 如DSS、 EIS、和多维分析等。它帮助决策 者分析数据以察看趋向、判断问题。分析型 处理经常要访问大量的历史数据，支持复杂 的查询。在分析型处理中，并不是对从事务 型处理环境 中得到的细节数据进行分析。分 析型处理过程中经常用到外部数据。

数据仓库与数据挖掘概述

数据仓库与数据挖掘概述

统计学与数据挖掘的比较
• 统计学主要是对数量数据（数值）或连续值数据 （如年龄、工资等），进行数值计算（如初等运 算）的定量分析，得到数量信息。
• 数据挖掘主要对离散数据（如职称、病症等）进 行定性分析（覆盖、归纳等），得到规则知识。
• 统计学与数据挖掘是有区别的。但是，它们之间 是相互补充的。
1.3 数据仓库和数据挖掘的结 合
2.联机分析处理（OLAP）
• E.F.Codd认为决策分析需要对多个关系数据库共同 进行大量的综合计算才能得到结果。
• E.F.Codd在1993年提出了多维数据库和多维分析的 概念，即联机分析处理（On Line Analytical Proces sing，OLAP）概念。
• 关系数据库是二维数据（平面），多维数据库是 空间立体数据。
• OLTP是事务处理从单机到网络环境地发展新阶段。
• OLTP的特点在于事务处理量大，应用要求多个并行处理，事务处理内容比较简单且重 复率高。
• 大量的数据操作主要涉及的是一些增加、删除、修改、查询等操作。每次操作的数据 量不大且多为当前的数据。
• OLTP处理的数据是高度结构化的，数据访问路径是已知的，至少是固定的。 • OLTP面对的是事务处理操作人员和低层管理人员。 • 但是，为高层领导者提供决策分析时， OLTP则显得力不从心。
Clementine 介绍
1999年SPSS公司收购了ISL公司，对Clementine产品进行 重新整合和开发，现在Clementine已经成为SPSS公司的又 一亮点。 作为一个数据挖掘平台， Clementine结合商业 技术可以快速建立预测性模型，进而应用到商业活动中， 帮助人们改进决策过程。强大的数据挖掘功能和显著的投 资回报率使得Clementine在业界久负盛誉。同那些仅仅着 重于模型的外在表现而忽略了数据挖掘在整个业务流程中 的应用价值的其它数据挖掘工具相比， Clementine其功能 强大的数据挖掘算法，使数据挖掘贯穿业务流程的始终， 在缩短投资回报周期的同时极大提高了投资回报率。

《数据仓库与数据挖掘》课程简介

数据仓库与数据挖掘
(DataWarehouseandDataMining)
总学时：48学时理论：48学时实验(上机、实习等)：。

学时
学分：3
课程主要内容：
数据仓库(DW)与数据挖掘(DM)是20世纪90年代中期兴起的新技术。

数据仓库用于决策分析，数据挖掘用于从数据库中发现知识。

数据仓库和数据挖掘的结合为决策支持系统(DSS)开辟了新方向，它们也是商业智能(B1)的主要技术。

数据仓库与数据挖掘是计算机专业的选修课程，本课程主要讲述：数据仓库的基本概念、原理及应用；各类数据挖掘的分类、原理与方法。

介绍数据仓库的概念、特征、存贮结构及数据分析的手段。

重点介绍数据挖掘中的分类挖掘、聚类挖掘、关联规则挖掘的概念、原理、方法及应用特征。

简单介绍WEB挖掘、空间数据挖掘、时序数据挖掘等的基本原理与方法。

同时，结合高级语言与SQ1编写锻炼学习者在数据库中对数据进行提取与分析能力。

先修课程：
≪C语言程序设计》、《离散数学》、《数据结构》、《数据库系统原理》、《操作系统原理》等。

适用专业：
计算机科学与技术
教材：
MargaretH.Dunham著，郭崇慧等译.《数据挖掘教程》.北京：清华大学出版社，2005教学参考书：
[1]范明等译.《数据挖掘概念与技术》.北京：机械工业出版社，2008。

数据仓库与数据挖掘

时有意引入冗余，采用反范式的方式来设计。 – 4）数据库是为捕获数据而设计，数据仓库是为分析数据而设计，基本元素是维表和
事实表。
数据仓库与数据挖掘
1.2 数据挖掘
– 数据挖掘，在人工智能领域，习惯上又称为数据库中知识发现（Knowledge Discovery in Database，KDD），也有人把数据挖掘视为数据库中知识发现过程的一个基本步骤。知识发现 过程由以下三个阶段组成：数据准备，数据挖掘，结果表达和解释。
• 数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境，研究和解决 从数据库中获取信息的问题，具有面向主题、集成性、稳定性和时变性。
• 数据仓库之父Bill Inmon在1991年出版的《Building the Data Warehouse》一书 中所提出的定义被广泛接受——数据仓库（Data Warehouse）是一个面向主题的 （Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile） 、反映历史变化（Time Variant）的数据集合，用于支持管理决策（Decision Making Support）。
数据仓库与数据挖掘
1.1 数据仓库
– 2．特点
• 1）面向主题。操作型数据库的数据组织面向事务处理任务，各个业务系 统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的 。
• 2）集成性。数据仓库中的数据是在对原有分散的数据库数据抽取、清理 的基础上经过系统加工、汇总和整理得到的，从而消除源数据中的不一 致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。
• 3）相对稳定。数据仓库的数据主要供企业决策分析之用，所涉及的数据 操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将 被长期保留。数据仓库中一般有大量的查询操作，但修改和删除操作很 少，通常只需要定期的加载、刷新。

数据仓库与数据挖掘技术 第一章 概述

第1章数据挖掘和数据仓库概述1.1数据挖掘引论1.1.1数据挖掘的由来1.1.2数据挖掘的定义图1-1数据挖掘的过程1. 确定业务对象2. 数据准备3. 数据挖掘4. 结果分析与知识同化1.1.3数据挖掘的功能1. 概念描述2. 关联分析3. 分类与预测4. 聚类分析5. 偏差分析1.1.4数据挖掘的常用方法1. 聚类分析2. 决策树数据仓库与数据挖掘技术3. 人工神经网络4. 粗糙集5. 关联规则挖掘6. 统计分析1.2数据仓库引论1.2.1数据仓库的产生与发展1.2.2数据仓库的定义1.2.3数据仓库与数据挖掘的联系与区别1. 数据仓库与数据挖掘的联系2. 数据仓库与数据挖掘的区别1.3数据挖掘的应用1.3.1数据挖掘的应用领域1. 金融业2. 保险业3. 科学研究4. 市场营销5. 客户关系管理6. 其他领域1.3.2数据挖掘案例1. 竞技运动中的数据挖掘2. 超市中的数据挖掘3. 站点访问量分析中的数据挖掘4. 通过数据挖掘进行个性化服务数据仓库与数据挖掘技术5. “体育精品”体育用品公司1.4常用数据挖掘工具1.4.1数据挖掘工具的种类1. 按使用方式分类2. 按数据挖掘技术分类3. 按应用范围分类1.4.2评价数据挖掘工具优劣的指标1.4.3常用数据挖掘工具1. SPSS图1-2SPSS界面2. SAS数据仓库与数据挖掘技术图1-3SAS界面3. SQL Sever 2005图1-4Microsoft SQL Server 2005数据挖掘平台界面4. Weka数据仓库与数据挖掘技术图1-5Weka界面5. MA TLAB图1-6MATLAB的界面习题11. 数据挖掘技术涉及哪些技术领域？2. 数据挖掘的源数据是否必须是数据仓库的数据？可以有哪些来源？数据仓库与数据挖掘技术3. 数据挖掘的具体功能有哪些？4. 数据挖掘技术主要包含哪几种？5. 数据挖掘的过程包括哪些步骤，每一步具体包括哪些内容？6. 数据挖掘可以应用在哪些领域？7. 数据库与数据仓库的本质区别是什么？8. 举例说明数据挖掘与数据仓库的关系。

数据仓库与数据挖掘课件

数据仓库用于决策分析
数据库保持事务处理的当前状态，数据仓库既 保存过去的数据又保存当前的数据 数据仓库的数据是大量数据库的集成 对数据库的操作比较明确，操作数据量少。对 数据仓库操作不明确，操作数据量大
3.数据库与数据仓库对比
数据库 数据仓库
细节的 代表当前的数据 可更新的 一次操作数据量小 面向应用 支持管理
关系数据库是二维数据（平面），多维数据库 是空间立体数据。
2.联机分析处理（OLAP）
OLAP的基本思想是决策者从多 方面和多角度以多维的形式来观 察企业的状态和了解企业的变化。
3.OLTP与OLAP的对比
OLTP 细节性数据 当前数据 经常更新 一次性处理的数据量小 对响应时间要求高 面向应用，事务驱动 OLAP 综合性数据 历史数据 不更新，但周期性刷新 一次处理的数据量大 响应时间合理 面向分析，分析驱动
统计学与数据挖掘的比较
统计学主要是对数量数据（数值）或连续值数 据（如年龄、工资等），进行数值计算（如初 等运算）的定量分析，得到数量信息。 数据挖掘主要对离散数据（如职称、病症等） 进行定性分析（覆盖、归纳等），得到规则知 识。
统计学与数据挖掘是有区别的。但是，它们之 间是相互补充的。
综合或提炼的 代表过去的数据 不更新 一次操作数据量大 面向分析 支持决策
1.1.2从OLTP到OLAP
1.联机事务处理（OLTP）
2.联机分析处理（OLAP） 3.OLTP与OLAP的对比
1.联机事务处理（OLTP）
联机事务处理（On Line Transaction Processing，OLTP）是在网络环境下的 事务处理工作，以快速的响应和频繁的数据 修改为特征，使用户利用数据库能够快速地 处理具体的业务。 OLTP应用要求多个查询并行，以便将每个 查询分布到一个处理器上。
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

③ 采用事件驱动和主动推送的方式为业务系统提供分析能力，例如银行的信 贷风险管理员，当审批某人的贷款请求时，关于该申请人的相关风险评级 等信息就会被主动推送过来。
1.1.2 发展历程4——数据中心
通过数据中心的构建，企业从 传统的交易系统（记录系统） 和各种差分系统（Different System）逐渐转向构建创新系 统，通过使用分析技术创造独 特的竞争优势，将分析技术慢 慢融入到企业的核心战略制定 和日常运营管理中。
1.1.1 数据仓库和数据挖掘的目标
构建数据仓库和应用数据挖掘的共同目标：
（7）构建数据治理体系，保证数据的一致性，消除信息的冗余、冲突和缺失等问题；
（8）提供高效、实时和准确的多维数据分析、报表统计、即时查询、广告版、多媒体分析、流 分析和内容分析等功能，为企业运营分析提供全面支持；
（9）提供简洁易用的数据挖掘和预测分析支撑，为企业分析提供全面支持；
。。。。。。
1.1.2 发展历程1——报表查询系统
• 随着时间的推移，这些报表查询系统越来越不能满足企业的需求。 • 例如：
① 查询访问性能比较慢 ② 报表统计相对固定难以满足企业灵活的业务需求 ③ 无法进行多维分析等
1.1.2 发展历程2——传统数据仓库技术
• 使用ETL（Extract，Transform，Load ）或ETCL（Extract， Transform，Clean，Load ）工具实现数据的导出、转换、清洗和装 入工具，使用操作型数据存储（Operational Data Store，ODS）存储 明细数据，使用数据集市和数据仓库技术实现面向主题的历史数据存 储，使用多维分析工具进行前端展现，以及使用数据仓库工具提供的 挖掘引擎或基于单独的数据挖掘工具进行预测分析等。相比之前的报 表查询系统。
1.1 概述
• 1.1.1 数据仓库和数据挖掘的目标 • 1.1.2 发展历程
1.1.1 数据仓库和数据挖掘的目标
构建数据仓库和应用数据挖掘的共同目标：
(1) (2) (3) 通过跨系统实现数据共享，解决信息孤岛问题，提升数据质量； 构建企业信息单一视图，实现结构化、半结构化和非结构化数据的统一管理和洞察； 提供完善的业务模型挖掘、定义和管理，并在此基础上提供实时决策支持；
(4) 提供准确有效的客户特征管理机制，为客户细分、提升销售、交叉销售、市场营销和客户维护挽 留等提供深入洞察；
(5)
构建企业级数据仓库、主数据管理、企业内容管理和大数据管理等，为企业提供统一的数据服务；
(6) 构建完整统一的元数据管理体系，制定完善的元数据管理策略，为企业提供统一高效的元数据管 理服务；
第1章 数据仓库和数据挖掘概述
第1章 数据仓库和数据挖掘的概述
• 1.1 概述 • 1.2 数据中心 • 1.3 混合型数据中心参考
1.1概述
• 数据仓库和数据挖掘的企业级应用体经历了三个阶段： ① 传统数据仓库时代 ② 动态数据仓库时代 ③ 数据中心时代
• 数据中心分为：关系型数据中心、非关系型数据中心（基于Hadoop或企业内容管 理）和混合型数据中心（大数据平台）
1.1.2 发展历程2——传统数据仓库技术
传统数据仓库技术面临新的问题：
1. 随着竞争的进一步加剧，企业需要对市场变化及时进行响应，对数据仓库 时效性的要求越来越高，而传统数据仓库中的数据都是经过批量定期更新 的，难以满足时效性的要求； 2. 越来越多的一线用户需要使用数据仓库，而传统数据仓库用户通常只针对 高端管理层或少数管理人员，更多的一线用户无法访问数据仓库，例如银 行，就有成千上万的客户经理和客户代表期望访问数据仓库； 3. 业务系统越来越需要传统数据仓库主动提供相应的分析能力，而传统数据 仓库通常不会主动推送分析能力。
1.1.2 发展历程3——动态数据仓库技术
数据模型
核心业务系统
数据整合ETL
信贷系统
集中数据存贮
数据分析
多维分析 卡前置系统 ODS
企业数据仓库
数据 ETL 应用服务器
实时或增量
国际结算 资金交易
数据采集
数据挖掘
财务系统
1.1.2 发展历程3——动态Biblioteka 据仓库技术动态数据仓库优点：
① 一线用户可以动态（或者说实时地）地访问数据仓库以便获取其所需的信 息； ② 使用动态数据加载方式，相比传统数据仓库采用批量形式加载数据，动态 数据仓库通常以准实时的方式连续加载数据（以增量数据加载为主），最 低可以到秒级的时间间隔，从而在根本上保证数据仓库数据的实时性；
1.1.2 发展历程2——传统数据仓库技术
传统数据仓库技术具有以下优点：
1. 通过完善的数据清洗转换保证了ODS数据的准确性和一致性； 2. 通过数据仓库技术提升了BI系统的性能； 3. 通过多维分析展现工具，给客户提供了全面的多维分析，报表统计 和即席查询等功能； 4. 通过数据挖掘技术，帮助客户灵活地进行预测分析。
1.1.2 发展历程4——数据中心
通过构建新一代数据中心，可以 在各行各业实现智慧的分析洞察。 例如在交通行业进行实时交通流 优化、公交线路优化、基于交通 流量预测进行出行线路推荐等； 在银行业进行反欺诈、反洗钱和 风险管理整合等；以及在零售行 业预测客户购买意向等
企业离不开数据分析和利用
• 企业面临的问题：业务不确定，竞争提高，客户忠诚度下降 • 解决方法：全面利用数据分析技术
• 例如： 银行——如何有效识别信贷风险，更高效地进行交叉销售和提升销售 电信公司——如何对市场业务发展和竞争环境进行精准分析，从而为市场决策 提供深入的分析支撑，提升营销活动的精确性，提高客户满意度，培育新的 商务模式等 保险公司——哪些理赔客户骗保的可能性更高以及哪些客户是高价值低风险的 客户群等
（10）提供协同工作、规则引擎和事件处理功能，为基于全面分析能力的各种应用间有效协作提 供支撑；
（11）提供完善的IT安全管理、综合监控和企业资产管理等。
1.1.1 数据仓库和数据挖掘的目标
构建数据仓库和应用数据挖掘面临的挑战：
a) 如何构建企业面向数据文化
b) 如何打破组织壁垒
c) 如何控制整合项目的实施周期和风险 d) 如何克服整合在技术上的复杂度