当前位置:文档之家› 数据仓库与数据挖掘期末复习

数据仓库与数据挖掘期末复习

数据仓库与数据挖掘期末复习
数据仓库与数据挖掘期末复习

1.数据仓库的概念和特点p11

定义:一个面向主题的、集成的、非易失的且随时间变化的数据集合,用来支持管理人员作出决策。

特性:

面向主题的、集成的、非易失的、随时间不断变化的。

1、面向主题的:数据仓库以一个奇特或组织机构中固有的业务主题作为处理的主体,是从整体的、全局的角度来衡量这些主题在企业中的作用。

2、集成的(最重要):数据仓库必须将不一致的数据进行有效的集成,使之在数据仓库中有一致性的表示形式。一致性问题只是集成所包含的一部分工作,另外还需要根据主题进行有效的数据组织。

3、非易失性:一旦操作型数据进入数据仓库,只要数据未超过数据仓库的数据存储期限,通常不对数据进行更新操作,而只进行查询操作。即不进行一般意义上的更新,而且与操作型数据相比,更新频率要低得多,对时间的要求更为宽松。

4、随时间不断变化的(数据因时而变的特点)《与操作型数据比较的,书上14页》:(1)数据仓库中的数据的时间期限要远远长于操作型环境中的数据的时间期限。操作型环境一般60-90天,数据仓库5-10年。

⑵操作型环境中的数据库含有数据的“当前值”,其准确性访问是有效的,其当前值能被更新,数据仓库中的数据只是一系列某一时刻所生成的数据的复杂快照。

⑶操作型环境中的数据键码结构可能含有也可能不含有;数据仓库的键码结构总是包含某时间元素。

2.数据仓库中的关键概念14

外部数据源:就是从系统外部获取的同分析主题相关的数据。

数据抽取:是数据仓库按分析的主题从业务数据库抽取相关数据的过程。

数据清洗:所谓“清洗”是指在放入数据仓库之前将错误的、不一致的数据予以更正或删除,以免影响DSS决策的正确性。

数据转换:各种数据库产品所提供的数据类型可能不同,需要将不同格式的数据转换成统一的数据格式,称为数据转换。

数据加载:是指把清洗后的数据装入数据仓库的过程。数据加载策略包括数据加载周期和数据追加策略。数据加载周期要综合考虑经营分析需求和系统加载代价,对不同业务的数据采用不同的加载周期,但必须保持同一时刻业务数据的完整性和一致性。

元数据:元数据是关于数据的数据。元数据位于数据仓库的上层,而且能够记录数据仓库中对象的位置。

数据集市:面向企业中的某个部门(主题)而在逻辑上或物理上划分出来的数据仓库中的数据子集成为数据集市。

数据粒度:粒度是数据仓库的数据单位中保存数据的细化程度或综合成都的级别。细化程度越高,粒度级别就越低。相反,细化程度越低,粒度级别就越高。数据仓库的数据组织结构:

早期细节级(通常用于备用的、批量化的存储)、当前细节级、轻度综合数据级(数据集市)以及高度综合数据级。一旦数据过期,就由当前细节级进入早期细节级。经综合后的数据由当前细节级进入轻度综合数据级,然后由轻度综合数据级进入高度综合数据级。

数据粒度的两种形式:第一种形式的粒度是对数据仓库中的数据的综合程度高低的一种度量,另一种形式即样本数据库,是针对数据挖掘的,样本数据库是以一定的采样率(或按数据的重要程度的不同)从细节档案数据或轻度综合数据中抽取的一个子集。

数据分割:分割是指将数据分割到各自的物理单元中以便能分别进行处理,提高

数据追加:数据仓库中的数据初装完成后,再向数据仓库输入数据的过程。

数据仓库的内容仅限于上一次向数据仓库输入数据后在OLTP数据库中发生变化的数据。

捕捉变化数据的常用途径如下:

(1)时标方法:

如果数据含有时标,对于插入或更新的数据记录,在记录中设置相应的时标,那么只需根据时标判断哪些数据是上次追加后变化的即可。但并非所有数据库中的数据都含有时标。

(2)DELTA文件

1.DELTA文件是由应用生成的,记录应用所改变的所有内容。

2.利用DELTA文件效率很高,它避免扫描整个数据库。但因应用系统常由不同的软件开发商开发,生成DELTA文件的应用并不普遍,还有更改应用代码的方法,可在生成新数据时将其自动记录下来,但应用数目庞大,修改的代码十分繁琐。

(3)前后映像文件的方法:

1.在抽取数据前后对数据库各做一次快照,然后比较两幅快照从而确定新

数据。

2.它占用大量资源,对性能影响极大,因此无实际意义。

(4)日志文件(最切实有效)

日志是DMBS的固有机制

系统日志能把数据库服务器所执行的所有操作详细记录下来,通过分

析日志获取数据变化情况。

它还具有DELTA文件的优越性质,提取数据只要局限日志文件即可,

不用扫描整个数据库。

固有机制,不影响OLTP性能。

5..数据仓库的数据清理

1.数据加入失去原有细节的一个定期综合文件

2.数据从高性能介质转移到大容量介质上

3.数据从系统中实质性的清除

4.数据从体系结构的某一个层次转至另一个层次,必须从操作型层次转至数据仓库层次

6.数据集市的类型概念,在企业中很重要的作用

数据集市(Data Mart) ,也叫数据市场,是一个从操作的数据和其他的为某个特殊的专业人员团体服务的数据源中收集数据的仓库。数据仓库在整个组织范围内为各个部门提供管理与决策支持,而数据集市通常处于部门级,只能为某个局部范围内的管理人员提供服务,因此也称为部门级数据仓库。因此可以说数据集市是针对特定应用的数据仓库,即针对某个具有战略意义的应用或部门级应用,支持用户利用已有的数据做出管理决策。

数据集市(Data Marts)是一种更小、更集中的数据仓库,为公司提供分析商业数据的一条廉价途径。

1.独立型数据集市(独立数据集市)其数据直接来自各个生产系统,许多企业考虑投资问题,最终建成独立数据集市,用来解决个别部门较为迫切的决策问题。从这种意义上讲,它和企业数据仓库除了在数据量和服务对象上存在差别外,逻辑结构并无多大区别,也许就是把数据集市成为部门级数据仓库的主要原因。

2.从属性数据集市(从属集市):数据直接来自中央数据仓库访问数据仓库频繁的关键业务部门建立从属数据集市,可以提供查询操作的反应速度。

8.数据仓库的体系结构

数据仓库系统的层次结构

数据仓库在逻辑上可以分为:数据获取/管理层、数据存储层、数据分析/应用层1. 数据获取/管理层:(1).数据仓库的定义与修改、(2).数据的获取、(3.)数据仓库系统的管理

2.数据存储层:是数据仓库的主体,包括(1).从外部数据源抽取数据,经清洗、转换处理,并按主题进行组织和存放称其为业务数据仓库(2).数据仓库的元数据(

3.)针对不同的数据挖掘和分析主题而生成的数据集市

3.数据分析/应用层:(1)查询/统计功能(2)OLAP服务(3)数据挖掘服务9.数据仓库的构造模式(加上有反馈的~~~六种)

1、自顶向下模式

2、自底向上模式、

3、平行开发模式

1.自定向下模式

特点:在这种模式下,数据集市是数据仓库的真子集,数据由数据仓库流向数据集市。

数据仓库的设计过程直观,概念清晰,易于只要对外部数据源所支持的决策有较深入的额理解,保证各数据集市都是数据仓库的真子集,就可以完全消除信息之间的“蜘蛛网”

现象。这种模式不足之处在于要求设计者对具体业务有较深入的理解,系统设计规模较大,实施周期过长,项目见效缓慢,尤其是在项目实施初期,成效并不明显

构造方向:从左到右

决策分析主题<→数据集市←数据仓库←外部数据源

2.自底向上模式

自底向上模式设计思路是先具体,后综合

构造方向:从右到左

决策分析主题<→数据仓库←数据集市←外部数据源

特点:投资少,见效快,由于数据集市缺少元数据,因而最终构造数据仓库的过程具有一定的难度,并有可能影响数据仓库整体构造的合理性以及系统的运行效率

3.平行开发模式(又称企业级数据集市模式)

平行模式是在自顶向下模式的基础上,吸收了自底向上的优点发展而成的,是他们的有机结合。

4.改进的开发模式

均在上面介绍的基础上经改进发展而来,共同特点是:按照软件工程学的观点,接收用户对所构建的数据仓库系统的反馈信息,加以分析和整理,并以此为依据,对数据仓库进行修改,以不断提高数据系统对决策的支持能力。

10数据操作存储ODS(OperationalDataStore)

ODS是用于支持全局应用的数据集合,保存于ODS中的数据具有4个基本特点:面向主题的、集成化的、可变的、数据是当前的或接近当前的。

ODS只存放当前数据或接近当前的数据,而且可以进行联机修改,包括添加、

删除、更改等操作。所谓当前是指数据在存取时刻是最新的,而接近当前指所存取的数据是最近一段时间之前得到的。虽然数据仓库中数据也是面向主题和集成化的,但通常是不可修改的,所以ODS与数据仓库之间的区别主要体现在这两方面。

11.DB-ODS-DW三层体系结构

1).ODS充当“承上启下”的角色

2).ODS简化了DW与操作型环境的额界面

3).ODS满足了企业级全局应用的需求

数据库系统—操作数据存储系统—数据仓库

ODS是中间环节,看书上的图

特点:1)ODS的记录在DB中2)DW记录在ODS中

12.联机分析处理p40

联机分析处理OLAP

定义:OLAP是一种软件技术,它使分析人员能够迅速、一致、交互地从各个方面观察信息,以达到深入理解数据的目的。

目标是满足决策支持或多维环境下特定的查询和报表需求,因此OLAP可以说是多维数据分析工具的集合。

OLAP是针对特定问题的联机数据访问和分析处理

OLAP功能:数据分析、报表(p67)

13.OLAP相关的基本概念p41

变量:是数据的实际意义,用来描述数据”是什么”

维:是人们观察数据的特定角度

维的层次:人们观察数据的某个特定角度还可以存在细节程度不同的多个描述,这就是维的层次

维的成员:维的一个取值称为该维的的一个成员

多维数组:是维和变量的组合表示

数据单元:是多维数据的取值

14.OLAP准则(12条,选择题)p44

1.OLAP模型必须提供多维概念

2.透明性

3.存取能力准则

4.稳定的报表能力

5.客户—服务器体系结构

6.维的等同性准则

7.动态的稀疏矩阵处理准则

8.多用户支持能力

9.非受限的夸维操作

10.直观的数据操作

11.灵活的报表的生成

12.非受限维语聚集层次

简化的5条原则:1.快速性、2.可分析性、3.共享性、4.多维性、5.信息性15.OLAP基本分析动作,每个动作是什么意思p49

数据切片:多维数据的子集是多维数据的维i上切片

数据切片是一种优化功能,可以帮助将查询指向相应的数据。数据切片无法为分区指定数据源。也就是说,数据切片不能用于限制从分区事实数据表中选择的数据和包含在分区中的数据。数据切片仅适用于使用ROLAP存储模式的对象。使用分区向导创建分区时,可以指定一个数据切片。

数据切块:是将完整的数据立方体切取一部分数据而得到得心的数据立方体数据钻取:就是从较高的维度层次下降到较低的维度层次上来观察多维数组数据聚合:是钻取得逆向操作,是对数据进行高层次综合的操作

数据旋转:

16.OLAP数据组织

1、多维数据组织MOLAPp57

多维数据库

基于多维数据库的MOLAP(多维联机分析处理)是以多维数据库(MDDB)为核心的。简言之,多维数据库是以多维方式来组织和存储数据。

2、关系数据组织ROLAPp60

ROLAP(关系联机分析处理)将多维结构进行分解,利用两种表来表达多维信息。

17.星形结构的存储实现p61-62、雪花结构

星型模型由事实表和多个维度表组成。事实表中存放大量关于企业的事实数据,对象个数通常都很大,而且非规范化程度很高。为度表中存放描述性数据,维度表是围绕事实表建立的较小的表。

事实表是星型模型的核心,数据量大,冗余小

维度表是事实表的附属表

优点:星形模型是非规范化的,以增加存储空间的代价,提高了多维数据的查询速度。而规范化的关系数据库设计是使数据的冗余保持在最少,并减少了当数据改变时系统必须执行的动作。容易从维度表中的数据分析开始,获得维度关键字,以便连接到事实表进行查询,减少事实表中扫描数据量,从而提高查询性能

缺点:当事务问题发生变化,原来的维度不能满足要求时,需要增加新的维。由于事实表的主键由所有的围标的主键组成,这种维度的变化带来数据变化将是非常复杂非常耗时的。星形模型的数据冗余量很大。

2.雪花模型

雪花模型由一个事实表和多个维度表组成

雪花模型增加了用户必须处理的表的数量,增加了某些查询的复杂性。但这种方式可以是系统进一步专业化和实用化,同时降低了系统的通用程度。

优点:雪花模型在星型模型基础上,引入一个新表-----详细类别表,借助这个表对维度表进行描述,提高了数据模型的规范化程度,并使之具有较低的粒度。雪花模型减少冗余,将表细化,具有较高的灵活性;是最大限度的减少数据存储量,以及把较小的维度表联合在一起来改善查询性能。

缺点:随着表的数量的增多,表之间的关联会增加,存在着降低系统性能的可能。

雪花模型是对星形模型的扩展,雪花模型对星形模型的维度表进一步层次化,原来的各维度可能被扩展为小的事实表,形成一些局部的“层次”区域。

18.星形模型和雪花模型的差异(p63,好像是选择?)

星型模式VS 雪花模式

1.雪花模式的维表可能是规范化的,以便减少冗余。这种表易于维护,并节

省存储空间。

2.实际上,与巨大的事实表相比,这种空间的节省可以忽略。

3.由于执行查询需要更多的连接操作,雪花结构可能降低浏览的性能。

4.在数据仓库设计中,雪花模式不如星型模式流行。

相同点:进行OLAP处理,是以外键为基础进行维表与事实表、维表与维表之间的关联操作

不同点:雪花模型虽然具有较小的事实表,但在执行某些查询时,需要做表间的二次链接运算,占用CPU资源较多,因而其与运行效率可能低于星型结构模型

19.两种数据组织的比较(MOLAP、ROLAP)P66表格

1.结构分析:两种组织都满足OLAP数据处理流程,即数据装入、汇总、建立索引和提高使用方法。MOLAP较之ROLAP要简明一些。MOLAP的索引及数据综合可以自动完成,根据元数据。自动管理所有的索引及模式,灵活性弱;ROLAP 的实现较为复杂,但灵活性强

2.数据存取速度:MOLAP相应速度快,ROLAP相应速度慢

3.数据存储容量:ROLAP对于存储容量没有限制,MOLAP有限制

4.维度变化的适应性:MOLAP支持高性能的决策型计算,包括跨维计算、行级计算;ROLAP无法完成多行的计算和维之间的计算

5.多维计算机能力:ROLAP适应性更好

6.数据变化的适应性:ROLAP对于数据变化的适应性高

7.软硬台平台的适应性:ROLAP对软硬件平台的适应性很好,MOLAP则相对性差

8.元数据管理:元数据是OLAP和数据仓库的核心数据,OLAP的元数据包括层次关系、计算转化信息、报表中的数据项描述、安全存取控制等MOLAP以多维数据库为核心,在数据的存储和综合上有明显的优势,但它

不适应太大的数据存储,特别对于汗大量稀疏数据的存储将浪费大量的存储空间;ROLAP以RDBMS为基础,利用成熟的技术为用户的使用和数据管理带来方便

9.系统培训和维护工作

20什么是“胖”客户p69

是相对于“瘦客户端”(Thin Client)(基于Web的应用程序)而言的,它是在客户机器上安装配置的一个功能丰富的交互式的用户界面,例如Oracle、DB2数据库的客户端管理工具

21.OLAP前端展现方式有哪几种?p69

C/S方式

Web方式

瘦客户机方式

22.OLAP工具p73

OracleOLAP工具,知道常用工具

第三章数据仓库设计(综合案例)

23.数据仓库模型的构建原则5个p81

1、满足不同用户的需求

2、兼顾执行效率与数据粒度的需要(粒度小,效率差),必须保证既能提供足够详细的数据支持,又能保证查询的高效率。

3、支持需求的变化

4、避免对业务运营系统造成不良影响

5、考虑未来的可扩展性

24.概念模型设计p83很多,自己看

特点:1.反映现实世界,满足用户对数据的需求,能帮助用户做出决策,是现实世界的真实模型

2.易于用户理解和参与,便于与用户交流

3.易于修改,能够随时根据用户需求的变化对模型进行修正与扩充

4.易于向数据仓库的数据模型(星型模型、雪花模型、事实星座模型)进行转换

24.1逻辑模型设计

逻辑模型包括:1.初始数据组、2.二次数据组、3.连接数据组、4.类型数据组维度表的设计:维度表示事实表的进一步细化,它也要基于逻辑模型来设计;维度表就是将这些详细说明的额数据按逻辑关系进行存放工具。一个维度表拥有很多属性,参考事实表的数据。

事实表的设计:事实表是星型模型的核心,通常包括:键(主键、外键)和详细指标,事实表需要大量的数据来对其属性和细节加以详细说明索引策略:了解B树P99

25.元数据的类型p102

1、按元数据描述的内容分

基于基本数据的元数据、关于数据处理的元数据、关于企业组织的元数据

2、按用户的角度分

技术元数据、业务元数据

3、按元数据在数据仓库中承担的任务分

静态元数据

动态元数据

4、按数据仓库的功能区域分类:1.数据获取、2.数据存储、3.信息传递

螺旋式开发方式:

26.元数据的作用:P104

1、元数据在数据求精、开发、重构中的作用

(1)描述业务规则与数据之间的映射

(2)数据分割

(3)概括与聚集

(4)提高系统灵活性

(5)定义标准处理规则

(6)预算与推导

(7)转换与再映射

2.元数据在数据抽取与转换中作用

(1)确定数据源

(2)保证数据仓库内容的质量

(3)实现属性间的映射与转换

元数据的收集:1.来源于源系统、2.来源于抽取的数据、3.来源于转换与抽取和清洗的数据、4.来源于存储的数据、5.来源于装载的数据、6.来源于信息传递

26.粒度的划分:

粒度数据仓库数据单元的详细程度和级别

每个表的存储空间应是其数据存储空间和索引空间之和

(1)数据存储空间的估算

数据存储空间=表的行数X每行占用的空间

(2)索引存储空间估算

27.数据仓库的投资回报分析与风险分析P113

1.定量分析

ROI(投资回报率)=收益/成本现金

2.定性分析

3.风险分析

27.9数据仓库的开发方式

1.瀑布式开发:是指以形同流水线的方式来分析和设计数据仓库,包括:需求分

数据仓库系统是由一个数据驱动、以技术支撑并满足应用需求的不断增长和完善的开发过程。

数据仓库的建立可以从数据、技术、应用三方面展开,各方面工作完成之后,进行数据仓库的部署,然后数据仓库投入运行,同时技术人员对数据仓库进行维护,完成数据仓库的一个生命周期

步骤:

1.数据进入数据仓库的基本过程:抽取、转换、清洗、加载、集成

28.建立数据仓库的额步骤:

(1)收集并分析业务需求

(2)建立数据模型和数据仓库的物理设计

(3)定义数据源

(4)选择数据仓库技术和平台

(5)从操作型数据库提取、转换和净化数据并将其加载至数据仓库(6)选择访问和报表工具

(7)选择数据库连接软件

(8)选择数据分析和数据展示软件

(9)更新数据仓库

28.1提高数据仓库性能方法:

1.提高I/O性能

2.缩小查询范围

3.采取并行优化技术

4.选择适当的初始化参数

29.Oracle9i工具:P145

新特性:1.可管理性

2.因特网内容管理

3.提供端到端的安全体系结构

4.点击智能服务

5.实时的个性化处理

6.灵活性的可移植性

30. SQL Server2005

是基于客户---服务器模型的关系型数据管理系统

工具:

(1)关系数据库:作为数据仓库设计、构造和维护的基础(2)数据转换服务:用于向数据仓库加载数据

(3)数据复制:用于分布式数据仓库分布和加载数据(4)Analysis Services:用于采集和分析数据仓库中的数据(5)OLB DB:提供应用程序与数据源的API

(6)PivotTable:用于定制操作多维数据的客户接口

(7)English Query:提供使用自然语言查询数据仓库

(8)Meta Data Services:浏览数据仓库中的元数据

30.1.主要的聚类分析方法:

1.基于划分的聚类分析方法

2.基于层次的聚类分析方法

3.基于密度的聚类分析方法

4.基于网络的聚类分析方法

5.基于模型的聚类分析方法

30.2Analysis Server 包括算法:

1.分类算法、

2.回归算法、

3.分割算法、

4.关联算法、

5.顺序分析算法

31.SQL Server 数据仓库操作应用(看书)P150—170

32.KDD 是数据库知识发现RAID 是磁盘阵列

33,数据挖掘的概念

数据挖掘就是从大量的、不完全、有噪声的、模糊的、随机的实际应用数据中提取隐含在其中的、事先未知的、但又具有潜在价值的信息和知识的过程

34.知识类型:

1.广义知识:是指类别特征的概括型的描述

2.关联知识:是反映一个事件和其他事件之间的依赖或关联的知识

3.分类知识:反映同类事物共同性质的特征知识和不同事物之间的差异性特征知识

4.预测型知识:根据时间序列型数据,由历史的和当前的数据推测未来的数据,也可以认为是以时间为关键属性的关联知识

5。偏差型知识:是针对差异和极端特例的描述,揭示事物偏离常规的异常现象

35.数据挖掘的对象

1.关系数据库

2.数据仓库

3.事务数据库

4.高级数据库

36.数据挖掘的分类:

1.从数据分析的角度出发,数据挖掘分为:描述性数据挖掘、预测型数据挖掘

数据清洗

1.空缺值;是指所关心的某些属性对应的部分属性值是空缺的

实现方法:1.忽略元祖2.人工填写空缺值3.使用一个全局常量填充空缺值4.使用最可能的值填充空缺值

2.噪声:是指一个测量变量中的随机错误或偏差。

3.不一致性:对于无法判断不一致的数据的真实值的情况,可以采用处理空缺值的方法进行处理

37.数据集成

数据集成是指将来自不同数据源的数据整合成一致的数据存储

元数据、相关分析、数据冲突检测和语义异种性的解析都有助于数据集成

数据转换

常用的数据转换方法:平滑、聚集、数据概化、规范化、属性构造

38数据规约P183

39.文本挖掘技术

文本挖掘是一个从非结构化文本信息中获取用户感兴趣或有用的的模式过程

文本挖掘过程:文本准备—>特征标引→词频矩阵降维-→知识模式的提取-→知识模式的评价—>知识模式的输出

40.文本挖掘的应用P219

Web的特点:

1.庞大性、

2.动态性、

3.异构性、

4.半结构化的数据结构

Web挖掘的分类:Web内容挖掘、Web结构挖掘、Web使用记录挖掘

Web内容挖掘:是从文档内容或其描述中提取知识的过程,是指从Web内容、数据或文档中发现有用的信息

Web结构挖掘:是指从WWW的组织结构和链接关系中推导知识

Web使用记录挖掘:基于Web访问记录的数据挖掘

根据数据来源、数据类型、数据集合的用户数量、数据集合中的额服务器数量等可将Web使用记录的挖掘分为:个性挖掘、系统改进、站点修改、智能商务、Web特征描述

41.模式分析

信息获取的目的在于找到相关Web文档,它只是把文档中的数据看成未经排序的词组的集合;而信息抽取的目的在于从文档中找到所需要的数据项,它对文档的结构和所表达的含义感兴趣,它的一项重要任务就是对数据进行组织整理并适当建立索引

分类:

1.Microsoft 决策树算法

2.Microsoft Na?ve Bayes

3.Microsoft 聚类分析算法

4.Microsoft 神经网络算法

5.Microsoft时序算法

6.Microsoft顺序分析和聚类分析算法

7.Microsoft关联算法

8.Microsoft线性回归算法

9.Microsoft逻辑回归算法

第十章(当小说看)

数据仓库的数据质量

(一)数据质量的衡量标准、好处和问题 数据质量的好坏是决定一个数据仓库成功的关键,但是需要从那些方面衡量数据仓库中数据的质量呢?可以从下列方面衡量系统中的数据质量: 准确性:存储在系统中的关于一个数据元素的值是这个数据元素的正确值; 域完整性:一个属性的数值在合理且预定义的范围之内; 数据类型:一个数据属性的值通常是根据这个属性所定义的数据类型来存储的; 一致性:一个数据字段的形式和内容在多个源系统之间是相同的。 冗余性:相同的数据在一个系统中不能存储在超过一个地方; 完整性:系统中的属性不应该有缺失的值; 重复性:完全解决一个系统中记录的重复性的问题; 结构明确:在数据项的结构可以分成不同部分的任何地方,这个数据项都必须包含定义好的结构; 数据异常:一个字段必须根据预先定义的目的来使用; 清晰:一个数据元素必须有正确的定义,也就是需要一个正确的命名; 时效性:用户决定了数据的时效性; 有用性:数据仓库中的每一个数据元素必须满足用户的一些需求; 符合数据完整性的规则:源系统中的关系数据库中存储的数据必须符合实体完整性及参考完整性规则。 既然数据质量是成功的关键,那么,提高数据质量有那些好处: 对实时信息的分析:高质量的数据提供及时的信息,是为用户创造的一个重要益处;

更好的客户服务:完整而准确的信息能够大大提高客户服务的质量; 更多的机会:数据仓库中的高质量数据是一个巨大的市场机会,它给产品和部门之间的交叉销售打开了机会的大门; 减少成本和风险:如果数据质量不好,明显的风险就是战略决策可能会导致灾难性的后果。 提高生产率:用户可以从真个企业的角度来看待数据仓库的信息,而全面的信息促使流程和真个操作更顺畅, 从而提高生长率; 可靠的战略决策制定:如果数据仓库的数据是可靠而高质量的,那么基于这些信息进行的决策就是好的决策。 在数据处理过程中,会有那些数据质量问题: 字段中的虚假值 数据值缺失 对字段的非正规使用 晦涩的值 互相冲突的值 违反商业规则 主键重用 标志不唯一 不一致的值 不正确的值 一个字段多种用途

(完整word版)建设数据仓库的八个步骤

大数据技术部 建设数据仓库的八个步骤2017年04月25日编制

建设数据仓库的八个步骤 摘要: 建立数据仓库是一个解决企业问题的过程,业务人员往往不懂如何建立和使用数据仓库,发挥其决策支持的作用;信息部门的人员往往又不懂业务,不知道应该建立哪些决策主题。 关键词:数据仓库元数据 建设数据仓库 建立数据仓库是一个解决企业问题的过程,业务人员往往不懂如何建立和使用数据仓库,发挥其决策支持的作用;信息部门的人员往往又不懂业务,不知道应该建立哪些决策主题,从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成,双方需要相互沟通,协作开发数据仓库。 开发数据仓库的过程包括以下几个步骤。 1.系统分析,确定主题 建立数据仓库的第一个步骤就是通过与业务部门的充分交流,了解建立数据仓库所要解决的问题的真正含义,确定各个主题下的查询分析要求。 业务人员往往会罗列出很多想解决的问题,信息部门的人员应该对这些问题进行分类汇总,确定数据仓库所实现的业务功能。一旦确定问题以后,信息部门的人员还需要确定一下几个因素: ·操作出现的频率,即业务部门每隔多长时间做一次查询分析。 ·在系统中需要保存多久的数据,是一年、两年还是五年、十年。 ·用户查询数据的主要方式,如在时间维度上是按照自然年,还是财政年。 ·用户所能接受的响应时间是多长、是几秒钟,还是几小时。

由于双方在理解上的差异,确定问题和了解问题可能是一个需要多次往复的过程,信息部门的人员可能需要做一些原型演示给业务部门的人员看,以最终确定系统将要实现的功能确实是业务部门所需要的。 2.选择满足数据仓库系统要求的软件平台 在数据仓库所要解决的问题确定后,第二个步骤就是选择合适的软件平台,包括数据库、建模工具、分析工具等。这里有许多因素要考虑,如系统对数据量、响应时间、分析功能的要求等,以下是一些公认的选择标准: ·厂商的背景和支持能力,能否提供全方位的技术支持和咨询服务。 ·数据库对大数据量(TB级)的支持能力。 ·数据库是否支持并行操作。 ·能否提供数据仓库的建模工具,是否支持对元数据的管理。 ·能否提供支持大数据量的数据加载、转换、传输工具(ETT)。 ·能否提供完整的决策支持工具集,满足数据仓库中各类用户的需要。 3.建立数据仓库的逻辑模型 具体步骤如下: (1)确定建立数据仓库逻辑模型的基本方法。 (2)基于主题视图,把主题视图中的数据定义转到逻辑数据模型中。 (3)识别主题之间的关系。

数据仓库与数据挖掘课后习题答案

数据仓库与数据挖掘 第一章课后习题 一:填空题 1)数据库中存储的都是数据,而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2)数据仓库中的数据分为四个级别:早起细节级、当前细节级、轻度综合级、高度综合级。3)数据源是数据仓库系统的基础,是整个系统的数据源泉,通常包括业务数据和历史数据。4)元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5)数据处理通常分为两大类:联机事务处理和联机事务分析 6)Fayyad过程模型主要有数据准备,数据挖掘和结果分析三个主要部分组成。 7)如果从整体上看数据挖掘技术,可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8)那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9)按照挖掘对象的不同,将Web数据挖掘分为三类:web内容挖掘、web结构挖掘和web 使用挖掘。 10)查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层,它们各自的侧重点不同,因此适用范围和针对的用户也不相同。 二:简答题 1)什么是数据仓库?数据仓库的特点主要有哪些? 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支

持管理决策。 主要特点:面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 2)简述数据挖掘的技术定义。 从技术角度看,数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中,提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 3)什么是业务元数据? 业务元数据从业务角度描述了数据仓库中的数据,它提供了介于使用者和实际系统之间的语义层,使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 4)简述数据挖掘与传统分析方法的区别。 本质区别是:数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 5)简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构 c.单独的数据集市体系结构 d.分布式数据仓库结构

数据仓库数据库设计的心得总结

数据仓库数据库设计的心得总结 数据仓库是企业商业智能分析环境的核心,它是建立决策支持系统的基础。一个良好的数据仓库设计应该是构建商业智能和数据挖掘系统不懈的追求。下面把数据仓库数据库设计的心得做一小结。 一透彻理解数据仓库设计过程 商业智能和数据挖掘归根到底是“从实践中来,到实践中去”。也就是说现实需求决定系统需求,业务数据决定系统构架,最终使用的时候又必须作用于现实需求,同时通过决策的行为影响业务。那么可以把数据仓库的设计看做是前一部分,即“从实践中来”,数据仓库的应用可以看做是“到实践中去”。把“从实践中来”这个过程进行抽象,数据仓库的设计就是“客观世界→主观世界→关系世界”的过程。 在前面几节完成了6个任务:选择被建模主题的商业过程、确定事实表的粒度、区分每一个事实表的维和层、区分事实表的度量、确定每一个维表的属性、在D BMS中创建和管理数据仓库。实际上这些任务都可以归结到从客观世界到关系世界的过程。那么把这个过程再进行归纳,可以得到如图3-61所示的综合了模型、方法和过程的示意图。 图3-61 数据仓库设计过程的模型和方法示意图 二把握设计的关键环节

如果将时间、精力、金钱和人事优先花在前面的20%,那么这20%会创造出80% 的价值。这就是有名的2/8原则。下面将介绍在数据仓库设计中,哪些因素是属于这20%的范围。 1.需求 需求分析在任何如见项目中都是最为重要的因素之一。企业模型是从企业的各个视点对企业数据需求及数据间关系的抽象。通过将企业模型映射到数据库系统,可以很快地了解现有数据库系统完成了企业模型中的哪些部分,还缺少哪些部分。然后再将企业模型映射到数据仓库系统,发现企业需要的(或可以构造的)主题。通过这样的过程完成对企业数据需求和现有数据的了解,达到明了原有系统和需要建设的主题域间共性的目的。 2.关键性能指标(KPI) 一般而言,一个决策支持系统最重要的就是要呈现决策数据。而KPI就是决策过程中要显示的数据结果的部分,如销售数量、销售金额、毛利和运费等数值部分的数据。这些KPI是通过与相关的维表进行连接而映射出来的。在分析星形模式时,往往要首先确定KPI。 3.信息对象 信息对象是指在每个分析过程中那些会影响到决策的因素。以销售分析为例,时间、产品、员工与客户就是影响决策的大因子,而每个因子又可以分离出多个分层结构,如时间可分为年、季度、月、周和日等,员工可分为年龄层、年龄、年薪层、年薪和员工所在城市等,也就是影响决策的详细因子。这些都是信息对象。从这里我们可以看出,每个大因子如时间、产品、员工与客户等就可以构成如时间维表、产品维表、员工维表与客户维表等。而时间维表又可分为年、季度和日等字段。在分析和设计这些信息对象组成的维度时,需要注意维的唯一性和公用性,千万不要在不同的主题中定义多个表示同一内容的维,如果有可能,一个维表要尽量被多个主题共享。 4.数据粒度 在数据仓库的每个主题中,都必须考虑事实数据的粒度。粒度的具体划分将直接影响到数据仓库中的数据量及查询质量。在数据仓库开始进行分析时。就需要建立合适的数据粒度模型,指导数据仓库设计和其他问题的解决。如果数据粒度定义不当,将会影响数据仓库的使用效果,使数据仓库达不到设计数据仓库的目的。 5.数据之间的联系 在数据仓库中,不同主题的数据之间的物理约束或许不再存在,但无论这些数据如何变化,要知道必须有一些“键”在逻辑上保持着不同数据之间的联系,这样

数据仓库建设的几点建议.doc

北京甲骨文软件有限公司咨询经理鲁百年博士 一、国内信息化的现状 1、信息化建设的发展历史:在国内信息化建设过程中,基本上是按照当时业务系统的需求进行建设,例如:在一个企业中,财务部门为了减少工资发放的差错,提高发放的效率,先建设一个工资发放和管理程序;为了报账和核对的需求,建设一个财务管理程序;在银行首先为了业务处理的方便,将最基本的手工记帐和处理的业务建成一个系统,过一段时间,如果有新的业务推出,就再建设一个新的系统,或在原系统的基础上增加新的业务处理。这样的结果使每个系统和系统之间缺少真正的信息沟通和信息交换。 2、为何要建立数据仓库:前面我们讲过,业务系统各自为政,相互独立。当很多业务系统建立后,由于领导的要求和决策的需求,需要一些指标的分析,在相应的业务系统基础上再增加分析和相应的报表功能,这样每个系统就增加了报表和分析功能。但是,由于数据源不统一导致了对同一个指标分析的结果不相同。为了解决该问题,Bell Inman提出了数据仓库的概念,其目的是为了分析和决策的需要,将相互分离的业务系统的数据源整合在一起,可以为领导和决策层提供分析和辅助决策。 3、国内企业对数据仓库建设认识的误区: 大家对数据仓库的认识是将业务系统的数据进行数据抽取、迁移和加载(ETL),将这些数据进行整合存放在一起,统一管理,需要什么样的分析就可提供什么样的分析,这就是数据仓库。这样做的结果是花了一年到两年的时间都无法将整个企业业务系统的数据整合在一起,花钱多、见效慢、风险大。一年后领导问起数据仓库项目时,回答往往是资金不足,人力不够,再投入一些资源、或者再延长半年的时间就会见到效果,但是往往半年过后还是仅仅可以看到十几张或者几十张报表。领导不满意,项目负责人压力也很大,无法交待。这时,项目经理或者项目负责人才意识到,项目有问题,但是谁也不敢说项目有问题,因为这样显然是自己当时的决策失误。怎么办?寻找咨询公司或者一些大的厂商,答案往往是数据仓库缺乏数据模型,应该考虑数据模型。如果建设时考虑到整个企业的数据模型,就可以建设成企业级的数据仓库(EDW。什么是数据模型,就是满足整 个企业分析要求的所有数据源。结果会如何,我个人认为:这样做企业级数据仓

大数据仓库与大数据挖掘技术复习资料

数据仓库与数据挖掘技术复习资料 一、单项选择题 1.数据挖掘技术包括三个主要的部分( C ) A.数据、模型、技术 B.算法、技术、领域知识 C.数据、建模能力、算法与技术 D.建模能力、算法与技术、领域知识 2.关于基本数据的元数据是指: ( D ) A.基本元数据与数据源,数据仓库,数据集市和应用程序等结构相关的信息; B.基本元数据包括与企业相关的管理方面的数据和信息; C.基本元数据包括日志文件和简历执行处理的时序调度信息; D.基本元数据包括关于装载和更新处理,分析处理以及管理方面的信息。 3.关于OLAP和OLTP的说法,下列不正确的是: ( A) A.OLAP事务量大,但事务内容比较简单且重复率高 B.OLAP的最终数据来源与OLTP不一样 C.OLTP面对的是决策人员和高层管理人员 D.OLTP以应用为核心,是应用驱动的 4.将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?( C ) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘5.下面哪种不属于数据预处理的方法? ( D ) A.变量代换 B.离散化 C. 聚集 D. 估计遗漏值 6.在ID3 算法中信息增益是指( D ) A.信息的溢出程度 B.信息的增加效益 C.熵增加的程度最大 D.熵减少的程度最大 7.以下哪个算法是基于规则的分类器 ( A ) A. C4.5 B. KNN C. Bayes D. ANN 8.以下哪项关于决策树的说法是错误的( C ) A.冗余属性不会对决策树的准确率造成不利的影响 B.子树可能在决策树中重复多次 C.决策树算法对于噪声的干扰非常敏感 D.寻找最佳决策树是NP完全问题 9.假设收入属性的最小与最大分别是10000和90000,现在想把当前值30000映射到区间[0,1],若采用最大-最小数据规范方法,计算结果是( A )

数据仓库项目常见管理问题

1.项目管理问题 1.企业经历过两次失败的数据仓库建设,现在是第三次,人们普遍认为这次也将会失败。项目经理应该作些什么来消除人们对数据仓库的消极看法? 2.企业的业务系统方,即OLTP方的工作人员对数据仓库方不配合,比如对数据仓库的源数据申请置之不理。项目经理应该如何来应付这种情况? 3.企业的管理层变动较频繁,支持数据仓库的企业领导可能会离开,面对这种情况,项目经理应该如何应付? 4.企业雇佣一家咨询公司来实现一个数据仓库,但是企业的CIO认为数据仓库的建设是对其职位和权威的挑战,不断给咨询人员和项目设置障碍。咨询人员应该如何来应付这种情况? 5.企业管理层希望试验系统(原型系统)具有和生产系统相同级别的数据质量。项目经理应该如何做,才能让管理层相信,试验系统不必和生产系统具有相同级别的数据质量? 6.用户部门领导对共享数据不配合或者只在表面上配合。他们希望能够控制谁能查看什么数据以及什么时候可以查看。数据仓库团队怎样才能让部门领导把数据的访问权共享出来? 7.建立好的数据几乎满足所有的成功标准。但是企业的高级管理层对数据仓库的反应很冷淡。数据仓库团队应该如何应付这种情况? 2.项目需求问题 1.数据仓库项目已经开发了6个月的时间,在项目的开发过程中,数据仓库团队发现业务源系统正在被重写,业务系统在不断的变化,一个新的系统开发出来预计只有8个月的寿命。数据仓库团队应该如何应付这种情况? 2.源系统和数据仓库系统同期建设。但是源系统在不断的变化中,而且源系统的开发团队没有将变化告知数据仓库团队,数据仓库团队在测试过程中出现故障才发现这些变化。这种没有告知有可能是故意的。数据仓库团队应该如何来应付这种情况? 3.数据仓库项目开始时,企业制定了一套有效的数据仓库目标。但是,随着时间的流逝,企业又制定了一些决策,采取了一些行动,这些决策和行动与最初的目标背道而驰。数据仓库团队应该如何应付这种情况? 4.数据仓库项目进展十分顺利,但是根本没有办法判断项目将来是否能够成功。要想为数据仓库确立一个完全合适的目标是不可能的。企业应该如何来面对这种状况?

《数据仓库数据平台与数据中台对比》

数据仓库数据平台与数据中台对比 在大数据时代,凡是AI类项目的落地,都需要具备数据、算法、场景、计算力四个基本元素,缺一不可。处理大数据已经不能仅仅依靠计算力就能够解决问题,计算力只是核心的基础,还需要结合不同的业务场景与算法相互结合,沉淀出一个完整的智能化平台。数据中台就是以云计算为数据智能提供的基础计算力为前提,与大数据平台提供的数据资产能力与技术能力相互结合,形成数据处理的能力框架赋能业务,为企业做到数字化、智能化运营。 目前,外界与业内很多人对于数据中台的理解存在误区,一直只是在强调技术的作用,强调技术对于业务的推动作用,但在商业领域落地的层面上,更多时候技术的发展和演进都是需要跟着业务走,技术的发展和进步需要基于业务方的需求与数据场景应用化的探索来反向推动。这个也就是为什么最近知乎、脉脉都在疯传阿里在拆“大中台”?个人猜想,原因是没有真正理解中台的本质,其实阿里在最初建设数据中台的目的主要是为了提升效率和解决业务匹配度问题,最终达到降本增效,所以说“拆”是假的,在“拆”的同时一定在“合”,“拆”的一个方面是企业战略布局层面上的规划,架构升级,如果眼界不够高,格局不够大,看到的一定只是表面;另一方面不是由于组织架构庞大而做“拆”的动作,而是只有这样才能在效率和业务匹配度上,做到最大利益化的解耦。

数据中台出现的意义在于降本增效,是用来赋能企业沉淀业务能力,提升业务效率,最终完成数字化转型。前一篇数据中台建设的价值和意义,提到过企业需要根据自身的实际情况,打造属于自己企业独有的中台能力。 因为,数据中台本身绝对是不可复制的,从BCG矩阵的维度结合各家市场资源、市场环境、市场地位以及业务方向来看,几乎所有企业的战略目标都是不一样的。如果,有人说能把中台卖给你、对于中台的解读只讲技术,不讲业务,只讲产品,不讲业务,不以结合企业业务目标来解决效率和匹配度为目的的都有耍流氓嫌疑。数据中台的使命和愿景是让数据成为如水和电一般的资源,随需获取,敏捷自助,与业务更多连接,使用更低成本,通过更高效率的方式让数据极大发挥价值,推动业务创新与变革。 为了进一步统一大家的认知,更加清晰的认识数据中台出现的意义,本篇按顺序介绍如下: ? ? ? ? 数据中台演进的过程数据仓库、数据平台和数据中台的概念数据仓库、数据平台和数据中台的架构数据仓库、数据平台和数据中台的区别与联系

建设数据仓库7个步骤

成功实施数据仓库项目的七个步骤 建立一个数据仓库并不是一个简单的任务,不应该由一个人单独完成。由于数据仓库最佳结合了业务惯例和信息系统技术,因此,一个成功的数据仓库实施需要这两方面的不断协调,以均衡其所有的需要,要求,任务和成果。我很乐意与大家分享我在规划和管理任何数据库项目时采用的方法,这些数据库包括交易数据库,数据仓库,和混合型数据库。由于我生活在关系数据库和数据仓库以及用以支撑它们的数据提取,转换和加载(ETL )过程中,所以我会集中在这些领域讨论我的方法。然而,您可以将这些方法扩展到整个栈--OLAP立方体和如报告,特征分析(ad-hoc analysis),记分卡和仪表盘展示之类的信息传递应用。 我不是吃撑了要告诉一个真正的项目经理( PM )如何做他或她的工作,相反,我写的这些是为那些数据库管理员和开发者,他们没有好运气能与有经验的项目经理一起工作;同样也适合这样的IT专业人员,他们被突然要求:“建立一个数据仓库“,并且需要自己扮演项目经理的角色。我的讨论不会是完整的,但我希望这会给您足够的信息来让您的项目球滚起来。 如图1所示,数据仓库项目有3个轨道(tracks):数据轨道,技术轨道和应用层轨道。当您在整理任何数据库项目计划时,我建议您以这三个轨道为模板来管理和同步您的活动。当您向技术决策者( TDMs ) ,商业决策者( BDMs ) ,和所有其他该数据仓库项目参与者讲解您的计划时,您也可以把图1当作一个高级的概要图来使用。 使用一种生命周期管理方法 我鼓励您利用您的组织可以提供的资源,比如设计,开发和部署系统和软件的技术和方法。如果贵公司对于这些工作没有采用任何正式的方法,继续前进吧,您可采用我为我自己的数据库项目开发的7D数据库生

数据仓库与数据挖掘试题

武汉大学计算机学院 20XX级研究生“数据仓库和数据挖掘”课程期末考试试题 要求:所有的题目的解答均写在答题纸上,需写清楚题目的序号。每张答题纸都要写上姓名和学号。 一、单项选择题(每小题2分,共20分) 1. 下面列出的条目中,()不是数据仓库的基本特征。B A.数据仓库是面向主题的 B.数据仓库是面向事务的 C.数据仓库的数据是相对稳定的 D.数据仓库的数据是反映历史变化的 2. 数据仓库是随着时间变化的,下面的描述不正确的是()。 A.数据仓库随时间的变化不断增加新的数据内容 B.捕捉到的新数据会覆盖原来的快照 C.数据仓库随事件变化不断删去旧的数据内容C D.数据仓库中包含大量的综合数据,这些综合数据会随着时间的变化不断地进行重新综合 3. 以下关于数据仓库设计的说法中()是错误的。A A.数据仓库项目的需求很难把握,所以不可能从用户的需求出发来进行数据仓库的设计,只能从数据出发进行设计 B.在进行数据仓库主题数据模型设计时,应该按面向部门业务应用的方式来设计数据模型 C.在进行数据仓库主题数据模型设计时要强调数据的集成性 D.在进行数据仓库概念模型设计时,需要设计实体关系图,给出数据表的划分,并给出每个属性的定义域 4. 以下关于OLAP的描述中()是错误的。A A.一个多维数组可以表示为(维1,维2,…,维n) B.维的一个取值称为该维的一个维成员 C.OLAP是联机分析处理 D.OLAP是数据仓库进行分析决策的基础 5. 多维数据模型中,下列()模式不属于多维模式。D A.星型模式 B.雪花模式 C.星座模式 D.网型模式 6. 通常频繁项集、频繁闭项集和最大频繁项集之间的关系是()。C A.频繁项集?频繁闭项集?最大频繁项集 B.频繁项集?最大频繁项集?频繁闭项集 C.最大频繁项集?频繁闭项集?频繁项集 D.频繁闭项集?频繁项集?最大频繁项集

数据仓库与数据挖掘-教学大纲

《数据仓库与数据挖掘》教学大纲 一、课程概况 课程名称:数据仓库与数据挖掘 英文名称:Data warehousing and data mining 课程性质:选修 课程学时:32 课程学分:2 授课对象:信息类的大学本科高年级学生 开课时间:三年级下学期 讲课方式:课堂+实验 主讲老师: 二、教学目的 本课程把数据视为基础资源,根据软件工程的思想,总结了数据利用的历程,讲述了数据仓库的基础知识和工具,研究了数据挖掘的任务及其挑战,给出了经典的数据挖掘算法,介绍了数据挖掘的产品,剖析了税务数据挖掘的案例,探索了大数据的管理和应用问题。 三、教学任务 完成《数据仓库与数据挖掘》教材内容,及教学计划中的互动实践内容,另有学生自主选题的大作业、选作的论文报告。32学时:课堂24、实验2、课外2、研讨4学时。 四、教学内容的结构 课程由9个教学单元组成,对应于《数据仓库与数据挖掘》的内容。 第1章数据仓库和数据挖掘概述 1.1概述1 1.2数据中心4 1.2.1关系型数据中心 1.2.2非关系型数据中心

1.2.3混合型数据中心(大数据平台)1.3混合型数据中心参考架构 第2章数据 2.1数据的概念 2.2数据的内容 2.2.1实时数据与历史数据 2.2.2时态数据与事务数据 2.2.3图形数据与图像数据 2.2.4主题数据与全部数据 2.2.5空间数据 2.2.6序列数据和数据流 2.2.7元数据与数据字典 2.3数据属性及数据集 2.4数据特征的统计描述22 2.4.1集中趋势22 2.4.2离散程度23 2.4.3数据的分布形状25 2.5数据的可视化26 2.6数据相似与相异性的度量29 2.7数据质量32 2.8数据预处理32 2.8.1被污染的数据33 2.8.2数据清理35 2.8.3数据集成36 2.8.4数据变换37 2.8.5数据规约38 第3章数据仓库与数据ETL基础39 3.1从数据库到数据仓库39 3.2数据仓库的结构39 3.2.1两层体系结构41 3.2.2三层体系结构41 3.2.3组成元素42 3.3数据仓库的数据模型43 3.3.1概念模型43 3.3.2逻辑模型43 3.3.3物理模型46 3.4 ETL46 3.4.1数据抽取47 3.4.2数据转换48 3.4.3数据加载49 3.5 OLAP49 3.5.1维49 3.5.2 OLAP与OLTP49 3.5.3 OLAP的基本操作50

浅谈数据仓库中的元数据管理技术

浅谈数据仓库中的元数据管理技术 孙力君仇道霞方峻峰宋楠 山东省烟草公司信息中心 摘要:数据仓库是数据库的发展方向之一,对企业管理和决策支持起着重要的辅助作用。简要介绍了数据仓库和元数据的基本概念,重点阐述了元数据的概念、作用、CWM标准、来源,并就元数据具体应用进行了初步的研究和探讨。 关键词:数据仓库;元数据; 1. 引言 随着市场竞争的越来越激烈,烟草行业的信息化建设不断的深入发展,全行业形成了“以信息化带动烟草行业现代化建设”的基本共识,明确了“统一标准、统一平台、统一数据库、统一网络”,逐步实现系统集成、资源整合、信息共享的信息化建设总体要求,走过了“由基础性向应用性、由局部性向全局性、由分散性向集中性建设”的三个转变历程,初步形成了“数字烟草”的行业信息化建设格局,既对行业数据中心的建设提出了迫切的要求,也为行业数据中心建设奠定了坚实的基础。 随着数据库技术尤其是数据仓库技术的发展,人类能更容易获得自己需要的数据和信息,由于元数据是数据仓库中非常重要的组成部分,因此讨论和研究元数据在数据仓库中的作用和应用,具有非常重要的意义。 元数据管理是山东烟草数据中心建设的重要组成部分,元数据管理平台为用户提供高质量、准确、易于管理的数据,它贯穿数据中心构建、运行和维护的整

个生命周期。同时,在数据中心构建的整个过程中,数据源分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等环节,均需要通过相应的元数据的进行支撑。元数据管理的生命周期包括元数据获取和建立、元数据的存储、元数据浏览、元数据分析、元数据维护等部分。 通过元数据管理,形成整个系统信息数据资的准确视图,通过元数据的统一视图,缩短数据清理周期、提高数据质量以便能系统性地管理数据中心项目中来自各业务系统的海量数据,梳理业务元数据之间的关系,建立信息数据标准完善对这些数据的解释、定义,形成企业范围内一致、统一的数据定义,并可以对这些数据来源、运作情况、变迁等进行跟踪分析。完善数据中心的基础设施,通过精确把握经营数据来精确把握瞬息万变的市场竞争形式,使山东烟草在市场竞争中保持优势。 总的来说,元数据管理平台集成相关的元数据,形成企业的全局数据视图,提供企业级共享元数据的平台,是烟草业务系统的基础设施,对业务系统的发展、应用和数据质量的提升有着深远影响。 2.数据仓库概述 目前有关数据仓库的概念有多种,其中最经典的,引用最为广泛的定义是W.H.Inmon在《Building the Data Warehouse》一书中给出的,他指出:“数据仓库是面向主题的、集成的、随时间变化的、非易失的数据集合,用于支持管理层的决策过程”。[1] 之所以要引入数据仓库,是因为随着信息时代的到来,如何从大量已存在的数据中提取出自己所感兴趣的信息并进行分析和预测越来越成为企业管理者和决策者所关心的问题。为了更好的进行管理和决策,许多企业都选择了数据仓库,利用数据仓库可以对各种源数据进行抽取、清理、加工

数据仓库建设方案详细

第1章数据仓库建设 1.1数据仓库总体架构 专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据,经过一系列综合诊断分析,以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施,为车辆的故障根因修复提供必要的支持。 根据专家系统数据仓库建设目标,结合系统数据业务规,包括数据采集频率、数据采集量等相关因素,设计专家系统数据仓库架构如下: 数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的容: 数据采集:负责从各业务自系统中汇集信息数据,系统支撑Kafka、Storm、Flume

及传统的ETL采集工具。 数据存储:本系统提供Hdfs、Hbase及RDBMS相结合的存储模式,支持海量数据的分布式存储。 数据分析:数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。 数据服务总线:数据系统提供数据服务总线服务,实现对数据资源的统一管理和调度,并对外提供数据服务。 1.2数据采集 专家系统数据仓库数据采集包括两个部分容:外部数据汇集、部各层数据的提取与加载。外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层(ODS);部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。 1.2.1外部数据汇集 专家数据仓库数据源包括列车监控与检测系统(TCMS)、车载子系统等相关子系统,数据采集的容分为实时数据采集和定时数据采集两大类,实时数据采集主要对于各项检测指标数据;非实时采集包括日检修数据等。 根据项目信息汇集要求,列车指标信息采集具有采集数据量大,采集频率高的特点,考虑到系统后期的扩展,因此在数据数据采集方面,要求采集体系支持高吞吐量、高频率、海量数据采集,同时系统应该灵活可配置,可根据业务的需要进行灵活配置横向扩展。 本方案在数据采集架构采用Flume+Kafka+Storm的组合架构,采用Flume和ETL 工具作为Kafka的Producer,采用Storm作为Kafka的Consumer,Storm可实现对海量数据的实时处理,及时对问题指标进行预警。具体采集系统技术结构图如下:

数据仓库与数据挖掘习题

数据仓库与数据挖掘习题 1.1什么是数据挖掘?在你的回答中,强调以下问题: (a) 它是又一个骗局吗? (b) 它是一种从数据库,统计学和机器学习发展的技术的简单转换吗? (c) 解释数据库技术发展如何导致数据挖掘 (d) 当把数据挖掘看作知识发现过程时,描述数据挖掘所涉及的步骤。 1.2 给出一个例子,其中数据挖掘对于一种商务的成功至关重要的。这种商务需要什么数据挖掘功能?他们能够由数据查询处理或简单的统计分析来实现吗? 1.3 假定你是Big-University的软件工程师,任务是设计一个数据挖掘系统,分析学校课程数据库。该数据库包括如下信息:每个学生的姓名,地址和状态(例如,本科生或研究生),所修课程,以及他们累积的GPA(学分平均)。描述你要选取的结构。该结构的每个成分的作用是什么? 1.4 数据仓库和数据库有何不同?它们有那些相似之处? 1.5简述以下高级数据库系统和应用:面向对象数据库,空间数据库,文本数据库,多媒体数据库和WWW。 1.6 定义以下数据挖掘功能:特征化,区分,关联,分类,预测,聚类和演变分析。使用你熟悉的现实生活中的数据库,给出每种数据挖掘的例子。 1.7 区分和分类的差别是什么?特征化和聚类的差别是什么?分类和预测呢?对于每一对任务,它们有何相似之处? 1.8 根据你的观察,描述一种可能的知识类型,它需要由数据挖掘方法发现,但未在本章中列出。它需要一种不同于本章列举的数据挖掘技术吗? 1. 9 描述关于数据挖掘方法和用户交互问题的三个数据挖掘的挑战。 1. 10 描述关于性能问题的两个数据挖掘的挑战。 2.1 试述对于多个异种信息源的集成,为什么许多公司宁愿使用更新驱动的方法(构造使用数据仓库),而不愿使用查询驱动的方法(使用包装程序和集成程序)。描述一些情况,其中查询驱动方法比更新驱动方法更受欢迎。 2.2 简略比较以下概念,可以用例子解释你的观点 (a)雪花模式、事实星座、星型网查询模型 (b)数据清理、数据变换、刷新 (c)发现驱动数据立方体、多特征方、虚拟仓库 2.3 假定数据仓库包含三个维time,doctor和patient,两个度量count 和charge,其中charge 是医生对一位病人的一次诊治的收费。 (a)列举三种流行的数据仓库建模模式。 (b)使用(a)列举的模式之一,画出上面数据仓库的模式图。 (c)由基本方体[day,doctor,patient]开始,为列出2000年每位医生的收费总数,应当执行哪些OLAP操作? (d)为得到同样的结果,写一个SQL查询。假定数据存放在关系数据库中,其模式如下:fee(day,month,year,doctor,hospital,patient,count,charge) 2.4 假定Big_University的数据仓库包含如下4个维student, course, semester和instructor,2个度量count和avg_grade。在最低的概念层(例如对于给定的学生、课程、学期和教师的组合),度量avg_grade存放学生的实际成绩。在较高的概念层,avg_grade存放给定组合的

数据仓库与数据挖掘学习心得

数据仓库与数据挖掘学习心得 通过数据仓库与数据挖掘的这门课的学习,掌握了数据仓库与数据挖掘的一些基础知识和基本概念,了解了数据仓库与数据库的区别。下面谈谈我对数据仓库与数据挖掘学习心得以及阅读相关方面的论文的学习体会。 《浅谈数据仓库与数据挖掘》这篇论文主要是介绍数据仓库与数据挖掘的的一些基本概念。数据仓库是支持管理决策过程的、面向主题的、集成的、稳定的、不同时间的数据集合。主题是数据数据归类的标准,每个主题对应一个客观分析的领域,他可为辅助决策集成多个部门不同系统的大量数据。数据仓库包含了大量的历史数据,经集成后进入数据仓库的数据极少更新的。数据仓库内的数据时间一般为5年至10年,主要用于进行时间趋势分析。数据仓库的数据量很大。 数据仓库的特点如下: 1、数据仓库是面向主题的; 2、数据仓库是集成的,数据仓库的数据有来自于分散的操作型数据,将所需数据从原来的数据中抽取出来,进行加工与集成,统一与综合之后才能进入数据仓库; 3、数据仓库是不可更新的,数据仓库主要是为决策分析提供数据,所涉及的操作主要是数据的查询; 4、数据仓库是随时间而变化的,传统的关系数据库系统比较适合处理格式化的数据,能够较好的满足商业商务处理的需求,它在商业领域取得了巨大的成功。

作为一个系统,数据仓库至少包括3个基本的功能部分:数据获取:数据存储和管理;信息访问。 数据挖掘的定义:数据挖掘从技术上来说是从大量的、不完全的、有噪音的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程。 数据开采技术的目标是从大量数据中,发现隐藏于其后的规律或数据间的的关系,从而服务于决策。数据挖掘的主要任务有广义知识;分类和预测;关联分析;聚类。 《数据仓库与数据挖掘技术在金融信息化中的应用》论文主要通过介绍数据额仓库与数据挖掘的起源、定义以及特征的等方面的介绍引出其在金融信息化中的应用。在金融信息化的应用方面,金融机构利用信息技术从过去积累的、海量的、以不同形式存储的数据资料里提取隐藏着的许多重要信息,并对它们进行高层次的分析,发现和挖掘出这些数据间的整体特征描述及发展趋势预测,找出对决策有价值的信息,以防范银行的经营风险、实现银行科技管理及银行科学决策。 现在银行信息化正在以业务为中心向客户为中心转变6银行信息化不仅是数据的集中整合,而且要在数据集中和整合的基础上向以客为中心的方向转变。银行信息化要适应竞争环境客户需求的变化,创造性地用信息技术对传统过程进行集成和优化,实现信息共享、资源整合综合利用,把银行的各项作用统一起来,优势互补统一调配各种资源,为银行的客户开发、服务、综理财、管理、风险防范创立坚实的基础,从而适应日益发展的数据技术需要,全面提高银行竞争力,为金融创新和提高市场反映能力

数据仓库中元数据的管理

数据仓库中元数据的管理M etadata M anagem en t i n a Data W arehouse 同济大学计算机科学与工程系(上海200092) 史金红 吴永明 【摘要】 介绍了数据仓库中四种基本类型的元数据,说明了不同类型元数据的收集和维护方法,并着重对分布式元数据的集成和管理进行了详细的阐述。 关键词:数据仓库,数据商场,决策支持,元数据 【Abstract】 T h is p ap er in troduces fou r typ es of m etadata and the m ethods of co llecting and m ain tain ing them.It focu ses on the m etadata m anagem en t and in tegrity. Key words: da ta warehouse,da ta mart, dec ision support,m etada ta 1 引言 随着社会的发展和计算机技术的进步,人们已不满足于用计算机只作简单的数据处理和事务处理。进一步用现有的数据进行分析和推理,从而为决策提供依据的需求导致了决策支持系统(D SS)的出现。90年代以来计算机技术、网络技术和数据库技术的迅速发展为D SS提供了必要的技术环境, OL T P和办公自动化普遍应用积累的大量数据为D SS提供了必要的数据基础,日趋激烈的市场竞争促进了各级管理和决策人员对D SS的实际需求,因此自从1991年W.H.Inm on提出数据仓库的概念和1993年E.F.Codd提出OLA P概念以来,已有许多商品化的数据仓库管理系统和联机分析处理工具软件面市。以上诸因素的共同作用促成许多公司、机构纷纷为提高自己的竞争能力建立数据仓库系统以进行决策支持。 元数据是成功的数据仓库的重要组成部分,它可以帮助数据仓库项目小组明确而全面地理解潜在数据源的物理布局以及所有数据元的业务定义,帮助数据仓库用户有效地使用仓库中的信息,帮助数据库管理员了解某些表的变化将对数据仓库产生怎样的影响以及不同商业过程对应的应用等等。项目小组在开发过程中应当识别元数据并将它收入到元数据商店中,实施适当的过程捕作企业数据结构和应用的变化,从而修改相应的元数据,并向用户提供适当的工具访问元数据。 2 元数据的基本类型 元数据按照其用户可以分为技术元数据和商业元数据。技术元数据提供给数据仓库的技术人员,数据仓库技术人员在仓库的开发和维护中使用这类元数据。商业元数据是商业用户在仓库中寻找他们所需商业信息的一个辅助。但是,技术人员可能也需要访问几种类型的商业元数据,如和商业用户讨论信息需求和建立企业的数据模型。同样,商业用户也需要尝试高水平的技术元数据。 元数据按其内容可以分为四个基本类型: 1)关于数据仓库潜在数据来源的信息,包括现有的业务系统、可得到的外部数据和目前手工维护的信息。例如,一个组织可以从中识别数据来源的潜在仓库数据源有:几个现有的应用程序,由财务部门保存的基于PC机的电子报表,从某一卖主处购买的销售数据,目前由顾客服务部门在纸上保存的顾客联系记录。 2)关于数据模型的信息,包括业务实体、关系、企业规则和企业数据模型。 3)关于业务数据与仓库数据结构间的映射信息。只要那些来源中的一个数据元与仓库建立了映射关系,就应该记录下这些数据元间的逻辑联系以及发生的任何变换或变动。 4)关于数据仓库中信息的使用情况。了解这类信息对更好地调整仓库性能、更多地利用现有查询以及理解仓库中的信息怎样用于解决企业问题是很重要的。 3 元数据的收集和维护 在适当的时间收集适当的元数据是成功实施元数据驱动的数据仓库的基础。为保证较高的准确

《××项目数据仓库数据质量报告》

版本号: 数据仓库数据质量报告 项目名称:

变更记录 变更审阅

一、引言 1.编写目的 这部分说明文档编写目的,描述本系统特点及使用数据仓库技术实现的业务目标。 2.背景 这部分是项目背景描述。 3.参考资料 这部分列出本文档引用资料的名称,并说明文档上下级关系。 4.术语定义及说明 这部分列出本文档中使用的术语定义、缩写及其全名。 二、数据质量评估工作范围 1.本次数据质量评估的目标 这部分明确本次数据质量评估的目标,这些目标可能包括: ●识别数据质量的关键问题,以使这些问题可以通过源数据系统数据弥补、数据补充系统或者是ETL流程进行清洗等手段解决 ●建立管理和控制机制,并使之能在短期和长期均发挥监控数据环境的作用 ●建立在信贷信息数据仓库中管理及维护数据的长期计划 2.本次项目确定的数据质量标准 这部分将《软件需求说明书》中制定本项目数据质量标准复制到这里,作为本次数据质量评估交付时的标准。 3.参与本次评估的人员组成 这部分详细说明参与本次数据质量评估的人员组成和职责分工。 4.数据质量评估方法 这部分说明本次项目使用的数据质量评估方法,包括记录评估结果的表格样式、数据质量评估工作的流程、数据质量评估结果的认证流程、评估结果的交付流程等。

三、数据质量评估结果 1.数据源数据质量评估结果 这部分将《初级数据质量分析报告》作为附件添加到文档后。 2.数据仓库数据清洗转换规则 这部分根据《初级数据质量分析报告》的结果记录数据仓库数据清洗转换的规则,只针对重点数据域设计作出说明。 四、数据质量监控维护方案 1.数据质量监控团队组织 这部分将尽可能地定义数据质量监控团队人员的组成、角色和分工。 2.数据仓库数据质量问题管理 这部分记录明确执行数据仓库数据质量监控和修改流程的触发条件,包括质量问题的类型及质量分类的标准等。 3.数据仓库数据质量监控管理计划 这部分是针对可以预见的数据质量问题提出监控管理的计划,包括沟通途径、会议计划、管理流程等。 4.数据仓库数据质量修正方案 这部分将可能使用的数据质量修正方案列在其中,必要时需要提供详细的数据修改流程和计算公式。通用的修正方案包括在数据源中修改、在ETL程序中修改、在数据仓库里修改和使用数据补录程序修改。

数据仓库与数据挖掘课后习题答案

数据仓库与数据挖掘课后习 题答案 -标准化文件发布号:(9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII

数据仓库与数据挖掘 第一章课后习题 一:填空题 1)数据库中存储的都是数据,而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2)数据仓库中的数据分为四个级别:早起细节级、当前细节级、轻度综合级、高度综合级。 3)数据源是数据仓库系统的基础,是整个系统的数据源泉,通常包括业务数据和历史数据。 4)元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5)数据处理通常分为两大类:联机事务处理和联机事务分析 6)Fayyad过程模型主要有数据准备,数据挖掘和结果分析三个主要部分组成。 7)如果从整体上看数据挖掘技术,可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8)那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9)按照挖掘对象的不同,将Web数据挖掘分为三类:web内容挖掘、web结构挖掘和web使用挖掘。 10)查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层,它们各自的侧重点不同,因此适用范围和针对的用户也不相同。 二:简答题 1)什么是数据仓库数据仓库的特点主要有哪些 2) 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。 主要特点:面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 3)简述数据挖掘的技术定义。 从技术角度看,数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中,提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 4)什么是业务元数据? 业务元数据从业务角度描述了数据仓库中的数据,它提供了介于使用者和实际系统之间的语义层,使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 5)简述数据挖掘与传统分析方法的区别。 本质区别是:数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 6)简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构

相关主题
相关文档 最新文档