数据仓库构建实施方法及步骤
数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。
数据仓库系统的原始需求不明确，且不断变化与增加，开发者最初不能确切了解到用户的明确而详细的需求，用户所能提供的无非是需求的大的方向以及部分需求，更不能较准确地预见到以后的需求。因此，采用原型法来进行数据仓库的开发是比较合适的，因为原型法的思想是从构建系统的简单的基本框架着手，不断丰富与完善整个系统。但是，数据仓库的设计开发又不同于一般意义上的原型法，数据仓库的设计是数据驱动的。这是因为数据仓库是在现存数据库系统基础上进行开发，它着眼于有效地抽取、综合、集成和挖掘已有数据库的数据资源，服务于企业高层领导管理决策分析的需要。但需要说明的是，数据仓库系统开发是一个经过不断循环、反馈而使系统不断增长与完善的过程，这也是原型法区别于系统生命周期法的主要特点。因此，在数据仓库的开发的整个过程中，自始至终要求决策人员和开发者的共同参与和密切协作，要求保持灵活的头脑，不做或尽量少做无效工作或重复工作。
数据仓库的设计大体上可以分为以下几个步骤：
概念模型设计；
技术准备工作；
逻辑模型设计；
物理模型设计；
数据仓库生成；
数据仓库运行与维护。
下面我们六个主要设计步骤为主线，介绍在各个设计步骤中设计的基本内容。
第一节概念模型设计
进行概念模型设计所要完成的工作是：
<1>界定系统边界
<2>确定主要的主题域及其内容
概念模型设计的成果是，在原有的数据库的基础上建立了一个较为稳固的概念模型。因为数据仓库是对原有数据库系统中的数据进行集成和重组而形成的数据集合，所以数据仓库的概念模型设计，首先要对原有数据库系统加以分析理解，看在原有的数据库系统中“有什么”、“怎样组织的”和“如何分布的”等，然后再来考虑应当如何建立数据仓库系统的概念模型。一方面，通过原有的数据库的设计文档以及在数据字典中的数据库关系模式，可以对企业现有的数据库中的内容有一个完整而清晰的认识；另一方面，数据仓库的概念模型是面向企业全局建立的，它为集成来自各个面向应用的数据库的数据提供了统一的概念视图。
概念模型的设计是在较高的抽象层次上的设计，因此建立概念模型时不用考虑具体技术条件的限制。
1 界定系统的边界
数据仓库是面向决策分析的数据库，我们无法在数据仓库设计的最初就得到详细而明确的需求，但是一些基本的方向性的需求还是摆在了设计人员的面前：
·要做的决策类型有哪些?
·决策者感兴趣的是什么问题?
·这些问题需要什么样的信息?
·要得到这些信息需要包含原有数据库系统的哪些部分的数据?
这样，我们可以划定一个当前的大致的系统边界，集中精力进行最需要的部分的开发。因而，从某种意义上讲，界定系统边界的工作也可以看作是数据仓库系统设计的需求分析，因为它将决策者的数据分析的需求用系统边界的定义形式反映出来。
2 确定主要的主题域
在这一步中，要确定系统所包含的主题域，然后对每个主题域的内容进行较明确的描述，描述的内容包括：
· 主题域的公共码键；
· 主题域之间的联系；
· 充分代表主题的属性组。
第二节技术准备工作
这一阶段的工作包括：技术评估，技术环境准备。
这一阶段的成果是：技术评估报告、软硬件配置方案、系统(软、硬件)总体设计方案。管理数据仓库的技术要求与管理操作型环境中的数据与处理的技术要求区别很大，两者所考虑的方面也不同。我们之所以在一般情况下总是将分析型数据与操作型数据分离开来，将分析型数据单独集中存放，也就是用数据仓库来存放，技术要求上的差异是一个重要原因。
1技术评估
进行技术评估，就是确定数据仓库的各项性能指标。一般情况下，需要在这一步里确定的性能指标包括：
·管理大数据量数据的能力；
·进行灵活数据存取的能力；
·根据数据模型重组数据的能力；
·透明的数据发送和接收能力；
·周期性成批装载数据的能力；
·可设定完成时间的作业管理能力。
2 技术环境准备
一旦数据仓库的体系化结构的模型大体建好后，下一步的工作就是确定我们应该怎样来装配这个体系化结构模型，主要是确定对软硬件配置的要求；我们主要考虑相关的问题：
·预期在数据仓库上分析处理的数据量有多大?
·如何减少或减轻竞争性存取程序的冲突?
·数据仓库的数据量有多大?
·进出数据仓库的数据通信量有多大?等等。
根据这些考虑，我们就可以确定各项软硬件的配备要求，并且在这一步工作结束时各项技术准备工作应已就绪，可以装载数据了。这些配备有：
·直接存取设备(DASD)；
·网络；
·管理直接存取设备(DASD)的操作系统；
·进出数据仓库的界面(主要是数据查询和分析工具)；
管理数据仓库的软件，目前即选用数据库管理系统及有关的选件，购买的DBMS产品不能满足管理数据仓库需要的，还应考虑自己或软件集成商开发有关模块等等。
第三节逻辑模型设计
在这一步里进行的工作主要有：
分析主题域，确定当前要装载的主题；
确定粒度层次划分；
确定数据分割策略；
关系模式定义；
记录系统定义
逻辑模型设计的成果是，对每个当前要装载的主题的逻辑实现进行定义，并将相关内容记录在数据仓库的元数据中，包括：
·适当的粒度划分；
·合理的数据分割策略；
·适当的表划分；
·定义合适的数据来源等。
1 分析主题域
在概念模型设计中，我们确定了几个基本的主题域，但是，数据仓库的设计方法是一个逐步求精的过程，在进行设计时，一般是一次一个主题或一次若干个主题地逐步完成的。所以，我们必须对概念模型设计步骤中确定的几个基本主题域进行分析，并选择首先要实施的主题域。选择第一个主题域所要考虑的是它要足够大，以便使得该主题域能建设成为一个可应用的系统；它还要足够小，以便于开发和较快地实施。如果所选择的主题域很大并且很复杂，我们甚至可以针对它的一个有意义的子集来进行开发。在每一次的反馈过程中，都要进行主题域的分析。
2 粒度层次划分
数据仓库逻辑设计中要解决的一个重要问题是决定数据仓库的粒度划分层次，粒度层次划分适当与否直接影响到数据仓库中的数据量和所适合的查询类型。确定数据仓库的粒度划分，可以使用在粒度划分一节中介绍的方法，通过估算数据行数和所需的DASD数，来确定是采用单一粒度还是多重粒度，以及粒度划分的层次。
3 确定数据分割策略
在这一步里，要选择适当的数据分割的标准，一般要考虑以下几方面因素：数据量(而非记录行数)、数据分析处理的实际情况、简单易行以及粒度划分策略等。数据量的大小是决定是否进行数据分割和如何分割的主要因素；数据分析处理的要求是选择数据分割标准的一个主要依据，因为数据分割是跟数据分析处理的对象紧密联系的；我们还要考虑到所选择的数据分割标准应是自然的、易于实施的：同时也要考虑数据分割的标准与粒度划分层次是适应的。
4 关系模式定义
数据仓库的每个主题都是由多个表来实现的，这些表之间依靠主题的公共码键联系在一起，形成一个完整的主题。在概念模型设计时，我们就确定了数据仓库的基本主题，并对每个主题的公共码键、基本内容等做了描述在这一步里，我们将要对选定的当前实施的主题进行模式划分，形成多个表，并确定各个表的关系模式。
第四节物理模型设计
这一步所做的工作是确定数据的存储结构，确定索引策略，确定数据存放位置，确定存储分配。
确定数据仓库实现的物理模型，要求设计人员必须做到以下几方面：要全面了解所选用的数据库管理系统，特别是存储结构和存取方法。了解数据环境、数据的使用频度、使用方式、数据规模以及响应时间要求等，这些是对时间和空间效率进行平衡和优化的重要依据。
了解外部存储设备的特性，如分块原则，块大小的规定，设备的I/O特性等。
1 确定数据的存储结构
一个数据库管理系统往往都提供多种存储结构供设计人员选用，不同的存储结构有不同的实现方式，各有各的适用范围和优缺点，设计人员在选择合适的存储结构时应该权衡三个方面的主要因素：存取时间、存储空间利用率和维护代价。
2 确定索引策略
数据仓库的数据量很大，因而需要对数据的存取路径进行仔细的设计和选择。由于数据仓库的数据都是不常更新的，因而可以设计多种多样的索引结构来提高数据存取效率。
在数据仓库中，设计人员可以考虑对各个数据存储建立专用的、复杂的索引，以获得最高的存取效率，因为在数据仓库中的数据是不常更新的，也就是说每个数据存储是稳定的，因而虽然建立专用的、复杂的索引有一定的代价，但一旦建立就几乎不需维护索引的代价。
3 确定数据存放位置
我们说过，同一个主题的数据并不要求存放在相同的介质上。在物理设计时，我们常常要按数据的重要程度、使用频率以及对响应时间的要求进行分类，并将不同类的数据分别存储在不同的存储设备中。重要程度高、经常存取并对响应时间要求高的数据就存放在高速存储设备上，如硬盘；存取频率低或对存取响应时间要求低的数据则可以放在低速存储设备上，如磁盘或磁带。
数据存放位置的确定还要考虑到其它一些方法，如：决定是否进行合并表；是否对一些经常性的应用建立数据序列；对常用的、不常修改的表或属性是否冗余存储。如果采用了这些技术，就要记入元数据。
4 确定存储分配
许多数据库管理系统提供了一些存储分配的参数供设计者进行物理优化处理，如：块的尺寸、缓冲区的大小和个数等等，它们都要在物理设计时确定。这同创建数据库系统时的考虑是一样的。
第五节数据仓库的生成
在这一步里所要做的工作是接口编程，数据装入。
这一步工作的成果是，数据已经装入到数据仓库中，可以在其上建立数据仓库的应用，即DSS应用。
1 设计接口
将操作型环境下的数据装载进入数据仓库环境，需要在两个不同环境的记录系统之间建立一个接口。乍一看，建立和设计这个接口，似乎只要编制一个抽取程序就可以了，事实上，在这一阶段的工作中，的确对数据进行了抽取，但抽取并不是全部的工作，这一接口还应具有以下的功
·从面向应用和操作的环境生成完整的数据；
·数据的基于时间的转换；
·数据的凝聚；
·对现有记录系统的有效扫描，以便以后进行追加。
当然，考虑这些因素的同时，还要考虑到物理设计的一些因素和技术条件限制，根据这些内容，严格地制定规格说明，然后根据规格说明，进行接口编程。从操作型环境到数据仓库环境的数据接口编程的过程和一般的编程过程并无区别，它也包括伪码开发、编码、编译、检错、测试等步骤。
在接口编程中，要注意：
·保持高效性，这也是一般的编程所要求的；
·要保存完整的文档记录；
·要灵活，易于改动；
·要能完整、准确地完成从操作型环境到数据仓库环境的数据抽取、转换与集成。
2 数据装入
在这一步里所进行的就是运行接口程序，将数据装入到数据仓库中。主要的工作是：
·确定数据装入的次序；
·清除无效或错误数据；
·数据“老化” ；
·数据粒度管理；
·数据刷新等。
最初只使用一部分数据来生成第一个主题域，使得设计人员能够轻易且迅速地对已做工作进行调整，而且能够尽早地提交到下一步骤，即数据仓库的使用和维护。这样既可以在经济上最快地得到回报，又能够通过最终用户的使用、尽早发现一些问题并提出新的需求，然后反馈给设计人员，设计人员继续对系统改进、扩展。
第六节数据仓库的使用和维护
在这一步中所要做的工作有建立DSS应用，即使用数据仓库理解需求，调整和完善系统，维护数据仓库。建立企业的体系化环境，不仅包括建立起操作型和分析型的数据环境，还应包括在这一数据环境中建立起企业的各种应用。数据仓库装入数据之后，下一步工作是：一方面，使用数据仓库中的数据服务于决策分析的目的，也就是在数据仓库中建立起DSS应用；另一方面，根据用户使用情况和反馈来的新的需求，开发人员进一步完善系统，并管理数据仓库的一些日常活动，如刷新数据仓库的当前详细数据、将过时的数据转化成历史数据、清除不再使用的数据、调整粒度级别等。我们把这一步骤称为数据仓库的使用与维护。
1 建立DSS应用
使用数据仓库，即开发DSS应用，与在操作型环境中的应用开发有着本质区别，开发DSS应用不同于联机事务处理应用开发的显著特点在于：·DSS应用开发是从数据出发的；
·DSS应用的需求不能在开发初期明确了解；
·DSS应用开发是一个不断循环的过程，是启发式的开发。
DSS应用主要可分为两类：例行分析处理和启发式分析处理。例行分析处理是指那些重复进行的分析处理，它通常是属于部门级的应用，如部门统计分析，报表分析等等；而个人级的分析应用经常是随机性很大的，企业经营者受到某种信息启发而进行的一些即席的分析处理，所以我们称之为启发式的分析处理。
DSS应用开发的大致步骤如下：
步骤l--确定所需的数据。为满足DSS应用的要求，我们必须从数据仓库中确定一个可能用到的数据范围。这是一个试探的过程。
步骤2--编程抽取数据。根据上面得到的数据范围，编写一个抽取程序来获得这些数据。为适应分析需求多变的特点，要求所编写的抽取程序应该通用，易于修改。
步骤3--合并数据。如果有多个数据抽取源，要将抽取来的数据进行合并、提炼，使数据符合分析处理的要求。
步骤4--分析数据。在上步准备好的数据基础上进行分析处理，并看所得的结果是否满足了原始的要求，如果不能满足，则返回步骤1，开始新的一次循环，否则就准备最终分析结果报告。
步骤5--回答问题。生成最终分析结果报告。-般情况下，最终的分析结果报告是在许多次的循环后得到的，因为一次分析处理很少是在一次循环后就完成的。
步骤6--例行化、一次分析处理的最后、我们要决定是否将在上面已经建立的分析处理例行化。如果建立的分析处理是重复进行的部门级的DSS应用，那么最好是将它例行化，这样在进行下一次同样的分析处理时，不必再重复上述六步的循环过程。而且，不断地积累这种例行处理，形成一个集合，我们就可以通过组合这些已有的处理来生成新的一个较大的复杂处理，或完成一个复杂处理的一部分。
2 理解需求，改善和完善系统，维护数据仓库
数据仓库的开发是逐步完善的原型法的开发方法，它要求：要尽快地让系统运行起来，尽早产生效益；要在系统运行或使用中，不断地理解需求，改善系统；不断地考虑新的需求，完善系统。
维护数据仓库的工作主要是管理日常数据装入的工作，包括刷新数据仓库的当前详细数据，将过时的数据转化成历史数据.清除不再使用的数据，管理元数据，等等；另外，如何利用接口定期从操作型环境向数据仓库追加数据，确定数据仓库的数据刷新频率，等等。
2.5数据仓库模型的设计 数据仓库模型的设计大体上可以分为以下三个层面的设计151: .概念模型设计; .逻辑模型设计; .物理模型设计; 下面就从这三个层面分别介绍数据仓库模型的设计。 2.5.1概念模型设计 进行概念模型设计所要完成的工作是: <1>界定系统边界 <2>确定主要的主题域及其内容 概念模型设计的成果是，在原有的数据库的基础上建立了一个较为稳固的概念模型。因为数据仓库是对原有数据库系统中的数据进行集成和重组而形成的数据集合，所以数据仓库的概念模型设计，首先要对原有数据库系统加以分析理解，看在原有的数据库系统中“有什么”、“怎样组织的”和“如何分布的”等，然后再来考虑应当如何建立数据仓库系统的概念模型。一方面，通过原有的数据库的设计文档以及在数据字典中的数据库关系模式，可以对企业现有的数据库中的内容有一个完整而清晰的认识;另一方面，数据仓库的概念模型是面向企业全局建立的，它为集成来自各个面向应用的数据库的数据提供了统一的概念视图。 概念模型的设计是在较高的抽象层次上的设计，因此建立概念模型时不用考虑具体技术条件的限制。 1.界定系统的边界 数据仓库是面向决策分析的数据库，我们无法在数据仓库设计的最初就得到详细而明确的需求，但是一些基本的方向性的需求还是摆在了设计人员的面前: . 要做的决策类型有哪些? . 决策者感兴趣的是什么问题? . 这些问题需要什么样的信息? . 要得到这些信息需要包含原有数据库系统的哪些部分的数据? 这样，我们可以划定一个当前的大致的系统边界，集中精力进行最需要的部分的开发。因而，从某种意义上讲，界定系统边界的工作也可以看作是数据仓库系统设计的需求分析，因为它将决策者的数据分析的需求用系统边界的定义形式反映出来。 2，确定主要的主题域 在这一步中，要确定系统所包含的主题域，然后对每个主题域的内
大数据技术部 建设数据仓库的八个步骤2017年04月25日编制
建设数据仓库的八个步骤 摘要： 建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题。 关键词：数据仓库元数据 建设数据仓库 建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题，从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成，双方需要相互沟通，协作开发数据仓库。 开发数据仓库的过程包括以下几个步骤。 1.系统分析，确定主题 建立数据仓库的第一个步骤就是通过与业务部门的充分交流，了解建立数据仓库所要解决的问题的真正含义，确定各个主题下的查询分析要求。 业务人员往往会罗列出很多想解决的问题，信息部门的人员应该对这些问题进行分类汇总，确定数据仓库所实现的业务功能。一旦确定问题以后，信息部门的人员还需要确定一下几个因素： ·操作出现的频率，即业务部门每隔多长时间做一次查询分析。 ·在系统中需要保存多久的数据，是一年、两年还是五年、十年。 ·用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。 ·用户所能接受的响应时间是多长、是几秒钟，还是几小时。
由于双方在理解上的差异，确定问题和了解问题可能是一个需要多次往复的过程，信息部门的人员可能需要做一些原型演示给业务部门的人员看，以最终确定系统将要实现的功能确实是业务部门所需要的。 2.选择满足数据仓库系统要求的软件平台 在数据仓库所要解决的问题确定后，第二个步骤就是选择合适的软件平台，包括数据库、建模工具、分析工具等。这里有许多因素要考虑，如系统对数据量、响应时间、分析功能的要求等，以下是一些公认的选择标准： ·厂商的背景和支持能力，能否提供全方位的技术支持和咨询服务。 ·数据库对大数据量（TB级）的支持能力。 ·数据库是否支持并行操作。 ·能否提供数据仓库的建模工具，是否支持对元数据的管理。 ·能否提供支持大数据量的数据加载、转换、传输工具（ETT）。 ·能否提供完整的决策支持工具集，满足数据仓库中各类用户的需要。 3.建立数据仓库的逻辑模型 具体步骤如下： （1）确定建立数据仓库逻辑模型的基本方法。 （2）基于主题视图，把主题视图中的数据定义转到逻辑数据模型中。 （3）识别主题之间的关系。
北京甲骨文软件有限公司咨询经理鲁百年博士 一、国内信息化的现状 1、信息化建设的发展历史：在国内信息化建设过程中，基本上是按照当时业务系统的需求进行建设，例如：在一个企业中，财务部门为了减少工资发放的差错，提高发放的效率，先建设一个工资发放和管理程序；为了报账和核对的需求，建设一个财务管理程序；在银行首先为了业务处理的方便，将最基本的手工记帐和处理的业务建成一个系统，过一段时间，如果有新的业务推出，就再建设一个新的系统，或在原系统的基础上增加新的业务处理。这样的结果使每个系统和系统之间缺少真正的信息沟通和信息交换。 2、为何要建立数据仓库：前面我们讲过，业务系统各自为政，相互独立。当很多业务系统建立后，由于领导的要求和决策的需求，需要一些指标的分析，在相应的业务系统基础上再增加分析和相应的报表功能，这样每个系统就增加了报表和分析功能。但是，由于数据源不统一导致了对同一个指标分析的结果不相同。为了解决该问题，Bell Inman提出了数据仓库的概念，其目的是为了分析和决策的需要，将相互分离的业务系统的数据源整合在一起，可以为领导和决策层提供分析和辅助决策。 3、国内企业对数据仓库建设认识的误区： 大家对数据仓库的认识是将业务系统的数据进行数据抽取、迁移和加载（ETL），将这些数据进行整合存放在一起，统一管理，需要什么样的分析就可提供什么样的分析，这就是数据仓库。这样做的结果是花了一年到两年的时间都无法将整个企业业务系统的数据整合在一起，花钱多、见效慢、风险大。一年后领导问起数据仓库项目时，回答往往是资金不足，人力不够，再投入一些资源、或者再延长半年的时间就会见到效果，但是往往半年过后还是仅仅可以看到十几张或者几十张报表。领导不满意，项目负责人压力也很大，无法交待。这时，项目经理或者项目负责人才意识到，项目有问题，但是谁也不敢说项目有问题，因为这样显然是自己当时的决策失误。怎么办？寻找咨询公司或者一些大的厂商，答案往往是数据仓库缺乏数据模型，应该考虑数据模型。如果建设时考虑到整个企业的数据模型，就可以建设成企业级的数据仓库（EDW。什么是数据模型，就是满足整 个企业分析要求的所有数据源。结果会如何，我个人认为：这样做企业级数据仓
第1章数据仓库建设 1.1数据仓库总体架构 专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。 根据专家系统数据仓库建设目标，结合系统数据业务规，包括数据采集频率、数据采集量等相关因素，设计专家系统数据仓库架构如下： 数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的容： 数据采集：负责从各业务自系统中汇集信息数据，系统支撑Kafka、Storm、Flume
及传统的ETL采集工具。 数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。 数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。 数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理和调度，并对外提供数据服务。 1.2数据采集 专家系统数据仓库数据采集包括两个部分容：外部数据汇集、部各层数据的提取与加载。外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层（ODS）；部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。 1.2.1外部数据汇集 专家数据仓库数据源包括列车监控与检测系统（TCMS）、车载子系统等相关子系统，数据采集的容分为实时数据采集和定时数据采集两大类，实时数据采集主要对于各项检测指标数据；非实时采集包括日检修数据等。 根据项目信息汇集要求，列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行灵活配置横向扩展。 本方案在数据采集架构采用Flume+Kafka+Storm的组合架构，采用Flume和ETL 工具作为Kafka的Producer，采用Storm作为Kafka的Consumer，Storm可实现对海量数据的实时处理，及时对问题指标进行预警。具体采集系统技术结构图如下:
计算机
王莹
本例采用的是SQl Server2005所提供的商业智能服务和工 具，主要包括Analysis Services(分析服务)， Integration Services(集成服务),Reporting Services(集成服务)和Bussiness Intelligence Developer Studio(BIDS)。
分析服务(Analysis Services) SQL Server 分析服务（SSAS）是一个用于分析数据仓库中数据的工 具，它包括了OLAP和数据挖掘工具。在SQL Server 2005数据库系统 中，Analysis Services工具以服务器的方式为用户提供管理多维数 据立方体的服务。Analysis Services可以把数据仓库中的数据组织 起来，经过预先的聚集运算，加入到多维立方体中（即建立立方 体），然后对复杂的分析型访问做出迅速的回答。
集成服务(Integration Services) SQL Server 集成服务（SSIS）被定位成一个能生成高性能数据集成解决 方案(包括数据仓库中数据的提取、转换和加载（ETL））的平台。其集 成的含义主要就是指把ETL集成在一起。SSIS通过一个统一的环境向用户 提供了数据转换服务（DTS）所能提供的所有功能，并且大大减少了用户 花在编写程序和脚本上的精力和时间。 SSIS的基本功能包括：
? ? ? ? ? ? 合并来自异类数据源中的数据 填充数据仓库和数据集市 整理数据和将数据标准化 精确和模糊的查找功能 将商业智能置入数据转换过程 使管理功能和数据加载自动化
成功实施数据仓库项目的七个步骤 建立一个数据仓库并不是一个简单的任务，不应该由一个人单独完成。由于数据仓库最佳结合了业务惯例和信息系统技术，因此，一个成功的数据仓库实施需要这两方面的不断协调，以均衡其所有的需要，要求，任务和成果。我很乐意与大家分享我在规划和管理任何数据库项目时采用的方法，这些数据库包括交易数据库，数据仓库，和混合型数据库。由于我生活在关系数据库和数据仓库以及用以支撑它们的数据提取，转换和加载(ETL )过程中，所以我会集中在这些领域讨论我的方法。然而，您可以将这些方法扩展到整个栈--OLAP立方体和如报告，特征分析(ad-hoc analysis)，记分卡和仪表盘展示之类的信息传递应用。 我不是吃撑了要告诉一个真正的项目经理( PM )如何做他或她的工作，相反，我写的这些是为那些数据库管理员和开发者，他们没有好运气能与有经验的项目经理一起工作;同样也适合这样的IT专业人员，他们被突然要求：“建立一个数据仓库“，并且需要自己扮演项目经理的角色。我的讨论不会是完整的，但我希望这会给您足够的信息来让您的项目球滚起来。 如图1所示，数据仓库项目有3个轨道(tracks)：数据轨道，技术轨道和应用层轨道。当您在整理任何数据库项目计划时，我建议您以这三个轨道为模板来管理和同步您的活动。当您向技术决策者( TDMs ) ，商业决策者( BDMs ) ，和所有其他该数据仓库项目参与者讲解您的计划时，您也可以把图1当作一个高级的概要图来使用。 使用一种生命周期管理方法 我鼓励您利用您的组织可以提供的资源，比如设计，开发和部署系统和软件的技术和方法。如果贵公司对于这些工作没有采用任何正式的方法，继续前进吧，您可采用我为我自己的数据库项目开发的7D数据库生
1.数据仓库概述 经过多年IT的建设，信息对于XXX 的日常管理已经日益重要，并逐渐成为重要的信息资产，信息资产的管理已经成为日常管理中一个非常重要的环节。如何管理和利用好XXX 内部纷繁的数据也越来越成为信息管理的一项重要工作。 在过去相当一段时间内，XXX 业务系统的构建主要围绕着业务的数据展开，应用的构建多是自下而上构建，主要以满足某个部门的业务功能为主，我们称之为业务处理的时代。这样的构建方式造成了一个个分立的应用，分立的应用导致了一个个的静态竖井。由于数据从属于应用，缺乏XXX 全局的单一视图，形成了一个个信息孤岛，分立的系统之间缺乏沟通，同样数据的孤岛导致只能获得片面的信息，而不是全局的单一视图。存储这些信息的载体可能是各种异构或同构的关系型数据库，也有可能是XML 、EXCEL 等文件。因此，构建新一代的一体化平台提上了日程并最终促成全域数据的管理方式，目的是覆盖XXX 各个环节的关键业务数据，完善元数据管理，形成全局的数据字典、业务数据规范和统一的业务指标含义，能够灵活的获取XXX 业务数据的单一视图（需要保证数据的一致性、完整性、准确性和及时性）。数据的交换和共享主要发生在上下级组织机构之间或同级的不同部门之间。最终，这些数据可以为部队分析、决策支持（多维分析、即席查询、数据挖掘）等应用提供更及时、准确、有效的支持。 数据仓库的目标是实现跨系统数据共享，解决信息孤岛，提升数据质量，辅助决策分析，提供统一的数据服务。同时，数据仓库的构建也面临着各种挑战，比如信息整合在技术上的复杂度、信息整合的管理成本、数据资源的获取、信息整合的实施周期以及整合项目的风险等。
数据库与信息管理 电脑知识与技术 １引言 传统的数据库技术是以单一的数据资源，即数据库为中心，进行事务处理、批处理、决策分析等各种数据处理工作，数据处理可划分为两大类：操作型处理（ＯＬＴＰ）和分析型处理（统计分析）。操作型处理也叫事务处理，是指对数据库联机的日常操作，通常是对一个或一组纪录的查询和修改，主要为企业的特定应用服务的，注重响应时间，数据的安全性和完整性；分析型处理则用于管理人员的决策分析，经常要访问大量的历史数据。而传统数据库系统利于应用的日常事务处理工作，而难于实现对数据分析处理要求，更无法满足数据处理多样化的要求。因此，专门为业务的统计分析建立一个数据中心，它是一个联机的系统，专门为分析统计和决策支持应用服务的，通过它可以满足决策支持和联机分析应用所要求的一切。这个数据中心就叫做数据仓库。 ２数据仓库概念及发展 ２．１什么是数据仓库 数据仓库就是面向主题的、集成的、不可更新的（稳定性）、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。数据仓库最根本的特点是物理地存放数据，而且这些数据并不是最新的、专有的，而是来源于其它数据库的。数据仓库的建立并不是要取代数据库，它要建立在一个较全面和完善的信息应用的基础上，用于支持高层决策分析，而事务处理数据库在企业的信息环境中承担的是日常操作性的任务。 ２．２相关基本概念 ２．２．１元数据 元数据（ｍｅｔａｄａｔａ）：是“关于数据的数据”，相当于数据库系统 中的数据字典，指明了数据仓库中信息的内容和位置，刻画了数据的抽取和转换规则，存储了与数据仓库主题有关的各种信息，而且整个数据仓库的运行都是基于元数据的，如修改跟踪数据、抽取调度数据、同步捕获历史数据等。 ２．２．２ＯＬＡＰ（联机分析处理Ｏｎ－ｌｉｎｅＡｎａｌｙｔｉｃａｌＰｒｏｃｅｓｓｉｎｇ）数据仓库用于存储和管理面向决策主题的数据，ＯＬＡＰ对数据仓库中的数据分析，并将其转换成辅助决策信息。ＯＬＡＰ的一个 重要特点是多维数据分析，这与数据仓库的多维数据组织正好形 成相互结合、相互补充的关系。ＯＬＡＰ技术中比较典型的应用是对多维数据的切片和切块、钻取、旋转等，它便于使用者从不同角度提取有关数据，其基本思想是：企业的决策者应能灵活地操纵企业的数据，以多维的形式从多方面和多角度来观察企业的状态、了解企业的变化。对ＯＬＡＰ进行分类，按照存储方式的不同，可将 ＯＬＡＰ分成ＲＯＬＡＰ、ＭＯＬＡＰ和ＨＯＬＡＰ；ＲＯＬＡＰ没有大小限制；现 有的关系数据库的技术可以沿用；可以通过ＳＱＬ实现详细数据与概要数据的储存；现有关系型数据库已经对ＯＬＡＰ做了很多优 化，包括并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、ＳＱｌ的ＯＬＡＰ扩展等大大提高了ＲＯＡＬＰ的速度；可以针对ＳＭＰ或ＭＰＰ的结构进行查询优化。 一般比ＭＤＤ响应 速度慢；只读、不支持有关预算的读写操作；ＳＱＬ无法完成部分计算，主要是无法完成多行的计算，无法完成维之间的计算。 ＭＯＬＡＰ性能好、 响应速度快；专为ＯＬＡＰ所设计；支持高性能的决策支持计算；复杂的跨维计算；多用户的读写操作；行级的计算。增加系统复杂度，增加系统培训与维护费用；受操作系统平台中文件大小的限制，难以达到ＴＢ级；需要进行预计算，可能导致数据爆炸；无法支持维的动态变化；缺乏数据模型和数据访问的标准。 ＨＯＬＡＰ综合了ＲＯＬＡＰ和ＭＯＬＡＰ的优点。它将常用的数据存储为ＭＯＬＡＰ，不常用或临时的数据存储为ＲＯＬＡＰ，这样就兼顾 了ＲＯＬＡＰ的伸缩性和ＭＯＬＡＰ的灵活、纯粹的特点。 收稿日期：２００６－０３－２４ 作者简介：赵方（１９７９－），女，浙江杭州人，浙江树人大学助教，硕士在读，主要从事教学、科研工作，以数据库应用、信息管理为主要研究方向。 数据仓库技术及实施 赵 方 （浙江树人大学，浙江杭州３１００１５） 摘要：介绍了数据仓库的基本概念，针对数据仓库建立对创建数据仓库的过程进行了分析，对实现数据抽取、数据仓库的存储和管理等进行分析和比较。 关键词：数据仓库；联机分析处理；数据抽取；数据存储中图分类号：ＴＰ３１１ 文献标识码：Ａ 文章编号：１００９－３０４４（２００６）１７－００３２－０２ ＲｅｓｅａｒｃｈｏｆＤａｔａＷａｒｅｈｏｕｓｅＴｅｃｈｎｏｌｏｇｙ ＺＨＡＯＦａｎｇ （ＺｈｅｊｉａｎｇＳｈｕｒｅｎＵｎｉｖｅｒｓｉｔｙ，Ｈａｎｇｚｈｏｕ３１００１５，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎｔｈｉｓｐａｐｅｒ，ｔｈｅｉｎｔｅｒｎａｌｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆＤａｔａＷａｒｅｈｏｕｓｅａｒｅｉｎｔｒｏｄｕｃｅｄ．ＡｎａｌｙｚｅｄｔｈｅｐｒｏｃｅｄｕｒｅｏｆｉｎｔｅｇｒａｔｅｄＤａｔａＷａｒｅｈｏｕｓｅａｎｄｂｕｉｌｄｉｎｇｔｈｅｄａｔａｗａｒｅｈｏｕｓｅ，ＤａｔａＥｘｔｒａｃｔ，ＤａｔａＷａｒｅｈｏｕｓｅＳｔｏｒａｇｅａｎｄｈｏｗｔｏｍａｎａｇｅｔｈｅＤａｔａＷａｒｅｈｏｕｓｅ． Ｋｅｙｗｏｒｄｓ：ＤａｔａＷａｒｅｈｏｕｓｅ；ＯＬＡＰ（Ｏｎ－ｌｉｎｅＡｎａｌｙｔｉｃａｌＰｒｏｃｅｓｓｉｎｇ）；ＤａｔａＥｘｔｒａｃｔＴｒａｎｓｆｏｒｍＬｏａｄ；ＤａｔａＳｔｏｒａｇｅ ３２
互联网大数据与传统数据仓库技术比较研究 韩路 1.Hadoop技术简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，是目前全世界最主流的大数据应用平台。以分布式文件系统（HDFS）和MapReduce为核心的Hadoop，目前已整合了其他重要组件如Hive、HBase、Spark，以及统一资源调度管理组件Yarn，形成了一个完成的Hadoop产品生态圈。 1.1.HDFS HDFS是一个分布式文件系统，可设计部署在低成本硬件上。它可以通过提供高吞吐率支持大量数据的批量处理，同时支持应用程序流式访问系统数据。 1.2.MapReduce MapReduce是一种编程模型，用于大规模数据机的并行运算。MapReduce可以将一个任务分发到Hadoop平台各个节点上并以一种可靠容错的方式并行处理大量数据集，实现Hadoop的并行任务处理功能。 1.3.Hive Hive是用于对Hadoop中文件进行数据整理、特殊查询和分析储存的工具。Hive提供了一种结构化数据的机制，支持类似传统结构化数据库中SQL元的查询语言，帮助熟悉SQL的用户查询HDFS中数据。 1.4.HBase HBase是一个分布式的、列式储存的开源数据库。HBase不同于传统关系型数据库，适合非结构化数据储存，同时可以为一个数据行定义不同的列。HBase 主要用于需要随机访问、实时读写的大数据。 1.5.Spark Spark是基于内存计算的分布式计算框架。Spark提出了RDD概念，弥补了MapReduce在并行计算各个阶段无法进行有效数据共享的缺陷。同时，Spark形成了自己的生态系统：SparkSQL、SparkStreaming、MLlib，并完全兼容Hadoop 生态系统。
成功实施数据仓库项目的7个步骤 建立一个数据仓库并不是一个简单的任务，不应该由一个人单独完成。由于数据仓库最佳结合了业务惯例和信息系统技术，因此，一个成功的数据仓库实施需要这两方面的不断协调，以均衡其所有的需要，要求，任务和成果。我很乐意与大家分享我在规划和管理任何数据库项目时采用的方法，这些数据库包括交易数据库，数据仓库，和混合型数据库。由于我生活在关系数据库和数据仓库以及用以支撑它们的数据提取，转换和加载(ETL )过程中，所以我会集中在这些领域讨论我的方法。然而，您可以将这些方法扩展到整个栈--OLAP立方体和如报告，特征分析(ad-hoc analysis)，记分卡和仪表盘展示之类的信息传递应用。 我不是吃撑了要告诉一个真正的项目经理( PM )如何做他或她的工作，相反，我写的这些是为那些数据库管理员和开发者，他们没有好运气能与有经验的项目经理一起工作;同样也适合这样的IT专业人员，他们被突然要求：“建立一个数据仓库“，并且需要自己扮演项目经理的角色。我的讨论不会是完整的，但我希望这会给您足够的信息来让您的项目球滚起来。
如图1所示，数据仓库项目有3个轨道(tracks)：数据轨道，技术轨道和应用层轨道。当您在整理任何数据库项目计划时，我建议您以这三个轨道为模板来管理和同步您的活动。当您向技术决策者( TDMs ) ，商业决策者( BDMs ) ，和所有其他该数据仓库项目参与者讲解您的计划时，您也可以把图1当作一个高级的概要图来使用。 使用一种生命周期管理方法 我鼓励您利用您的组织可以提供的资源，比如设计，开发和部署系统和软件的技术和方法。如果贵公司对于这些工作没有采用任何正式的方法，继续前进吧，您可采用我为我自己的数据库项目开发的7D数据库生命周期管理方法(Discover, Design, Develop, Deploy, Day to Day , Defend, Decommission), 昵称“7D法”。 我的“7D”数据库生命周期管理方法讲的是数据库的生命周期管理，而不是相关的软件(应用程序)和硬件的生命周期。图1包括了软硬件轨道，但我不会进一步阐述它们的管理。为了成功实施数据库生命周期的方法，有必要调整和同步数据库生命周期的里程碑、硬件和应用软件。
数据挖掘与数据仓库课程简介 英文名：Data Mining and Data Warehouse 开课单位：计算机学院 课程编码：203086 学分学时：学分，学时32（含实验10） 授课对象：计算机科学与技术专业方向选修课 先修课程：数据库 课程目的和主要内容： 通过本课程的学习，学生应能理解数据库技术的发展为何导致需要数据挖掘，以及数据挖掘潜在应用的重要性；掌握数据仓库和多维数据结构，OLAP（联机分析处理）的实现以及数据仓库与数据挖掘的关系；熟悉数据挖掘之前的数据预处理技术；了解定义数据挖掘任务说明的数据挖掘原语；掌握数据挖掘技术的基本算法，为将来从事数据仓库的规划和实施以及数据挖掘技术的研究工作打下一定的基础。 主要内容包括数据仓库和数据挖掘的基本知识；数据清理、数据集成和变换、数据归约以及离散化和概念分层等数据预处理技术；DMQL数据挖掘查询语言；用于挖掘特征化和比较知识的面向属性的概化技术、用于挖掘关联规则知识的基本Apriori算法和它的变形、用于挖掘分类和预测知识的判定树分类算法和贝叶斯分类算法以及基于划分的聚类分析算法等；了解先进的数据库系统中的数据挖掘方法，以及对数据挖掘和数据仓库的实际应用问题展开讨论。 参考教材： 《数据挖掘概念与技术》，机械工业出版社，JiaWei Han,Micheline Kamber著，范明等译 参考和阅读书目： 《Data Mining: Concepts and Techniques》Jiawei Han and Micheline Kamber, Morgan Kaufmann, 2000 《机器学习》，Tom Mitchell著，曾华军等译 《SQLServer2000数据挖掘技术指南》，机械工业出版社，Claude Seidman著，刘艺等译 数据挖掘与数据仓库教学大纲 一、课程概况 英文名：Data Mining and Data Warehouse 开课单位：计算机学院 课程编码：203086 学分学时：学分，学时32（含实验10） 授课对象： 先修课程：数据库 课程目的和主要内容： 通过本课程的学习，学生应能理解数据库技术的发展为何导致需要数据挖掘，以及数据
高效实现数据仓库的七个步骤 数据仓库和我们常见的RDBMS系统有些亲缘关系，但它又有所不同。如果你没有实施过数据仓库，那么从设定目标到给出设计，从创建数据结构到编写数据分析程序，再到面对挑剔的用户的评估，整个过程都会带给你一种与以往的项目完全不同的体验。一句话，如果你试图以旧有的方式创建数据仓库，那你所面对的不是预算超支就是所建立的数据仓库无法良好运作。 在处理一个数据仓库项目时需要注意的问题很多，但同时也有很多有建设性的参考可以帮助你更顺利的完成任务。开放思维，不断尝试新的途径，对于找到一种可行的数据仓库实现方法来说也是必需的。 1. 配备一个全职的项目经理或你自己全面负责项目管理 在通常情况下，项目经理都会同时负责多个项目的实施。这么做完全是出于资金和IT资源方面的考虑。但是对于数据仓库项目的管理，绝对不能出现一人身兼数个项目的情况。由于你所处的领域是你和你的团队之前没有进入过的领域，有关数据仓库的一切－数据分析、设计、编程、测试、修改、维护－全都是崭新的，因此你或者你指派的项目经理如果能全心投入，对于项目的成功会有很大帮助。 2. 将项目管理职责推给别的项目经理 由于数据仓库实现过程实在是太困难了，为了避免自虐，你可以在当前阶段的项目完成后就将项目管理职责推给别的项目经理。当然，这个新的项目经理一定要复合第一条所说的具有全职性。为什么要这么做呢？首先，从项目经理的角度看，数据仓库实施过程的任何一个阶段都足以让人身心疲惫。从物理存储设备的开发到Extract-Transform-Load的实现，从设计开发模型到OLAP，所有阶段都明显的比以前接触的项目更加困难。每个阶段不但需要新的处理方法、新的管理方法，还需要创新性的观点。所以将管理职责推给别的项目经理不但不会对项目有损害，还可以起到帮助作用。 3.与用户进行沟通 这里所讲的内容远比一篇文章本身要重要的多。你必须明白，在数据仓库的设计阶段，那些潜在用户自己也不清楚他们到底需要数据仓库为他们做什么。他们在不断的探索和发现自己的需求，而你的开发团队也在和客户的接触中做着同样的事情。更加频繁的与客户接触，多做记录，
1、不同数据量级别对服务器硬件、软件的要求 （要考虑到数据的双向传输、压力等状况） （我们目前的数量级别是多少？如果考虑到服务明细数据、三年的增量等） 不同数据量级别对服务器硬件、软件的要求：没什么特别要求，只要保证单台数据查询比较快就OK，数据量级别主要是靠横向扩展机器的台数来满足，只要数据是按照最初设计的存储方式来存储，满足我们查询的速度即可； 目前我们数据量单表每天5000左右的量，整个数据库10g左右，未来三年可能是一年2000万的处理量，三年后数据量可能到达上亿条记录，整个数据库35g左右。 2、Oracle数据库对数据量有没有什么限制？ 在Oracle中，数据库是由实例和物理存储结构组成的。而物理存储结构是指存储在磁盘上的物理文件，包括数据文件（data file）、控制文件（control file）、联机重做日志（online redo log）、参数文件（spfile/pfile）、警告日志（alert log）、跟踪文件（trace file）等众多作用不同的文件所组成的。我们最关注的数据，则是保存在数据文件（data file）中。那我们在创建以及维护数据库时，该如何规划数据文件的大小和数量呢？这里面涉及较多的考量因素。主要有如下几点： 2.1操作系统的限制 数据库是运行在操作系统之上的，操作系统是基础，因此，操作系统所能支持的最大文件容量和数量就成为数据库所能支持的限制。但不同操作系统之间，这个限制也是不同的。 以下是较为常见的几种操作系统对此的限制： 2.1.1 WINDOWS 最大数据块：16K 最大文件数量：20000个（数据块2K时）/40000个(数据块4K时）/65536个（数据块为8K或16K时）最大文件容量：4GB（文件系统为FAT时）/ 64GB（文件系统为NTFS时） 2.1.2 UNIX和LINUX 最大数据块：32K (LINUX_X86为16K) 最大文件数量：65534个 2.2O RACLE数据库的限制 每个数据库可管理的最大文件数量：65533个
河北省工商银行 数据仓库系统建设方案 建 议 书
北京世纪明日网络科技有限公司 二零零零年三月 河北省工商银行数据仓库系统建设方案 目录 第一章前言 1.1数据仓库发展史 1.2竞争日趋激烈的金融市场 1.3中国专业银行面临的挑战 1.4中国专业银行实施数据仓库的意义 1.5中国专业银行实施数据仓库已具备的条件 第二章数据仓库总体概述 2.1 数据仓库基础 2.2 数据仓库技术概述 2.3 一个可扩展数据仓库的基本框架
2.4 一个数据仓库实施流程 第三章系统体系结构设计 3.1系统设计指导思想 3.2 方案总体框架图 3.3 系统体系结构设计 3.4 系统方案的组成 第四章银行数据仓库的建设 4.1 面向应用的OLTP系统和面向主题的OLAP系统 4.2 个性化服务的定义 4.3 业务探索/业务发掘 4.4 建立市场客户信息基础 4.5 利用数据仓库实现的基本模块 4.6 更高层次的开发应用 4.7 综合信息发布 第五章方案实施建议 5.1 开发模式 5.2 组织机构 5.3 项目实施进程
5.4 项目进度计划 第六章产品报价 6.1 软件产品报价 6.2 硬件产品报价 6.3 项目开发实施费用 第一章前言 1.1 数据仓库发展史 相对于许多行业而言，信息处理技术还是一门新兴的技术，但是其发展速度却几乎是最快的。随着计算机硬件技术的飞速发展，软件技术也是日新月异。 许多企业和机构已经建立了相对完善的OLTP（联机事物处理）系统。随着时间的推移，这些系统中积累了大量的历史数据，其中蕴含了许多重要的信息。通过对这些历史数据的分析和综合处理，可以找到那些对企业发展至关重要的业务信息，从而帮助有关主管和业务部门作出更加合理的决策。70年代中期出现的MIS（管理信息系统）实际上就是在这种背景下产生的。 但MIS具有极大的局限性。首先，它是按预先定义好的流程对数
数据仓库建设步骤 1.系统分析，确定主题 确定一下几个因素： 操作出现的频率，即业务部门每隔多长时间做一次查询分析。 在系统中需要保存多久的数据，是一年、两年还是五年、十年 用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。 用户所能接受的响应时间是多长、是几秒钟，还是几小时。 2.选择满足数据仓库系统要求的软件平台 选择合适的软件平台，包括数据库、建模工具、分析工具等。有许多因素要考虑，如系统对数据量、响应时间、分析功能的要求等，以下是一些公认的选择标准： 厂商的背景和支持能力，能否提供全方位的技术支持和咨询服务。 数据库对大数据量（TB级）的支持能力。 数据库是否支持并行操作。 能否提供数据仓库的建模工具，是否支持对元数据的管理。 能否提供支持大数据量的数据加载、转换、传输工具（ETT）。 能否提供完整的决策支持工具集，满足数据仓库中各类用户的需要。 3.建立数据仓库的逻辑模型 具体步骤如下： 1)确定建立数据仓库逻辑模型的基本方法。 2)基于主题视图，把主题视图中的数据定义转到逻辑数据模型中。 3)识别主题之间的关系。 4)分解多对多的关系。 5)用范式理论检验逻辑数据模型。 6)由用户审核逻辑数据模型。 4.逻辑数据模型转化为数据仓库数据模型 具体步骤如下： 1)删除非战略性数据：数据仓库模型中不需要包含逻辑数据模型中的全部数据项，某些用于操作 处理的数据项要删除。 2)增加时间主键：数据仓库中的数据一定是时间的快照，因此必须增加时间主键。 3)增加派生数据：对于用户经常需要分析的数据，或者为了提高性能，可以增加派生数据。
4)加入不同级别粒度的汇总数据：数据粒度代表数据细化程度，粒度越大，数据的汇总程度越高。 粒度是数据仓库设计的一个重要因素，它直接影响到驻留在数据仓库中的数据量和可以执行的 查询类型。显然，粒度级别越低，则支持的查询越多；反之，能支持的查询就有限。 5.数据仓库数据模型优化 数据仓库设计时，性能是一项主要考虑因素。在数据仓库建成后，也需要经常对其性能进行监控，并随着需求和数据量的变更进行调整。 优化数据仓库设计的主要方法是： 合并不同的数据表。 通过增加汇总表避免数据的动态汇总。 通过冗余字段减少表连接的数量，不要超过3~5个。 用ID代码而不是描述信息作为键值。 对数据表做分区。 6.数据清洗转换和传输 由于业务系统所使用的软硬件平台不同，编码方法不同，业务系统中的数据在加载到数据仓库之前，必须进行数据的清洗和转换，保证数据仓库中数据的一致性。 在设计数据仓库的数据加载方案时，必须考虑以下几项要求： 加载方案必须能够支持访问不同的数据库和文件系统。 数据的清洗、转换和传输必须满足时间要求，能够在规定的时间范围内完成。 支持各种转换方法，各种转换方法可以构成一个工作流。 支持增量加载，只把自上一次加载以来变化的数据加载到数据仓库。 7.开发数据仓库的分析应用 建立数据仓库的最终目的是为业务部门提供决策支持能力，必须为业务部门选择合适的工具实现其对数据仓库中的数据进行分析的要求。 信息部门所选择的开发工具必须能够： 满足用户的全部分析功能要求。数据仓库中的用户包括了企业中各个业务部门，他们的业务不同，要求的分析功能也不同。如有的用户只是简单的分析报表，有些用户则要求做预 测和趋势分析。 提供灵活的表现方式。分析的结果必须能够以直观、灵活的方式表现，支持复杂的图表。 使用方式上，可以是客户机/服务器方式，也可以是浏览器方式。 事实上，没有一种工具能够满足数据仓库的全部分析功能需求，一个完整的数据仓库系统的功能可能是由多种工具来实现，因此必须考虑多个工具之间的接口和集成性问题，对于用户来说，希望看到的是一致的界面。 8.数据仓库的管理
1.数据仓库 1.1.概念 数据仓库项目是以关系数据库为依托，以数据仓库理论为指导、以OLAP为多层次多视角分析，以ETL工具进行数据集成、整合、清洗、加载转换，以前端工具进行前端报表展现浏览，以反复叠代验证为生命周期的综合处理过程。最终目标是为了达到整合企业信息信息，把数据转换成信息、知识，提供决策支持。 1.2.数据源 数据库、磁带、文件、网页等等。同一主题的数据可能存储在不同的数据库、磁带、甚至文件、网页里都有。 1.3.数据粒度 粒度问题第一反应了数据细化程度；第二在决策分析层面粒度越大，细化程度越低。一般情况，数据仓库需求存储不同粒度的数据来满足不同层面的要求。 例子如顾客的移动话费信息。 1.4.数据分割 分割结构相同的数据，保证灵活的访问数据。 1.5.设计数据仓库 ●与OLTP系统的接口设计：ETL设计 ●数据仓库本身存储模型的设计：数据存储模型设计 1.6.ETL设计难点 数据仓库有多个应用数据源，导致同一对象描述方式不同： ●表达方式不同：字段类型不同 ●度量方式不同：单位不同 ●对象命名方式不同：字段名称不同 ●数据源的数据是逐步加载到数据仓库，怎么确定数据已经加载过 ●如何避免对已经加载的数据的读取，提高性能 ●数据实时发生变化后怎么加载
2.数据存储模型 过程模型：适用于操作性环境。 数据模型：适用于数据仓库和操作性环境。 数据模型从设计的角度分：高层次模型（实体关系型），中间层建模（数据项集），物理模型。 2.1.数据仓库的存储方式 数据仓库的数据由两种存储方式：一种是存储在关系数据库中，另一种是按多维的方式存储，也就是多维数组。 2.2.数据仓库的数据分类 数据仓库的数据分元数据和用户数据。 用户数据按照数据粒度分别存放，一般分四个粒度：早期细节级数据，当前细节级数据，轻度综合级，高度综合级。 元数据是定义了数据的数据。传统数据库中的数据字典或者系统目录都是元数据，在数据仓库中元数据表现为两种形式：一种是为了从操作型环境向数据仓库环境转换而建立的元数据，它包含了数据源的各种属性以及转换时的各种属性；另一种元数据是用来与多维模型和前端工具建立映射用的。 2.3.数据存储模型分类 多维数据建模以直观的方式组织数据，并支持高性能的数据访问。每一个多维数据模型由多个多维数据模式表示，每一个多维数据模式都是由一个事实表和一组维表组成的。 多维模型最常见的是星形模式。在星形模式中，事实表居中，多个维表呈辐射状分布于其四周，并与事实表连接。 在星型的基础上，发展出雪花模式。通常来说，数据仓库使用星型模型。 2.3.1.星型模型 位于星形中心的实体是指标实体，是用户最关心的基本实体和查询活动的中心，为数据仓库的查询活动提供定量数据。每个指标实体代表一系列相关事实，完成一项指定的功能。 位于星形图星角上的实体是维度实体，其作用是限制用户的查询结果，将数据过滤使得从指标实体查询返回较少的行，从而缩小访问范围。每个维表有自己的属性，维表和事实表通过关键字相关联。 星形模式虽然是一个关系模型，但是它不是一个规范化的模型。在星形模式中，维度表被故意地非规范化了，这是星形模式与OLTP系统中的关系模式的基本区别。 使用星形模式主要有两方面的原因:提高查询的效率。采用星形模式设计的数据仓库的优点是由于数据的组织已经过预处理，主要数据都在庞大的事实表中,所以只要扫描事实表
数据仓库成功案例３ 兴业证券数据仓库系统 编者按：兴业证券选择了Sybase的数据仓库解决方案，以帮助其成功地实现交易数据的集中处理和分析。该系统的应用采用三层式数据仓库结构，使系统具有优越的处理性能、高度可扩展性、开放性、灵活性和可管理性。 用户背景 兴业证券作为一家综合类专业证券公司、中国证券业协会理事单位，在福建省乃至全国的证券界都具有一定的影响力。公司总部设在福州，在上海也设立了区域管理总部，已经初步构建了辐射全国的业务经营机构网络。在中国加入WTO之后，兴业证券也面临着新的挑战和机遇。如何将现有的优势充分发挥并创造新的竞争优势，从而加强其在证券行业的领先地位，是兴业证券面临的重要课题。 从2001年7月开始，Sybase公司与兴业证券合作，共同开发兴业证券数据仓库和决策支持系统，帮助兴业证券总部实现对营业部集中管理和数据集中基础上的决策支持。 系统目标 兴业证券对现有信息系统的要求： * 对各个营业部交易数据汇总整合信息来源，从而提高决策信息的及时性、准确性、全局性、一致性； * 建立全面、统一、科学的日常决策分析报表/查询系统； * 深层次的信息加工，分析客户、市场、风险等主题项目，充分利用兴业证券的丰富数据； * 系统必须保证系统中每一条信息的安全性，对信息的访问进行安全性控制，这样才能充分保证信息不会泄漏，以维护证券市场的秩序； * 建立具有高处理能力和高扩展能力的数据仓库平台，以适应管理和处理日益庞大的市场数据的要求。 数据仓库系统将帮助兴业证券充分利用信息资源，为兴业证券提供坚实的信息基础以迎接上述的业务挑战和机遇。 建立数据仓库系统的目标： * 为各业务部门、兴业证券的领导层提供有效的决策管理信息支持，提高业务效率、
数据仓库建设 商务智能（Business Intelligence）用于支持制定业务决策的技能、流程、技术、应用和实践。核心是通过数据提取、整理、分析，最终通过分析结果制定有关策略、规划，帮助企业了解新的趋势、抓住新的市场机会、发现潜在的威胁，达到资源的合理配置，节约成本提高效益。数据仓库是商业智能的基础，它为OLAP、数据挖掘提供分析和决策支持。 一、数据仓库概念 1.数据仓库定义 是一个面向主题的、集成的、相对稳定的、反映有有历史变化的数据集合，用于支持管理决策。具有以下特点： ●详细交易及相关业务数据的集合 ●包含必要的内部与外部信息 ●来自于多个数据源、业务操作系统 ●保存一定的时间周期 ●按照企业内业务规则决定存储模型 2.建设的必要性 目前大多数信息系统由于建设时间、建设方、各阶段需求不同，会出现一系列问题：缺乏整体规则、信息缺乏完整性、缺乏统一的信息管理标准和规范、信息孤岛、不具备大容量的数据管理和分析能力。
3.价值 ●提高管理决策的科学性和管理效率 ●信息的整合，可推动现在有信息管理体系的重构 ●打通信息孤岛全局共享，降低数据获取的难度 ●逐渐取代各类业务管理报表系统 ●运用历史数据发现规律 二、数据仓库建设 1.业务需求定义 梳理出所有业务过程，分析业务内容提取需求，对其相关的数据进行探查，并对各系统核心业务人员访谈，准确的了解业务需求情况，近期调研 2.技术体系结构 生命周期图 技术架构图：
3.数据仓库数据建模 数据模型是抽象描述现实世界的一种方法，是通过抽象的实体及实体之间的联系来表示现实世界中事务的相互关系的一种映射，数据仓库模型是数据模型中针对特定的数据仓库应用系统的特定模型。数据仓库建模方法种类较多，常见的三种是范式建模、维度建模、实体建模，每种方法本质上都是从不同的角度解决业务中的问题。 关于数据仓库建模单独用一篇来详细介绍，这儿仅对维度建模做基本的介绍，维度建模由数据仓库领域另一位大师Ralph Kimall所倡导，是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型，
1. 数据仓库概述 经过多年IT的建设，信息对于XXX的日常管理已经日益重要，并逐渐成为重要的信息资产，信息资产的管理已经成为日常管理中一个非常重要的环节。如何管理和利用好XXX内部纷繁的数据也越来越成为信息管理的一项重要工作。 在过去相当一段时间内，XXX业务系统的构建主要围绕着业务的数据展开，应用的构建多是自下而上构建，主要以满足某个部门的业务功能为主，我们称之为业务处理的时代。这样的构建方式造成了一个个分立的应用，分立的应用导致了一个个的静态竖井。由于数据从属于应用，缺乏XXX全局的单一视图，形成了一个个信息孤岛，分立的系统之间缺乏沟通，同样数据的孤岛导致只能获得片面的信息，而不是全局的单一视图。存储这些信息的载体可能是各种异构或同构的关系型数据库，也有可能是XML、EXCEL等文件。因此，构建新一代的一体化平台提上了日程并最终促成全域数据的管理方式，目的是覆盖XXX各个环节的关键业务数据，完善元数据管理，形成全局的数据字典、业务数据规范和统一的业务指标含义，能够灵活的获取XXX业务数据的单一视图（需要保证数据的一致性、完整性、准确性和及时性）。数据的交换和共享主要发生在上下级组织机构之间或同级的不同部门之间。最终，这些数据可以为部队分析、决策支持（多维分析、即席查询、数据挖掘）等应用提供更及时、准确、有效的支持。 数据仓库的目标是实现跨系统数据共享，解决信息孤岛，提升数据质量，辅助决策分析，提供统一的数据服务。同时，数据仓库的构建也面临着各种挑战，比如信息整合在技术上的复杂度、信息整合的管理成本、数据资源的获取、信息整合的实施周期以及整合项目的风险等。
2. 全域数据库总体架构 核心业务边防一体化其他XML Excel Web 服务消息队列文本数据智能传感器 虚拟传感器摄像头全域数据库总体架构 全域数据库总体的层次，最下面是基础架构层，主要包括支撑这一架构运行的主机系统、存储备份系统、网络系统等内容。从下往上看，再上面是数据源层，既包括各个业务的关系型数据源、内容管理数据源也包括半结构化数据源比如XML 、EXCEL 等，也包括各个总队、支队的业务数据源。 数据源层之上是“交换服务体系”，主要包括信息服务总线和服务总线两部分。信息服务总线主要实现数据层的信息整合和数据转换，而服务总线主要实现应用层的信息交换和整合。信息服务总线主要依托联邦、复制、清洗、转换等技术实现，其主要包括信息整合服务和清洗转换加载服务两部分。通过信息服务总线的信息整合服务（数据联邦、复制），可以透明、实时的访问分布在总队和支队的各个业务系统中的各种同构、异构数据（前提是拥有足够的权限）。信息整合服务在整个XXX 层面保证