数据仓库体系培训(内部)

数据仓库体系结构数据仓库是一个用于集成、管理和分析大量数据的系统。

在数据仓库中，数据从不同的源系统中提取、转换和加载，然后存储在一个统一的、可供分析的数据存储中。

为了实现这一目标，数据仓库需要一个合理的体系结构来支持数据的整合、存储和查询等功能。

数据仓库体系结构由以下几个主要组成部分组成：1. 数据源：数据源是数据仓库的基础，它可以是内部系统的数据库、外部数据提供商的数据文件、Web上的数据源等。

数据源可以包括结构化数据（如关系型数据库中的表）和非结构化数据（如文本文件、图像文件等）。

2. 数据提取：数据提取是将数据从源系统中抽取出来并转换为数据仓库可以使用的格式的过程。

数据提取可以通过批处理、定时任务或实时流式传输等方式进行。

3. 数据转换：数据转换是将提取的数据进行清洗、集成和转换的过程。

在这个阶段，数据被清理、去重、标准化和转换为统一的格式和结构，以便在数据仓库中进行分析。

4. 数据加载：数据加载是将转换后的数据加载到数据仓库中的过程。

数据加载可以分为全量加载和增量加载两种方式，全量加载是将所有数据加载到数据仓库中，而增量加载是只加载发生变化的数据。

5. 数据存储：数据存储是数据仓库中数据的物理存储方式。

常用的数据存储方式包括关系型数据库、多维数据库和列式数据库等。

数据存储的选择应根据数据的特点、查询需求和性能要求等因素进行。

6. 元数据管理：元数据是描述数据仓库中数据的数据，它包括数据的结构、定义、来源、质量等信息。

元数据管理是对元数据进行收集、存储、管理和查询的过程，它是数据仓库管理的重要组成部分。

7. 数据访问：数据访问是用户通过查询、报表和分析等方式对数据仓库中的数据进行访问和分析的过程。

数据仓库可以提供多种数据访问方式，包括在线分析处理（OLAP）、数据挖掘和数据可视化等。

8. 安全性和权限管理：安全性和权限管理是保护数据仓库中数据安全和控制用户访问权限的过程。

数据仓库应具备完善的安全措施，包括身份认证、权限控制、数据加密和审计等功能。

所谓的数据仓库架构，我也是第一次听说，改改一些概念，干脆一起来分享一下吧，没准还能成为行业标准，呵呵！该架构主要分为四层结构体系：> ODS层主要负责采集业务系统并保存一定期限内的相关业务数据。

当然也可以满足用户对明细数据的查询要求，姑且也可以算作明细数据仓库。

> 数据仓库层将ODS层经过质量检查、清洗、转换后，形成符合质量要求的公共数据中心。

实际上与ODS层差别不大，都是建立以ER为中心的数据关系，方便以后的数据的聚合。

> 明细数据集市层即前面所说的事实层按主题及KPI指标对数据仓库层数据进行进一步转换，将指标与维度组成数据集市。

这是OLAP 的数据基础。

> 聚合数据集市层即OLAP在明细数据集市层的基础上，提供基于联机分析处理(OLAP)引擎的多维分析能力，解决联机分析功能和决策支持要求。

> 数据展现层按照用户报表要求，提供用户报表界面及预警分发机制。

其中前3层都是属于ETL层的，问题是层次出来了我的疑问也出来了，都是属于那种别人不操心我瞎操心的事。

毕竟算是搞数据库出身的(搞过一些索引和简单的SQL调优)，最关心的还是性能问题。

数据仓库是企业级的数据中心，每天上G的数据的企业不在少数，那么多的层次，使用工具能抽的完数据吗？说实话我实在不信任ETL工具，总感觉他没我写的SQL语句效率高；即使抽的完数据，那么多的层次转换能处理的完吗；即使处理完，如果万一一个环节出现问题，能回退或重新处理吗；处理完后那OLAP该怎么调度啊；数据质量（清洗转换）到底在哪个环节处理；数据质量到底包括哪些东西(除了主外键缺失和NULL值)，兄弟比较愚笨，一直想不明白；不合质量要求的数据如何处理；入库的数据在业务库发生更改怎么办；业务数据没有时间戳怎么办；数据核对和校验工作如何进行；不管工具也好代码也好，到底有没有通用的处理流程(比如维度数据处理，原始业务数据抽取，事实表日结处理)；还有就是到现在也没搞到合适的需求设计文档的模板(如果哪位兄弟有可以帮忙提供一下)。

数据仓库的概念和体系结构概述数据仓库是指将企业各个部门和业务系统产生的大量数据进行整合、清洗、集成和存储，以满足企业决策分析和业务需求的信息系统。

数据仓库的设计和建设需要考虑到数据的整合、一致性、稳定性、易用性和安全性等方面的需求。

它是一个面向主题的、集成的、相对稳定的、可供企业管理者和决策者使用的数据集合。

1.数据源层：数据仓库的数据源可以来自企业内部的各个部门和业务系统，也可以来自外部的合作伙伴和第三方数据提供商。

数据源的选择和集成是数据仓库建设的关键环节，需要确定数据的提取方式、频率、粒度和格式等。

2.数据提取层：数据提取层负责从各个数据源中提取数据，并进行初步的清洗和转换。

数据提取可以通过批量处理、定时任务或实时流数据处理等方式进行。

在数据提取过程中，需要解决数据一致性、完整性和准确性等问题。

3. 数据集成层：数据集成层是将从各个数据源提取的数据进行整合和合并的地方。

这里的数据整合包括数据清洗、数据转换和数据聚合等操作。

数据集成层可以使用ETL（Extract、Transform、Load）工具进行数据的清洗和转换。

在数据集成层，还需要对数据进行一致性校验和冲突解决。

4.数据存储层：数据存储层是数据仓库最核心的组成部分，它负责存储整合后的数据。

数据存储层可以采用关系数据库、数据仓库等不同的技术来进行存储。

在设计数据存储层时，需要考虑到数据的存储结构、索引方式、数据分区和冗余备份等问题。

6. 数据访问层：数据访问层是用户直接访问数据仓库的接口，它提供了用户对数据仓库的查询、分析和报表生成等功能。

数据访问层可以使用OLAP（Online Analytical Processing）工具、报表工具、数据挖掘工具和BI（Business Intelligence）平台等进行实现。

7.数据安全层：数据安全是数据仓库设计和建设过程中必须要考虑的问题之一、数据安全层负责保护数据仓库中的数据不受未经授权的访问、修改和破坏。

银⾏数据仓库体系实践（9）--主题模型在银⾏主题模型中，每个数据仓库的实施公司会有⾦融⾏业或银⾏业的主题模型，这个模型会根据新的业务不断进⾏完善，是各实施公司的业务经验积累。

⼀个良好的模型对数据仓库的实施起到了事半功倍的效果，虽然不同的公司会有不同的主题模型产品，但每个公司的产品基本上分为以下⼏个主题：1、当事⼈（PARTY）是指银⾏所服务的任意对象和感兴趣进⾏分析的各种对象。

如：个⼈或公司客户、潜在客户、代理机构、雇员、合作伙伴等。

⼀个当事⼈可以同时是这当中的许多⾓⾊。

借助当事⼈主题的建⽴可以实现基于客户基本信息的分析，是实现以客户为中⼼的各种分析应⽤的重要基础。

PARTY主题⼀般包括：*外部机构、政府部门、⾏业监管机构等；*在银⾏登记注册开⽴账户的单位、个⼈普通客户；*和银⾏有业务往来的其他⾦融机构（如国内同业、海外代理⾏等）；*银⾏机构的雇员（含柜员、客户经理等）；*客户的⼲系⼈（如个⼈客户的配偶、⼦⼥，公司的法⼈等）；*潜在客户（如交易对⼿，⽆账号交易客户等）；那在实施过程中，除了对客户进⾏分类外，重点需要关注：（1）客户ID：为每位客户确定⼀个唯⼀的ID，由于不同的系统都会有客户ID，如何分析是否是同⼀个客户？许多银⾏都会有ECIF系统来唯⼀确定客户，如果已经有全⾏的唯⼀客户ID，那将减少许多整合⼯作，只需按⼀定规则将其他潜在客户、⼲系⼈分配唯⼀ID即可。

如果没有ECIF系统可以在主题模型进⾏整合，如按证件类型、证件号码、姓名、性别来识别唯⼀客户，将各源系统中的客户识别成唯⼀客户后，再将各源系统的客户信息进⾏整合。

（2）客户之间关系设计：由于⼀个客户可能有多个⾓⾊，⼀般可以通过客户关系表来确定。

⽐如既是员⼯也是客户可在关系表中存放客户ID和员⼯ID的关系类型是同⼀个⼈，既是个⼈客户⼜是企业法⼈，可在关系表中存放客户ID和企业ID的关系类型为企业法⼈关系。

（3）客户主题是整个模型的中⼼，其它的所有主题都会和客户主题进⾏关联，因此如何与其他主题进⾏关联也需要重点考虑。

考试时间5月24日，上午9：00-11:00地点：SY207题目来自于收集的照的照片，可能不太准确，还有一些看不清，大家看着复习。

能整理出答案最好了^_^~一、概念题（40分）请将如下概念串起来，描述概念之间的关系，每个概念不必单独解释。

企业信息系统架构、基础业务系统、数据仓库、数据挖掘、机器学习、RDBMS、HADOOP、Oracle、大数据、DB2、关系型数据库、多维分析引擎、数据集成、数据模型、元数据、决策支持系统二、简答题（共5道题，共计60分）1.如下两个图标分别是操纵系统环境与数据仓库环境在一天内的硬件资源典型使用率模式，横坐标是时间，纵坐标是使用率（0-100%）1)请说明为什么这两种环境的硬件资源使用率会有如此不同？（5分）2)请说明这种现象对企业信息系统架构设计的影响？（5分）2.在数据仓库环境的数据体系建设过程中，进行粒度设计时要考虑的因素有哪儿些？粒度分析为什么要与技术环境评估同时进行。

（12分）3.对于企业中常见的孤岛式信息系统架构和蜘蛛网信息系统利用架构，请完成如下要求：1）分别值出这两种架构产生的主要原因；2）指出这两种架构中存在的主要问题；3）给出解决这些问题的常见方案。

（15分）4.设有如下数据仓库的数据模型设计**，请（6）建立企业全局数据视图；（7）确定每个主题包含的实体集以及每个实体集的属性集；（8）确定粒度层次；（9）确定索引结构；（10）确定存储分配；（11）分析确定数据来源。

（11分）5.假设有3年的销售数据，有如下两种存储方案：方案1：在数据库系统中用户看的表只有一个，但是有6个分区，每半年一个物理分区。

方案2：在数据库系统中有6个独立的表，分别存储近三年的数据。

1）这两种方案哪个是数据库系统层分区，哪种是应用层分区？各有什么优缺点。

（8）2）数据分区对数据归档、数据清除有什么影响？（4）。

数据仓库的体系结构（1）数据源：是数据仓库系统的基础，是整个系统的数据源泉。

通常包括企业内部信息和外部信息。

内部信息包括存放于数据库管理系统中的各种业务处理数据和各类文档数据。

外部信息包括各类法律法规、市场信息和竞争对手的信息等。

（2）数据的存储与管理：是整个数据仓库系统的核心。

数据仓库的真正关键是数据的存储和管理。

数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。

要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。

针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。

数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。

（3）OLAP服务器：对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。

其具体实现可以分为ROLAP、MOLAP和HOLAP。

ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。

（4）前端工具：主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。

其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。

数据仓库的概念与体系结构概念数据仓库是指集成了企业各个部门内部数据源以及外部数据源，并将这些数据进行整合、加工、清洗、归类后，存储到一个专门的数据库中，以支持企业数据决策分析的一种技术体系。

它是一个面向主题的、集成的、可变的、非易失的数据集合，支持企业决策制定者进行分析与决策。

数据仓库是将企业海量的数据以主题为维度进行归纳与整合，清洗过后的结构化数据，不仅包括内部的数据源，还可以包含外部数据源的合并，以便于管理与分析。

相对于传统的数据库，数据仓库更加注重主题分析和决策支持。

它以可视化、图表化的方式展示数据，帮助企业进行全面、深入的分析。

体系结构数据仓库的体系结构分为三层，分别是数据采集层、数据仓库层和数据应用层。

数据采集层数据采集层主要负责收集数据，并将数据送至数据仓库层进行处理和存储。

数据采集层对数据进行抽取、转换、加载等一系列预处理操作，以确保数据的质量和可靠性。

常用的数据采集技术包括ETL（抽取、转换、加载）、CDC（变更数据捕获）等。

数据仓库层数据仓库层是数据仓库体系结构中的核心层，主要用于存储、管理和加工数据。

数据仓库层主要由数据存储和数据管理两部分组成。

数据存储部分用于存储各种类型的数据，包括企业内部数据、外部数据和第三方数据。

数据管理部分则用于管理数据仓库中的数据，包括数据的分区、索引、备份等操作。

常见的数据仓库管理系统有Oracle、Teradata、Greenplum等。

数据应用层数据应用层主要用于支持企业的数据决策分析。

该层包括各种类型的分析工具和应用程序，如智能报表、数据挖掘、机器学习、数据可视化等，可以帮助企业进行复杂的数据分析和有效的决策制定。

常见的BI工具有PowerBI、Tableau、SAS、Cognos等。

数据仓库是一种用于支持企业数据决策分析的技术体系，是由数据采集层、数据仓库层、数据应用层三个主要部分组成的。

其中数据采集层负责数据的收集和处理，数据仓库层用于存储和管理数据，数据应用层则是为企业提供分析和决策支持的关键层。