3-3数据仓库设计-逻辑模型

数据仓库的逻辑模型介绍
数据仓库是一种面向主题的、集成的、稳定的、不同时间的数据集合，用于支持管理决策过程。

逻辑模型是数据仓库的核心，它描述了数据仓库中数据的组织和存储方式，以及数据仓库的结构和功能。

本文将介绍数据仓库的逻辑模型，包括数据仓库的数据源、数据存储、数据集市和数据访问。

一、数据源
数据仓库的数据源可以是多种类型的，包括关系数据库、OLAP 数据库、文件系统、外部数据源等。

不同的数据源具有不同的特点和优势，需要根据实际情况选择合适的数据源。

二、数据存储
数据仓库的数据存储是指将数据源中的数据加载到数据仓库中，并对数据进行处理和转换，以满足数据仓库的需求。

数据存储通常采用分布式存储架构，以支持大量数据的存储和查询。

三、数据集市
数据集市是数据仓库中面向特定主题的数据集合，它将数据仓库中的数据按照业务需求进行分类和组织。

数据集市通常包括多个表，每个表代表一个主题，例如销售、客户、产品等。

数据集市中的数据可以根据业务需求进行查询和分析。

四、数据访问
数据访问是指数据仓库中的数据如何被访问和使用。

数据仓库的数据访问通常采用OLAP（联机分析处理）和数据挖掘技术。

OLAP技术支持用户对数据仓库中的数据进行快速查询和分析，数据挖掘技术则可以帮助用户从大量数据中发现有价值的信息和规律。

总之，数据仓库的逻辑模型是数据仓库的核心，它描述了数据仓
库中数据的组织和存储方式，以及数据仓库的结构和功能。

数据仓库的数据源、数据存储、数据集市和数据访问是数据仓库逻辑模型的重要组成部分，它们共同构成了一个完整的数据仓库系统。

数据仓库的架构方式及其比较数据仓库的架构方式及其比较传统的关系数据库一般采用二维数表的形式来表示数据，一个维是行，另一个维是列，行和列的交叉处就是数据元素。

关系数据的基础是关系数据库模型，通过标准的SQL语言来加以实现。

数据仓库是多维数据库，它扩展了关系数据库模型，以星形架构为主要结构方式的，并在它的基础上，扩展出理论雪花形架构和数据星座等方式，但不管是哪一种架构，维度表、事实表和事实表中的量度都是必不可少的组成要素。

下面解析由这些要素构成的数据仓库的架构方式。

1．星形架构星形模型是最常用的数据仓库设计结构的实现模式，它使数据仓库形成了一个集成系统，为最终用户提供报表服务，为用户提供分析服务对象。

星形模式通过使用一个包含主题的事实表和多个包含事实的非正规化描述的维度表来支持各种决策查询。

星形模型可以采用关系型数据库结构，模型的核心是事实表，围绕事实表的是维度表。

通过事实表将各种不同的维度表连接起来，各个维度表都连接到中央事实表。

维度表中的对象通过事实表与另一维度表中的对象相关联这样就能建立各个维度表对象之间的联系。

每一个维度表通过一个主键与事实表进行连接，如图3-10所示。

图3-10 星形架构示意图事实表主要包含了描述特定商业事件的数据，即某些特定商业事件的度量值。

一般情况下，事实表中的数据不允许修改，新的数据只是简单地添加进事实表中，维度表主要包含了存储在事实表中数据的特征数据。

每一个维度表利用维度关键字通过事实表中的外键约束于事实表中的某一行，实现与事实表的关联，这就要求事实表中的外键不能为空，这与一般数据库中外键允许为空是不同的。

这种结构使用户能够很容易地从维度表中的数据分析开始，获得维度关键字，以便连接到中心的事实表，进行查询，这样就可以减少在事实表中扫描的数据量，以提高查询性能。

在AdventureWorksDW数据仓库中，若以网络销售数据为事实表，把与网络销售相关的多个商业角度（如产品、时间、顾客、销售区域和促销手段等）作为维度来衡量销售状况，则这些表在数据仓库中的构成如图3-11所示，可见这几个表在数据仓库中是以星形模型来架构的。

onedata建模方法论（原创版4篇）《onedata建模方法论》篇1OneData 是一种数据建模方法论，旨在帮助企业构建高质量的数据仓库。

该方法论包括以下主要内容：1. 数据仓库定义：OneData 将数据仓库定义为一个集成的、稳定的、易于访问的数据存储库，用于支持企业管理、决策和分析需求。

2. 数据建模流程：OneData 提出了一套完整的数据建模流程，包括需求分析、概念设计、逻辑设计、物理设计和实施等阶段。

在每个阶段，都有相应的方法和工具支持。

3. 数据模型设计：OneData 强调数据模型设计的重要性，提出了一些设计原则，如实体完整性、属性完整性、参照完整性和数据一致性等。

OneData 还提供了一些数据模型设计工具，如ER 图、数据字典和数据流图等。

4. 数据仓库实现：OneData 提供了一些数据仓库实现的技术和工具，如数据清洗、数据转换、数据加载、数据存储和数据查询等。

OneData 还强调了数据仓库的性能和安全性的重要性。

5. 数据仓库管理：OneData 提供了一些数据仓库管理方法和工具，如数据质量管理、数据备份和恢复、数据安全和数据审计等。

OneData 还强调了数据仓库的可用性和可扩展性的重要性。

《onedata建模方法论》篇2OneData 是一种数据仓库建模方法论，其核心思想是将数据仓库视为一个企业级的数据中心，通过建立一套完整的数据模型来实现数据的统一管理和运营。

OneData 方法论主要包括以下方面：1. 数据仓库概念模型设计：该阶段主要通过业务领域模型的设计，将企业的业务需求转化为数据模型，包括数据实体的定义、属性的设计以及实体之间的关系等。

2. 数据仓库逻辑模型设计：该阶段主要通过数据模型的逻辑设计，将概念模型转化为具体的数据表结构，包括数据表的定义、表之间的关系、索引的设计等。

3. 数据仓库物理模型设计：该阶段主要通过数据模型的物理设计，将逻辑模型转化为具体的数据存储结构，包括数据分区、数据备份、数据恢复等。

数据库建模：概念模型,逻辑模型和物理模型概念模型设计 , 逻辑模型设计 , 物理模型设计是数据库及数据仓库模型设计的三个主要步骤1. 概念模型概念模型就是在了解了⽤户的需求 , ⽤户的业务领域⼯作情况以后 , 经过分析和总结 , 提炼出来的⽤以描述⽤户业务需求的⼀些概念的东西 ;如销售业务中的客户和定单 , 还有就是商品 , 业务员 , ⽤ USE CASE 来描述就是 : 业务员与客户就购买商品之事签定下定单 , 概念模型使⽤ E-R 图表⽰ , E-R 图主要是由实体 , 属性和联系三个要素构成的 , 该阶段需完成 :1. 该系统的商业⽬的是什么 , 要解决何种业务场景2. 该业务场景中 , 有哪些⼈或组织参与 , ⾓⾊分别是什么3. 该业务场景中 , 有哪些物件参与 ,4. 此外需要具备相关⾏业经验 , 如核⼼业务流程 , 组织架构 , ⾏业术语5. 5w1h , who , what , when , where , why, how2. 逻辑模型逻辑模型是将概念模型转化为具体的数据模型的过程 , 即按照概念结构设计阶段建⽴的基本 E-R 图 , 按选定的管理系统软件⽀持的数据模型(层次/⽹状/关系/⾯向对象) , 转换成相应的逻辑模型 , 这种转换要符合关系数据模型的原则 ;还以销售业务为例 : 客户信息基本上要包括 : 单位名称 , 联系⼈ , 联系电话 , 地址等属性商品信息基本上要包括 : 名称 , 类型 , 规格 , 单价等属性定单信息基本上要包括 : ⽇期和时间属性 ; 并且定单要与客户 , 业务员和商品明细关联 , 该阶段需完成 :1. 分多少个主题 , 每个主题包含的实体2. 每个实体的属性都有什么3. 各个实体之间的关系是什么4. 各个实体间是否有关系约束3. 物理模型物理模型就是针对上述逻辑模型所说的内容 , 在具体的物理介质上实现出来 , 系统需要建⽴⼏个数据表 : 业务员信息表 , 客户信息表 , 商品信息表 , 定单表 ; 系统要包括⼏个功能 : 业务员信息维护 , 客户信息维护 , 商品信息维护 , 建⽴销售定单 ; 表 , 视图 , 字段 , 数据类型 , 长度 , 主键, 外键 , 索引 , 约束 , 是否可为空 , 默认值 , 该阶段需完成 :1. 类型与长度的定义2. 字段的其他详细定义 , ⾮空 , 默认值3. 却准详细的定义 , 枚举类型字段 , 各枚举值具体含义4. 约束的定义 , 主键 , 外键这三个过程 , 就是实现⼀个数据库设计的三个关键的步骤 , 是⼀个从抽象到具体的⼀个不断细化完善的分析 , 设计和开发的过程 ;。

数据仓库概要设计数据仓库（Data Warehouse）是指把企业分散在不同数据库中的数据统一整合到一个数据库中进行存储和管理，并对这些数据进行分析和管理的一种数据库应用系统。

数据仓库的建设是企业信息化建设的重要组成部分，是企业对内部外部信息资源进行整合、挖掘和利用最有效的平台之一。

因此，进行数据仓库的概要设计是非常重要的一步。

1.数据仓库概述数据仓库，是一个能够存储大量历史数据的集合体，使得企业能够快速地进行数据分析、查询和决策。

数据仓库通常包括存储、管理和查询技术。

数据仓库的设计是基于自底向上的过程，通过收集各种应用中的数据来建立。

数据仓库的需求分析是设计的第一个步骤，通过需求分析可以把握到数据的来源、数据的主要特征、数据的处理方法、数据的处理效果等。

2.数据仓库的工作过程a.数据的收集数据收集的目的是获取各个分散在企业内部外部的数据源，并把这些数据源整合成数据集。

数据收集包括了跟踪源数据、数据的标准化、数据的清洗、数据的转换等。

b.数据的整合数据整合意味着将不同的数据源集成到一起，通常是通过ETL工具来实现。

ETL（Extract, Transform, Load）工具的主要功能是提取、转换和加载。

c.数据的存储数据仓库的存储方式一般有两种：关系型数据库和非关系型数据库。

d.数据的查询与分析数据仓库的用户可以通过BI工具（Business Intelligence）来进行数据的查询、分析和报表生成。

3.数据仓库的概要设计步骤a.数据仓库设计的第一步是需求分析，需求分析的目的是明确数据仓库的目标、范围和需求。

需求分析应该包括数据仓库的使用者、数据仓库所需数据的类型、数据的来源、数据的质量要求等。

b.数据仓库的概念设计是在需求分析的基础上，开始进行数据仓库的抽象模型的设计。

概念设计包括了数据仓库的模型设计、元数据的设计等。

c.数据仓库的逻辑设计是在概念设计的基础上，开始进行数据仓库的逻辑结构的设计。

概念数据模型设计与逻辑数据模型设计、物理数据模型设计是数据库及数据仓库模型设计的三个主要步骤。

在数据仓库领域有一个概念叫conceptual data model，中文一般翻译为“概念数据模型”。

概念数据模型是最终用户对数据存储的看法，反映了最终用户综合性的信息需求，它以数据类的方式描述企业级的数据需求，数据类代表了在业务环境中自然聚集成的几个主要类别数据。

概念数据模型的内容包括重要的实体及实体之间的关系。

在概念数据模型中不包括实体的属性，也不用定义实体的主键。

这是概念数据模型和逻辑数据模型的主要区别。

概念数据模型的目标是统一业务概念，作为业务人员和技术人员之间沟通的桥梁，确定不同实体之间的最高层次的关系。

在有些数据模型的设计过程中，概念数据模型是和逻辑数据模型合在一起进行设计的。

在数据仓库领域有一个概念叫logical data model，中文一般翻译为“逻辑数据模型”。

逻辑数据模型反映的是系统分析设计人员对数据存储的观点，是对概念数据模型进一步的分解和细化。

逻辑数据模型是根据业务规则确定的，关于业务对象、业务对象的数据项及业务对象之间关系的基本蓝图。

逻辑数据模型的内容包括所有的实体和关系，确定每个实体的属性，定义每个实体的主键，指定实体的外键，需要进行范式化处理。

逻辑数据模型的目标是尽可能详细的描述数据，但并不考虑数据在物理上如何来实现。

逻辑数据建模不仅会影响数据库设计的方向，还间接影响最终数据库的性能和管理。

如果在实现逻辑数据模型时投入得足够多，那么在物理数据模型设计时就可以有许多可供选择的方法。

在数据仓库领域有一个概念叫physical data model，中文一般翻译为“物理数据模型”。

物理数据模型是在逻辑数据模型的基础上，考虑各种具体的技术实现因素，进行数据库体系结构设计，真正实现数据在数据库中的存放。

物理数据模型的内容包括确定所有的表和列，定义外键用于确定表之间的关系，基于用户的需求可能进行发范式化等内容。

业务驱动任何需求均来源于业务,业务决定了需求,需求分析的正确与否是关系到项目成败的关键所在,从任何角度都可以说项目是由业务驱动的所以数据仓库项目也是由业务所驱动的.但是数据仓库不同于日常的信息系统开发,除了遵循其他系统开发的需求,分析,设计,测试等通常的软件声明周期之外;他还涉及到企业信息数据的集成,大容量数据的阶段处理和分层存储,数据仓库的模式选择等等,因此数据仓库的物理模型异常重要,这也是关系到数据仓库项目成败的关键.数据仓库的结构总的来说是采用了三级数据模型的方式:概念模型: 也就是业务模型,由企业决策者,商务领域知识专家和IT专家共同企业级地跨领域业务系统需求分析的结果.逻辑模型：用来构建数据仓库的数据库逻辑模型。

根据分析系统的实际需求决策构建数据库逻辑关系模型,定义数据库物体结构及其关系。

他关联着数据仓库的逻辑模型和物理模型这两头.物理模型：构建数据仓库的物理分布模型,主要包含数据仓库的软硬件配置,资源情况以及数据仓库模式。

如上图所示,在数据仓库项目中,物理模型设计和业务模型设计象两个轮子一样有力的支撑着数据仓库的实施,两者并行不悖,缺一不可.实际上,我有意的扩大了物理模型和业务模型的内涵和外延.在这里物理模型不仅仅是数据的存储,而且也包含了数据仓库项目实施的方法论,资源,以及软硬件选型等等;而业务模型不仅仅是主题模型的确立,也包含了企业的发展战略,行业模本等等.一个优秀的项目必定会兼顾业务需求和行业的标准两个方面,业务需求即包括用户提出的实际需求,也要客观分析它隐含的更深层次的需求,但是往往用户的需求是不明确的,需要加以提炼甚至在商务知识专家引导下加以引导升华,和用户一起进行需求分析工作;不能满足用户的需求,项目也就失去原本的意义了.物理模型就像大厦的基础架构,就是通用的业界标准,无论是一座摩天大厦也好,还是茅草房也好,在架构师的眼里,他只是一所建筑,地基->层层建筑->封顶,这样的工序一样也不能少,关系到住户的安全,房屋的建筑质量也必须得以保证,唯一的区别是建筑的材料,地基是采用钢筋水泥还是石头,墙壁采用木质还是钢筋水泥或是砖头;当然材料和建筑细节还是会有区别的,视用户给出的成本而定;还有不可忽视的一点是,数据仓库的数据从几百GB到几十TB不等,即使支撑这些数据的RDBMS无论有多么强大,仍不可避免的要考虑到数据库的物理设计.接下来,将详细阐述数据仓库概念模型(业务模型),逻辑模型,物理模型的意义.概念模型设计进行概念模型设计所要完成的工作是:界定系统边界确定主要的主题域及其内容确定主题域的关系概念模型设计是，在原有的业务数据库的基础上建立了一个较为稳固的概念模型。

数据仓库建模方法每个行业有自己的模型，但是不同行业的数据模型，在数据建模的方法上，却都有着共通的基本特点。

什么是数据模型数据模型是抽象描述现实世界的一种工具和方法，是通过抽象的实体及实体之间联系的形式，来表示现实世界中事务的相互关系的一种映射。

在这里，数据模型表现的抽象的是实体和实体之间的关系，通过对实体和实体之间关系的定义和描述，来表达实际的业务中具体的业务关系。

数据仓库模型是数据模型中针对特定的数据仓库应用系统的一种特定的数据模型，一般的来说，我们数据仓库模型分为几下几个层次。

图 2. 数据仓库模型通过上面的图形，我们能够很容易的看出在整个数据仓库得建模过程中，我们需要经历一般四个过程： ?业务建模，生成业务模型，主要解决业务层面的分解和程序化。

?领域建模，生成领域模型，主要是对业务模型进行抽象处理，生成领域概念模型。

?逻辑建模，生成逻辑模型，主要是将领域模型的概念实体以及实体之间的关系进行数据库层次的逻辑化。

?物理建模，生成物理模型，主要解决，逻辑模型针对不同关系型数据库的物理化以及性能等一些具体的技术问题。

因此，在整个数据仓库的模型的设计和架构中，既涉及到业务知识，也涉及到了具体的技术，我们既需要了解丰富的行业经验，同时，也需要一定的信息技术来帮助我们实现我们的数据模型，最重要的是，我们还需要一个非常适用的方法论，来指导我们自己针对我们的业务进行抽象，处理，生成各个阶段的模型。

为什么需要数据模型在数据仓库的建设中，我们一再强调需要数据模型，那么数据模型究竟为什么这么重要呢？首先我们需要了解整个数据仓库的建设的发展史。

数据仓库的发展大致经历了这样的三个过程：?简单报表阶段：这个阶段，系统的主要目标是解决一些日常的工作中业务人员需要的报表，?以及生成一些简单的能够帮助领导进行决策所需要的汇总数据。

这个阶段的大部分表现形式为数据库和前端报表工具。

?数据集市阶段：这个阶段，主要是根据某个业务部门的需要，进行一定的数据的采集，整理，按照业务人员的需要，进行多维报表的展现，能够提供对特定业务指导的数据，并且能够提供特定的领导决策数据。