数据仓库与OLAP-数据仓库基本概念

BI、数据仓库、OLTP、OLAP⼀、BI 商业智能（Business Intelligence，简称：BI），⼜称商业智慧或商务智能，指⽤现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进⾏数据分析以实现商业价值。

商业智能的概念在1996年最早由加特纳集团（Gartner Group）提出，加特纳集团将商业智能定义为：商业智能描述了⼀系列的概念和⽅法，通过应⽤基于事实的⽀持系统来辅助商业决策的制定。

商业智能技术提供使企业迅速分析数据的技术和⽅法，包括收集、管理和分析数据，将这些数据转化为有⽤的信息，然后分发到企业各处。

⼆、数据仓库 Data Warehouse，可简写为DW或DWH。

数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据⽀持的战略集合。

它是单个数据存储，出于分析性报告和决策⽀持⽬的⽽创建。

为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

数据仓库是⾯向主题的；操作型数据库的数据组织⾯向事务处理任务，⽽数据仓库中的数据是按照⼀定的主题域进⾏组织。

主题是指⽤户使⽤数据仓库进⾏决策时所关⼼的重点⽅⾯，⼀个主题通常与多个操作型信息系统相关。

数据仓库是集成的，数据仓库的数据有来⾃于分散的操作型数据，将所需数据从原来的数据中抽取出来，进⾏加⼯与集成，统⼀与综合之后才能进⼊数据仓库 概括来说，数据仓库系统是指具有综合企业数据的能⼒，能够对⼤量企业数据进⾏快速和准确分析，辅助做出更好的商业决策的系统。

它本⾝包括三部分内容：1、数据层：实现对企业操作数据的抽取、转换、清洗和汇总，形成信息数据，并存储在企业级的中⼼信息数据库中。

2、应⽤层：通过联机分析处理，甚⾄是数据挖掘等应⽤处理，实现对信息数据的分析。

3、表现层：通过前台分析⼯具，将查询报表、统计分析、多维联机分析和数据发掘的结论展现在⽤户⾯前。

从应⽤⾓度来说，数据仓库系统除了联机分析处理外，还可以采⽤传统的报表，或者采⽤数理统计和⼈⼯智能等数据挖掘⼿段，涵盖的范围更⼴；就应⽤范围⽽⾔，联机分析处理往往根据⽤户分析的主题进⾏应⽤分割，例如：销售分析、市场推⼴分析、客户利润率分析等等，每⼀个分析的主题形成⼀个OLAP应⽤，⽽所有的OLAP应⽤实际上只是数据仓库系统的⼀部分。

数据仓库技术的名词解释随着数据的快速增长和业务需求的不断变化，数据仓库技术在企业管理和决策中变得愈发重要。

本文将对数据仓库技术中涉及的一些关键名词进行解释，帮助读者更好地理解和应用这一技术。

一、数据仓库数据仓库(Data Warehouse)是指将企业内部各个业务系统产生的数据进行抽取、转换和加载，经过集成、整理和归档后存放在一个统一的数据存储系统中。

通过对数据的汇总和整合，数据仓库提供了一个面向决策和分析的统一数据源，为企业提供战略决策和业务分析等方面的支持。

二、ETLETL(Extraction, Transformation and Loading)是指数据仓库中的数据抽取、转换和加载过程。

数据仓库需要从各个业务系统中抽取数据，进行清洗、转换和整理，然后加载到数据仓库中。

这一过程确保了数据的一致性和可靠性，使得数据可以被有效地用于决策分析和报表生成等业务场景中。

三、维度建模维度建模(Dimensional Modeling)是一种对数据进行建模的方法论，用于构建数据仓库中的维度模型(Dimensional Model)。

维度模型基于维度表和事实表的关系，通过定义维度和度量，将事实数据与上下文信息进行关联，提供了一种直观和灵活的数据分析方式。

维度建模常用的方法有星型模型和雪花模型。

四、星型模型星型模型(Star Schema)是一种常用的维度模型，以一个中心的事实表和多个维度表构成。

中心的事实表记录了业务过程中的事实，如销售额、订购数量等，而维度表则提供了和事实表相关的上下文信息，如产品、时间、地域等。

星型模型的简单结构和高性能查询使得其在数据仓库中被广泛采用。

五、雪花模型雪花模型(Snowflake Schema)是星型模型的一种扩展，通过将维度表进一步细化为多个层级的表，实现了对维度关系的更精细管理。

雪花模型的优势在于可以减少数据的冗余性和提升查询性能，但同时也增加了表的数量和复杂度。

在实际应用中，根据业务需求和系统性能，选择适合的维度模型是至关重要的。

数据仓库的名词解释数据仓库的名词解释数据仓库（Data Warehouse）是指一个用于存储、整合和管理企业各个部门产生的大规模数据的集中式数据库系统。

它主要用于支持企业决策制定、战略规划以及业务分析。

数据仓库的设计和构建需要考虑数据的采集、转换、加载以及存储等多个方面，以确保数据的准确性和可用性。

一、数据仓库的基本概念数据仓库是一个面向主题的、集成的、时间一致的、非易失的数据集合，用于支持企业决策制定和业务分析。

它将来自不同数据源的数据进行抽取、转换和加载，形成一个统一的、易于查询和分析的数据源。

数据仓库的特点：1. 面向主题：数据仓库以主题为中心，将数据按照主题进行组织和存储，以满足不同部门和用户的信息需求。

2. 集成：数据仓库将来自不同数据源的数据进行整合，消除了数据冗余和不一致性。

3. 时间一致性：数据仓库中的数据是按照一致的时间标准进行存储和管理的，以支持历史数据分析和趋势预测。

4. 非易失性：数据仓库中的数据一旦存储，不会轻易被删除或修改，以确保数据的可追溯性和可靠性。

二、数据仓库的架构和组成部分数据仓库的架构通常包括数据采集、数据转换、数据加载、数据存储和数据查询等几个关键组成部分。

1. 数据采集：数据仓库的数据采集涉及到从各个数据源中提取和抽取数据的过程。

这些数据源可以是企业内部的关系型数据库、操作型数据源，也可以是外部的数据源，如Web数据、日志数据等。

数据采集可以通过ETL（Extract、Transform、Load）工具进行，在此过程中可以对数据进行清洗、转换和加工。

2. 数据转换：数据采集后，需要进行数据转换的操作，将采集到的数据进行整合和规范化。

这包括数据清洗、数据集成、数据变换等一系列处理，以确保数据的一致性和质量。

3. 数据加载：数据加载是将经过转换的数据加载到数据仓库中的过程。

数据加载可以是全量加载，也可以是增量加载。

在加载过程中，还可以对数据进行校验和验证，以确保数据的准确性和完整性。

数据仓库和LOAP应用技术传统数据库以及OLTP(On-Line Transaction Processing联机事务处理)在日常的管理事务处理中获得了巨大的成功，但是对管理人员的决策分析要求却无法满足。

因为，管理人员常常希望能够通过对组织中的大量数据进行分析，了解业务的发展趋势。

而传统数据库只保留了当前的业务处理信息，缺乏决策分析所需要的大量的历史信息。

为满足管理人员的决策分析需要，就需要在数据库的基础上产生适应决策分析的数据环境——数据仓库(Data Warehouse)。

数据仓库系统是一个信息提供平台，是决策支持系统和联机分析应用数据源的结构化数据环境。

数据仓库研究和解决从数据库中获取信息的问题。

从功能结构化分，数据仓库系统至少应该包含数据获取（Data Acquisition）、数据存储（Data Storage）、数据访问（Data Access）三个关键部分。

其体系结构如下：业务处理系统即是数据库去实现的即时记录的功能，在数据准备区进行ETF处理，数据经过抽取、转换之后加载到数据仓库中，因此也说数据仓库是利用的已经存在的历史记录去整合，是利用原有数据分析下一步行动的决策，是有风险的。

分析完主题和数据元后建立数据模型（概念模型、逻辑模型、物理模型）并形成事实表和纬度表，然后通过粒度分析将历史记录先抽取整合，然后再根据决策者可能用到的数据集合分解成若干记录，以备不同决策者使用；再利用OLAP工具技术进行数据的分析导出。

当然，这些都在了解了管理者即客户的需求之后进行的，或者是由企业的管理者自己进行的技术应用或分析。

模型设计的过程如下：数据仓库是管理决策分析的基础，要有效地利用数据仓库的信息资源，必须要有强大的工具对数据仓库的信息进行分析决策。

On-line Analytical Processing(在线分析处理或联机分析处理)就是一个应用广泛的数据仓库使用技术。

它可以根据分析人员的要求，迅速灵活地对当量的数据进行复杂的查询处理，并以直观的容易理解的形式将查询结果提供给各种决策人员，使他们能够迅速准确地掌握企业的运营情况，了解市场的需求。

⼤数据导论（4）——OLTP与OLAP、数据库与数据仓库公司内部的数据⾃下⽽上流动，同时完成数据到信息、知识、洞察的转化过程。

⽽企业内部数据，从⽇常OLTP流程中产⽣，实时存储进不同的数据库中。

同时定期被提取、经格式转化、清洗和加载（ETL），以统⼀的格式存储进数据仓库，以供决策者进⾏OLAP处理，并将处理结果可视化。

OLTP & OLAP企业的数据处理可以分成两⼤类：联机事务处理OLTP、联机分析处理OLAP。

OLTP（On-Line Transaction Processing，联机事务处理）——数据库的增删查改。

是⾯向“事务”类型的操作。

有⼏个显著的特点：要求速度快/操作涉及的数据量不⼤/要求精准操作。

事物型数据⼤多都具有⾼度规范化。

因此OLTP系统是结构化数据的主要数据源。

OLAP（On-Line Analytical Processing，联机分析处理）——⽀持复杂的分析、查询操作，侧重决策⽀持，并且提供直观易懂的查询结果。

解决了涉及多维度数据的问题（传统数据库⽆法满⾜OLAP所需要的数据信息）。

数据库 & 数据仓库数据库的主要应⽤场景为联机事务处理（OLTP），数据仓库的主要应⽤场景为联机分析处理（OLAP）。

数据库（Database）——⽤于存储电⼦⽂件，⽤户可以对⽂件中的数据运⾏新增、截取、更新、删除等操作。

为对数据库进⾏管理，开发设计出数据库管理系统（Database Management System）。

数据仓库（DataWarehouse）——⽤于存储数据的中央、企业级系统，存储的数据多为历史数据。

特点：数据仓库中的数据围绕企业主题（Subject-Oriented ）、经过集成（Integrated）、定期更新（Time-Variant）、具有⾮易失性（Non-Volatile，不可修改，多以只读格式返回给⽤户）；结构：暂存层、集成层、访问层与OLAP的关系：数据仓库为OLAP解决了数据来源问题，并与OLAP互相促进发展，进⼀步驱动了商务智能的成熟。

一数据仓库与OLAP技术1 数据仓库的定义与特征1.1 数据仓库的定义数据仓库已被多种方式定义，使得很难给出一种严格的定义。

宽松地来讲，数据仓库是一个数据库，它与组织机构的操作数据库分别维护，数据仓库系统允许将各种应用系统集成在一起，为统一的历史数据分析提供坚实的平台，为信息处理提供支持。

下面给出数据仓库之父对数据仓库的定义：数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于经营管理中的决策支持。

随着数据库技术的应用和发展，人们尝试对数据库DB中的数据进行再加工，形成一个综合的，面向分析的环境，以更好支持决策分析，从而形成了数据仓库技术。

其中，作为决策支持系统，数据仓库系统如图1.1包括:1. 数据仓库技术2. 联机分析处理技术3. 数据挖掘技术图1.1 数据仓库系统结构图1.2 数据仓库的特征数据仓库的四个主要特征。

1. 面向主题(subject-oriented)数据仓库中的数据是根据面向主题的方式组织的。

主题是用户所关心的数据对象，每个主题对应一个客观分析领域，如客户、商店等。

在系统中数据是根据业务流程进行组织的，同一主题的数据往往存放在多个数据表中，用户查询时需要在不同的数据表之间切换。

而在数据仓库中数据是根据主题组织的，同一主题的数据往往在一个事实表中，并且只有符合主题的数据才可进入数据仓库。

2. 集成(integrated)指在数据进入数据仓库之前，必须经过数据加工和集成，这是建立数据仓库的关键步骤，首先要统一原始数据中的矛盾之处，还要将原始数据结构做一个从面向应用向面向主题的转变。

通常构造数据仓库是将多个数据源，如关系数据库、文件和一些外部数据源，集成在一起。

使用数据清理和数据集成技术，确保命名约定、编码结构、属性度量等的一致性。

3. 时变(time-variant)数据仓库是不同时间的数据集合，数据存储从历史的角度提供信息。

它要求数据仓库中的数据保存时限能满足进行决策分析的需要，而且数据仓库中的数据都要标明该数据的历史时期。