下载文档原格式
第2章数据仓库2.1数据仓库的基本概念1. 数据仓库的数据是面向主题的数据仓库与数据挖掘技术图2-1主题间的重叠关系2. 数据仓库的数据是集成的3. 数据仓库的数据是不可更新的数据仓库与数据挖掘技术4. 数据仓库的数据是随时间不断变化的图2-2数据仓库体系结构2.2数据仓库的体系结构数据仓库与数据挖掘技术图2-3数据仓库数据组织结构2.2.1元数据1. 元数据在数据仓库中的作用2. 元数据的使用3. 元数据的分类4. 元数据的内容2.2.2粒度的概念1. 按时间段综合数据的粒度2. 样本数据库2.2.3分割问题1. 分割的优越性2. 数据分割的标准3. 分割的层次2.2.4数据仓库中的数据组织形式1. 简单堆积结构图2-4简单堆积结构数据组织形式2. 轮转综合结构数据仓库与数据挖掘技术图2-5轮转综合结构数据组织形式3. 简单直接结构图2-6简单直接结构数据组织形式4. 连续结构图2-7连续结构数据组织形式数据仓库与数据挖掘技术2.3数据仓库的数据模型2.3.1概念数据模型图2-8商品、顾客和供应商E-R图2.3.2逻辑数据模型2.3.3物理数据模型2.3.4高层数据模型、中间层数据模型和低层数据模型1. 高层数据模型2. 中间层数据模型3. 低层数据模型数据仓库与数据挖掘技术2.4数据仓库设计步骤图2-9数据仓库设计步骤2.4.1概念模型设计1. 界定系统边界2. 确定主要的主题域3. 实例2.4.2技术准备工作2.4.3逻辑模型设计1. 分析主题域2. 划分粒度层次3. 确定数据分割策略4. 定义关系模式5. 定义记录系统2.4.4物理模型设计1. 确定数据的存储结构数据仓库与数据挖掘技术2. 确定索引策略3. 确定数据存放位置4. 确定存储分配2.4.5数据仓库的生成1. 接口设计2. 数据装入2.4.6数据仓库的使用和维护1. 开发DSS应用图2-10DSS应用开发步骤2. 进一步理解需求，改善系统，维护数据仓库图2-11William H.Inmon数据仓库设计步骤数据仓库与数据挖掘技术2.5利用SQL Server 2005构建数据仓库图2-12使用Visual Studio 2005系统新建项目图2-13新建Analysis Services项目图2-14新建数据源数据仓库与数据挖掘技术图2-15新建数据源向导图2-16选择如何连接数据源图2-17连接管理器图2-18连接管理器连接测试成功窗口图2-19选择已经连接的数据库作为数据源图2-20选择连接数据源的凭证图2-21新建数据源向导完成图2-22右击新建数据源视图图2-23新建数据源视图向导图2-24选择视图的数据源图2-25选择表和视图图2-26完成新建数据源视图向导图2-27新建多维数据集图2-28多维数据集向导图2-29选择生成多维数据集的方法图2-30选择多维数据集的数据源视图图2-31检测事实数据表和维度表图2-32标示事实表和维度表图2-33选择度量值图2-34扫描维度图2-35查看维度结构图2-36完成多维数据集向导图2-37创建完成数据仓库界面习题21. 如何理解数据仓库是面向主题的、集成的、不可更改的和是随时间不断变化的。
所谓的数据仓库架构，我也是第一次听说，改改一些概念，干脆一起来分享一下吧，没准还能成为行业标准，呵呵！该架构主要分为四层结构体系：> ODS层主要负责采集业务系统并保存一定期限内的相关业务数据。
当然也可以满足用户对明细数据的查询要求，姑且也可以算作明细数据仓库。
> 数据仓库层将ODS层经过质量检查、清洗、转换后，形成符合质量要求的公共数据中心。
实际上与ODS层差别不大，都是建立以ER为中心的数据关系，方便以后的数据的聚合。
> 明细数据集市层即前面所说的事实层按主题及KPI指标对数据仓库层数据进行进一步转换，将指标与维度组成数据集市。
这是OLAP 的数据基础。
> 聚合数据集市层即OLAP在明细数据集市层的基础上，提供基于联机分析处理(OLAP)引擎的多维分析能力，解决联机分析功能和决策支持要求。
> 数据展现层按照用户报表要求，提供用户报表界面及预警分发机制。
其中前3层都是属于ETL层的，问题是层次出来了我的疑问也出来了，都是属于那种别人不操心我瞎操心的事。
毕竟算是搞数据库出身的(搞过一些索引和简单的SQL调优)，最关心的还是性能问题。
数据仓库是企业级的数据中心，每天上G的数据的企业不在少数，那么多的层次，使用工具能抽的完数据吗？说实话我实在不信任ETL工具，总感觉他没我写的SQL语句效率高；即使抽的完数据，那么多的层次转换能处理的完吗；即使处理完，如果万一一个环节出现问题，能回退或重新处理吗；处理完后那OLAP该怎么调度啊；数据质量（清洗转换）到底在哪个环节处理；数据质量到底包括哪些东西(除了主外键缺失和NULL值)，兄弟比较愚笨，一直想不明白；不合质量要求的数据如何处理；入库的数据在业务库发生更改怎么办；业务数据没有时间戳怎么办；数据核对和校验工作如何进行；不管工具也好代码也好，到底有没有通用的处理流程(比如维度数据处理，原始业务数据抽取，事实表日结处理)；还有就是到现在也没搞到合适的需求设计文档的模板(如果哪位兄弟有可以帮忙提供一下)。
数据仓库的概念和体系结构概述数据仓库是指将企业各个部门和业务系统产生的大量数据进行整合、清洗、集成和存储，以满足企业决策分析和业务需求的信息系统。
数据仓库的设计和建设需要考虑到数据的整合、一致性、稳定性、易用性和安全性等方面的需求。
它是一个面向主题的、集成的、相对稳定的、可供企业管理者和决策者使用的数据集合。
1.数据源层：数据仓库的数据源可以来自企业内部的各个部门和业务系统，也可以来自外部的合作伙伴和第三方数据提供商。
数据源的选择和集成是数据仓库建设的关键环节，需要确定数据的提取方式、频率、粒度和格式等。
2.数据提取层：数据提取层负责从各个数据源中提取数据，并进行初步的清洗和转换。
数据提取可以通过批量处理、定时任务或实时流数据处理等方式进行。
在数据提取过程中，需要解决数据一致性、完整性和准确性等问题。
3. 数据集成层：数据集成层是将从各个数据源提取的数据进行整合和合并的地方。
这里的数据整合包括数据清洗、数据转换和数据聚合等操作。
数据集成层可以使用ETL（Extract、Transform、Load）工具进行数据的清洗和转换。
在数据集成层，还需要对数据进行一致性校验和冲突解决。
4.数据存储层：数据存储层是数据仓库最核心的组成部分，它负责存储整合后的数据。
数据存储层可以采用关系数据库、数据仓库等不同的技术来进行存储。
在设计数据存储层时，需要考虑到数据的存储结构、索引方式、数据分区和冗余备份等问题。
6. 数据访问层：数据访问层是用户直接访问数据仓库的接口，它提供了用户对数据仓库的查询、分析和报表生成等功能。
数据访问层可以使用OLAP（Online Analytical Processing）工具、报表工具、数据挖掘工具和BI（Business Intelligence）平台等进行实现。
7.数据安全层：数据安全是数据仓库设计和建设过程中必须要考虑的问题之一、数据安全层负责保护数据仓库中的数据不受未经授权的访问、修改和破坏。
空间数据仓库体系结构框架的概念模型随着信息技术的不断发展和应用，数据已成为现代社会中最重要的资源之一。
在各行各业中，数据的收集、存储、处理和应用都已成为必不可少的工作。
而在地理信息领域中，空间数据的重要性更是不言而喻。
空间数据是指与地理位置相关的数据，包括地理位置、地物、地形、地貌等信息。
这些数据的收集、管理和应用对于地理信息系统的开发和应用具有重要的作用。
随着空间数据的增多和应用需求的不断增加，空间数据仓库的开发和应用也变得越来越重要。
空间数据仓库是指将空间数据集成到一个统一的数据库中，通过数据仓库技术实现数据的快速查询、分析和应用的一种方式。
空间数据仓库的开发和应用可以帮助用户更加方便地获取和利用空间数据，提高工作效率和数据应用的质量。
在空间数据仓库的开发和应用中，数据仓库体系结构框架的概念模型是一个非常重要的工具。
数据仓库体系结构框架是指数据仓库系统中各个组成部分之间的关系模型，包括数据仓库的数据模型、数据存储、数据访问和数据应用等方面。
数据仓库体系结构框架的概念模型可以帮助用户更好地理解和应用数据仓库系统，提高数据仓库的开发和应用效率。
在空间数据仓库体系结构框架的概念模型中，数据仓库的数据模型是非常重要的一部分。
数据模型是指数据仓库系统中数据的组织和存储方式，包括维度模型和事实模型。
维度模型是指以业务过程和业务实体为基础的数据模型，用于描述数据之间的关系和属性。
事实模型是指描述事实和关系的数据模型，用于描述数据之间的关系和属性。
在空间数据仓库中，数据模型应该以地理位置为基础，将空间数据与其他数据进行关联和分析，实现空间数据的快速查询和分析。
数据存储是数据仓库体系结构框架的概念模型中的另一个重要组成部分。
数据存储是指数据仓库中数据的物理存储方式，包括数据仓库的数据结构、数据仓库的存储介质和数据仓库的备份和恢复等方面。
在空间数据仓库中，数据存储应该采用高效的存储技术，如多维数组、索引和压缩等技术，以提高数据的存储和查询效率。
数据仓库的体系结构（1）数据源：是数据仓库系统的基础，是整个系统的数据源泉。
通常包括企业内部信息和外部信息。
内部信息包括存放于数据库管理系统中的各种业务处理数据和各类文档数据。
外部信息包括各类法律法规、市场信息和竞争对手的信息等。
（2）数据的存储与管理：是整个数据仓库系统的核心。
数据仓库的真正关键是数据的存储和管理。
数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。
要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。
针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。
数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。
（3）OLAP服务器：对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。
其具体实现可以分为ROLAP、MOLAP和HOLAP。
ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。
（4）前端工具：主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。
其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。
数据仓库的概念与体系结构概念数据仓库是指集成了企业各个部门内部数据源以及外部数据源，并将这些数据进行整合、加工、清洗、归类后，存储到一个专门的数据库中，以支持企业数据决策分析的一种技术体系。
它是一个面向主题的、集成的、可变的、非易失的数据集合，支持企业决策制定者进行分析与决策。
数据仓库是将企业海量的数据以主题为维度进行归纳与整合，清洗过后的结构化数据，不仅包括内部的数据源，还可以包含外部数据源的合并，以便于管理与分析。
相对于传统的数据库，数据仓库更加注重主题分析和决策支持。
它以可视化、图表化的方式展示数据，帮助企业进行全面、深入的分析。
体系结构数据仓库的体系结构分为三层，分别是数据采集层、数据仓库层和数据应用层。
数据采集层数据采集层主要负责收集数据，并将数据送至数据仓库层进行处理和存储。
数据采集层对数据进行抽取、转换、加载等一系列预处理操作，以确保数据的质量和可靠性。
常用的数据采集技术包括ETL（抽取、转换、加载）、CDC（变更数据捕获）等。
数据仓库层数据仓库层是数据仓库体系结构中的核心层，主要用于存储、管理和加工数据。
数据仓库层主要由数据存储和数据管理两部分组成。
数据存储部分用于存储各种类型的数据，包括企业内部数据、外部数据和第三方数据。
数据管理部分则用于管理数据仓库中的数据，包括数据的分区、索引、备份等操作。
常见的数据仓库管理系统有Oracle、Teradata、Greenplum等。
数据应用层数据应用层主要用于支持企业的数据决策分析。
该层包括各种类型的分析工具和应用程序，如智能报表、数据挖掘、机器学习、数据可视化等，可以帮助企业进行复杂的数据分析和有效的决策制定。
常见的BI工具有PowerBI、Tableau、SAS、Cognos等。
数据仓库是一种用于支持企业数据决策分析的技术体系，是由数据采集层、数据仓库层、数据应用层三个主要部分组成的。
其中数据采集层负责数据的收集和处理，数据仓库层用于存储和管理数据，数据应用层则是为企业提供分析和决策支持的关键层。
数据仓库体系结构
数据仓库是一个用于集成、管理和分析大量数据的系统。
在数据仓库中，数据从不同的源系统中提取、转换和加载，然后存储在一个统一的、可供分析的数据存储中。
为了实现这一目标，数据仓库需要一个合理的体系结构来支持数据的整合、存储和查询等功能。
数据仓库体系结构由以下几个主要组成部分组成：
1. 数据源：数据源是数据仓库的基础，它可以是内部系统的数据库、外部数据提供商的数据文件、Web上的数据源等。
数据源可以包括结构化数据（如关系型数据库中的表）和非结构化数据（如文本文件、图像文件等）。
2. 数据提取：数据提取是将数据从源系统中抽取出来并转换为数据仓库可以使用的格式的过程。
数据提取可以通过批处理、定时任务或实时流式传输等方式进行。
3. 数据转换：数据转换是将提取的数据进行清洗、集成和转换的过程。
在这个阶段，数据被清理、去重、标准化和转换为统一的格式和结构，以便在数据仓库中进行分析。
4. 数据加载：数据加载是将转换后的数据加载到数据仓库中的过程。
数据加载可以分为全量加载和增量加载两种方式，全量加载是将所有数据加载到数据仓库中，而增量加载是只加载发生变化的数据。
5. 数据存储：数据存储是数据仓库中数据的物理存储方式。
常用的数据存储方式包括关系型数据库、多维数据库和列式数据库等。
数据存储的选择应根据数据的特点、查询需求和性能要求等因素进行。
6. 元数据管理：元数据是描述数据仓库中数据的数据，它包括数据的结构、定义、来源、质量等信息。
元数据管理是对元数据进行收集、存储、管理和查询的过程，它是数据仓库管理的重要组成部分。
7. 数据访问：数据访问是用户通过查询、报表和分析等方式对数据仓库中的数据进行访问和分析的过程。
数据仓库可以提供多种数据访问方式，包括在线分析处理（OLAP）、数据挖掘和数据可视化等。
8. 安全性和权限管理：安全性和权限管理是保护数据仓库中数据安全和控制用户访问权限的过程。
数据仓库应具备完善的安全措施，包括身份认证、权限控制、数据加密和审计等功能。
9. 性能优化：性能优化是提高数据仓库查询和分析性能的过程。
通过合理的数据建模、索引设计、查询优化和硬件配置等方式，可以提高数据仓库的性能和响应速度。
10. 数据质量管理：数据质量管理是确保数据仓库中的数据准确、完整、一致和可靠的过程。
数据质量管理包括数据清洗、数据验证、异常检测和数据修复等操作，以确保数据的质量符合要求。
数据仓库体系结构是一个复杂的系统，它包括数据源、数据提取、数据转换、数据加载、数据存储、元数据管理、数据访问、安全性和权限管理、性能优化和数据质量管理等组成部分。
合理的数据仓库体系结构能够支持数据的整合、存储和查询等功能，为用户提供高效、可靠的数据分析和决策支持。
