数据仓库的设计与开发课件

数据仓库体系结构
数据库系统模式（操作型数据）
采购子系统: 订单（订单号，供应商号，商品号，类别，单价。数量，总金额，日
期， … ） 供应商（供应商号，供应商名，地址，电话，…）
销售子系统： 客户（客户号，姓名，地址，电话， … ） 销售（客户号，商品号，数量，单价，日期， … ）
库存子系统： 进库单（编号，商品号，数量，单价，日期， … ） 出库单（编号，商品号，数量，单价，日期， … ） 库存（商品号， 库房号，类别，单价，库存数量，
21
第2章 数据仓库
数据仓库体系结构
数据源
数据仓库
RDBMS 数据文件
其他
综合数据 当前数据 历史数据 元数据
分析工具 查询工具 OLAP工具 DM工具
抽取、转换、装载
精选ppt
22
第2章 数据仓库
数据仓库体系结构
数据仓库体系结构实例-税务数据仓库
数据源
ETL
数据存储
数据访问 数据展示
生产 数据库
数据集市
EXCEL
数据仓库
5-10 年
当前 详细数据
过去 详细数据
精选ppt
25
第2章 数据仓库
数据仓库体系结构
数据仓库数据的组织
• 数据由操作型环境（综合）导入数据仓库 • 数据具有不同的细节
早期细节级（过期数据） 当前细节级 轻度综合数据级（数据集市） 高度综合数据级
精选ppt
26
第2章 数据仓库
多渠道
社保库
遗留系统 数据库
E
外部 数据源
数据复制 平台
转换 T 中转区
L 加载 中转区
文档 数据
地市库
个税库

聚类分析
将相似的数据聚集成不同的群体， 如客户分群、市场细分等。
数据展现技术
报表
通过报表展示数据的汇总和分析 结果，如销售报表、财务报告等
。
图表
通过图表展示数据的趋势和关系 ，如折线图、柱状图、饼图等。
可视化大屏
通过可视化大屏展示数据的实时 动态和全局信息，如监控大屏、
指挥中心等。
03
CATALOGUE
案例二：亚马逊的数据仓库实践
背景介绍：亚马逊作为全球最大的在线零售商之一，需要处理海量的销售数据和客户评价数据，为了更好地进行数据分析和 决策，亚马逊建立了自己的数据仓库。
亚马逊的数据仓库实践采用了分布式计算平台，基于Hadoop平台进行构建，处理海量的销售数据和客户评价数据，同时采 用了ETL工具进行数据清洗和整合，建立了自己的数据仓库模型，并进行了数据分析和挖掘，为公司的决策提供了有力的支持 。此外，亚马逊还利用数据仓库进行了客户行为分析，为个性化推荐和精准营销提供了支持。
采用星型模型设计数据仓库，将数据分为事实表和维度表，适用 于快速查询和报表生成。
雪花模型设计
采用雪花模型设计数据仓库，将数据按照层级进行划分，适用于需 要高度扩展和稳定性的系统。
ETL工具的使用
采用ETL工具进行数据抽取、转换和加载，提高数据处理效率和准 确性。
04
CATALOGUE
数据仓库实施
实施步骤
案例四：银行的数据仓库设计
背景介绍：银行作为金融行业的重要机构之 一，需要处理大量的金融交易数据和客户信 息数据，为了更好地进行风险管理和业务决 策，银行进行了数据仓库设计。
银行的数据仓库设计采用了分布式计算平台 ，基于Hadoop平台进行构建，处理大量的 金融交易数据和客户信息数据，同时采用了 ETL工具进行数据清洗和整合，建立了自己 的数据仓库模型，并进行了数据分析和挖掘 ，为风险管理和业务决策提供了有力的支持 。此外，银行还利用数据仓库进行了客户行 为分析，为个性化服务和精准营销提供了支

（5）设计事实表和维表 。设计事实表和维表的具体 属性。在事实表中应该记录哪些属性是由维表的数 量决定的。一般来说，与事实表相关的维表的数量 应该适中，太少的维表会影响查询的质量，用户得 不到需要的数据，太多的维表又会影响查询的速度。
PPT文档演模板
第4章数据仓库设计与开发[1]
概念模型到逻辑模型的转换
第4章数据仓库设计与开 发
PPT文档演模板
2020/11/26
第4章数据仓库设计与开发[1]
第四章 数据仓库设计与开发
o 本章内容
n 4.1 数据仓库开发应用过程 n 4.2 数据仓库的规划 n 4.3 数据仓库的分析与设计 n 4.4 数据仓库的实施 n 4.5 数据仓库技术与开发的困难
PPT文档演模板
o 星型模型的设计步骤如下：
（6）按使用的DBMS和分析用户工具，证实设计方 案的有效性 。根据系统使用的DBMS，确定事实 表和维表的具体实现。由于不同的DBMS对数据 存储有不同的要求，因此设计方案是否有效还要放 在DBMS中进行检验
（7）随着需求变化修改设计方案。 随着应用需求的 变化，整个数据仓库的数据模式也可能会发生变化。 因此在设计之初，充分考虑数据模型的可修改性可 以节省系统维护的代价。
PPT文档演模板
第4章数据仓库设计与开发[1]
4.3.1 需求分析
o 确定主题域 o 支持决策的数据来源 o 数据仓库的成功标准和关键性能指标 o 数据量与更新频率
PPT文档演模板
第4章数据仓库设计与开发[1]
确定主题域
（1）明确对于决策分析最有价值的主题领域 有哪些？
（2）每个主题域的商业维度是哪些？每个维 度的粒度层次有哪些？
o 整个企业看，建立数据仓库的目的之一是获得对整个企业业务 信息的视图。以便能把握和管理企业的经营运行，并对企业进 行业务重组。

客 户
客户号
客户固有信息：客户号，客户名，性别，年龄，文化程度， 住址，电话等
客户经济息：客户号，年收入，家庭总收入等
概念模型到逻辑模型的转换
（1星维）促型 数确销模据定商型模品决的型策设的分计依析销步据需售骤。数求据如。下决：策部门需求城市是地区建立多 （时2间）从需求中识别出事实。选择或设计反映
1
商品
m 商品号 商品名 商品类号
销售
1
m 销售日期
商店号
商品号
销售数量
m 销售单位
1
1
m
存货 星期 商店号 商品号 数量
转换示例
（2）E-R图向多维表的转换
商品维
地区维
部门
地区
时间维 年
商品大类
商店
月
商品
周
日
销售事实
转换示例
（3） 利用 维关 键字 制定 的星 型模 型
时间
时间键 时间说明 日期 星期 月 年 级别号
数据仓库的结构
数据仓库的应用结构
基于业务处理系统的数据仓库 单纯数据仓库 单纯数据集市 数据仓库和数据集市
数据仓库的技术平台结构
单层结构 客户/服务器两层结构 三层客户/服务器 多层式结构
数据仓库使用方案和项目规划预算
实际使用方案还可以将最终用户的决策支持要求与 数据仓库的技术要求联系起来
信息？ （3）提供决策支持的细节程度是怎样的？
数据仓库的成功标准和关键性能指标
（1）衡量数据仓库成功的标准是什么？ （2）哪些关键的性能指标？如何监控？ （3）对数据仓库的期望是什么？ （4）对数据仓库的预期用途有哪些？ （5）对计划中的数据仓库的考虑要点是什么？

总结
展望数据库设计与开发的未来趋势，总结课程重点，为大家提供一个全面的视角。
Байду номын сангаас
第二章：关系型数据库设计
通过学习关系模型和实体-关系模型的概念，掌握数据库设计的步骤和规范， 以及实体和属性的命名方法。
第三章：SQL语言
了解SQL语言的概述和基本语法，学习数据查询语言的使用和应用，以及视图 和存储过程的创建与使用。
第四章：MySQL数据库应用
掌握MySQL的安装和基本配置，学习数据库和表的创建和管理，以及数据的导入和备份技巧。
数据库设计开发PPT课件
欢迎来到《数据库设计开发》PPT课件。在这个课程中，我们将探讨数据库的 基础概念、关系型数据库设计、SQL语言、MySQL数据库应用、NoSQL数据 库、大数据与云计算以及数据库应用与开发等内容。
第一章：数据库基础概念
我们将了解数据库的定义和分类，数据库管理系统的功能和组成，以及数据 库范式和数据完整性等重要概念。
第五章：NoSQL数据库简介
深入了解NoSQL数据库的定义和特点，探讨各类NoSQL数据库类型的分类和 应用场景，以及其优缺点和未来发展趋势。
第六章：大数据与云计算
研究大数据的定义和特点，探索大数据处理技术和工具，以及云计算的基本 概念和云计算服务模式。
第七章：数据库应用与开发
分类分析数据库应用的各个领域应用案例，讨论数据库开发的流程和注意事 项，以及数据库维护和优化的方法和技巧。

提高数据存储效率
通过合理设计数据库结构，可以减少 数据冗余，提高数据存储效率。
保障数据安全性
数据库设计可以制定合理的数据访问 权限和控制策略，保障数据的安全性 。
支持业务应用
数据库是业务应用的基础，良好的数 据库设计可以支持业务应用的稳定运 行和扩展。
数据库设计目标与原则
满足用户需求
根据用户需求，设计符合业务逻辑和规则的数据库结构。
保障数据完整性
通过设定合理的约束条件，确保数据的完整性和准确性。
数据库设计目标与原则
• 提高系统性能：优化数据库性能，提高数据查询、插入、 更新等操作的速度和效率。
数据库设计目标与原则
一致性原则
保持数据库结构的一致性和标准化， 避免出现不一致或冲突的设计。
完整性原则
确保数据的完整性和准确性，设定必 要的约束条件和验证规则。
要点一
实时监控
要点二
历史数据分析
通过专业工具实时监控数据库性能指标，如响应时间、吞 吐量等。
对历史性能数据进行分析，找出性能瓶颈和优化方向。
数据库性能监控及调优措施
SQL优化
优化查询语句，提高查询效率。
VS
索引优化
合理创建和使用索引，减少数据库查询时 间。
数据库性能监控及调优措施
配置调整
调整数据库配置参数，如内存分配、连接池 大小等，以适应应用需求。
数据导入与导出策略
数据导入与导出策略
查询导出
根据特定条件查询并导出所需数据。
定期导出
设定定时任务，定期导出数据库中的数据。
格式转换
将数据转换为其他格式，如CSV、Excel等，以满足不同需求。
数据库备份与恢复方案
完全备份

数据集市的分类
• 独立的数据集市 • 从属的数据集市
28
数据源 数据源 数据源
独立的数据集市
独立 数据集市
独立 数据集市
应用工具 应用工具 应用工具
• 如果一个数据集市 不依赖于中央数据 仓库,则这个数据 集市为独立数据集 市。
• 独立数据集市可能 会造成各数据集市 中的数据不一致、 形成信息孤岛、维 护困难等问题。
• 数据集市的概念 • 数据集市的分类
23
数据集市
• 数据集市的概念 • 数据集市的分类
24
数据集市的概念
• 数据集市我们可以把它理解成为部门级 的数据仓库
• 数据仓库是数据集市的集合
25
数据集市
• 数据集市的概念 • 数据集市的分类
26
数据集市的分类
• 独立的数据集市 • 从属的数据集市
27
• 这就是多维数据模型
61
概念建模的方法
• 传统方法——ER图 • 缺点 • 多维数据模型（星型模型）
➢维度 ➢事实度
62
多维数据模型（星型模型）
• 它是一种能够清楚表达分析领域的数据模型。 • 它包括两种建模要素： • 观察事物的角度---维度 • 观察得到的事实数据---事实
维度1
维度2
事实
➢维度 ➢事实度
58
传统方法——ER图
供应商
客户
产品
订单
发货
• 从数据模型的角度 看，所有实体之间 的关系是对等的。
• 但是实际上数据仓 库的实体绝不会是 相互对等的。
59
概念建模的方法
• 传统方法——ER图 • 缺点 • 多维数据模型（星型模型）
➢维度 ➢事实度

第7页/共53页
原型法
第8页/共53页
数据仓库的开发流程
规划 与确定 需求
开发 概念 模型
开发 逻辑 模型
规划分析阶段
设计 体系 结构
数据库 与元数
据设计
数据 仓库 评价
数据仓库 使用维 开发过程 护阶段
设计实施
阶段
确定 数据源
抽取
数据
仓库 维护
数据 仓库
填充与 测试数
开发 中间件
应用
据仓库
第9页/共53页
第52页/共53页
数据仓库的开发流程
数据仓库系统的开发是一个经过不断循环、 反馈而使系统不断增长与完善的过程，这 也是原型法区别于系统生命周期法的主要 特点。
第10页/共53页
数据仓库的设计步骤
概念模型设计 技术准备工作 逻辑模型设计 物理模型设计 数据仓库生成 数据仓库使用与维护
第11页/共53页
数据仓库的设计步骤
第43页/共53页
举例
零售个性化系统。 在系统中，客户阅读到由零售商编制的目录或 宣传广告后促使他有了购买的念头，或者至少 想查询一下目录，结果是给零售商打电话。
第44页/共53页
举例
第45页/共53页
举例
当客户定货或咨询情况时，零售商代表查出一 些与此有关的其他信息，如： 客户上次购物的时间； 上次购物的类型； 客户所属的市场地段。
帮助得到目标系统明确而严格的需求，促进客 户和各阶段系统人员之间的相互有效的信息交 流，并以此为基础进行需求分析和系统设计。
从本质上看，原型是未来目标系统的一个模型。
第6页/共53页
原型法
原型不是系统开发的最终产品，而是在某 个开发阶段中为达到一定的目的所生成的 系统简化模拟版本；

▪ 数据仓库是多维数据库，它扩展了关系数据库模 型，以星形架构为主要结构方式的，并在它的基 础上，扩展出理论雪花形架构和数据星座等方式， 但不管是哪一种架构，维度表、事实表和事实表 中的量度都是必不可少的组成要素。
精选编辑ppt
20
1）星形模型
▪ 星形模型是最常用的数据仓库设计结构的 实现模式。
▪ 星形模式通过使用一个包含主题的事实表 和多个维度表来支持各种决策查询。
例： 在商品销售分析DW模型中，商品的销售数量、金额、企业利润等是分析数据； 销售的时间、地点等使用户感兴趣的描述数据； 销售产品的详细情况、购买商品的客户详细情况等是细节数据。
(2) 数据的历史变迁性。DW的数据模型增加时间属性作 为码的一部分
(3) 数据的概括性。DW的数据模型中增加了一些衍生数
供应商品 信息
供应商 编号
供应商固 有信息
商品固 有信息
商品库 存信息
商品销 售信息
日期
供应商
供应
商品
商品采 购信息 商品号
日期
日期
顾客号 精选编辑ppt
购买 顾客
顾客购 物信息
顾客固 有信息 19
2. 逻辑模型设计
▪ 关系数据库一般采用二维数据表的形式来表示数 据，一个维是行，另一个维是列，行和列的交叉 处就是数据元素。关系数据的基础是关系数据库 模型，通过标准的SQL语言来加以实现。
精选编辑ppt
2
思考：
▪ 沃尔玛的数据仓库是怎样建成的？
精选编辑ppt
3
教学目标
▪ 掌握
➢ 数据仓库的设计和开发方法 ➢ 数据模型的设计 ➢ 维度设计 ➢ 粒度设计 ➢ 数据仓库的开发步骤
精选编辑ppt
4

第3章数据仓库系统的设计与开发
1、合法而稳定的权力在使用得当时很 少遇到 抵抗。 ——塞 ·约翰 逊 2、权力会使人渐渐失去温厚善良的美 德。— —伯克
3、最大限度地行使权力总是令人反感 ；权力 不易确 定之处 始终存 在着危 险。— —塞·约翰逊 4、权力会奴化一切。——塔西佗
5、虽然权力是一头固执的熊，可是金 子可以 拉着它 的鼻子 走。— —莎士 比
46、我们若已接受最坏的，就再没有什么损失。——卡耐基 47、书到用时方恨少、事非经过不知难。——陆游 48、书籍把我们引入最美好的社会，使我们认识各个时代的伟大智者。——史美尔斯 49、熟读唐诗三百首，不会作诗也会吟。——孙洙 50、谁和我一样用功，谁