当前位置：文档之家 › 数据仓库系统的设计及开发PPT课件

数据仓库系统的设计及开发PPT课件

  • 格式：ppt
  • 大小：4.80 MB
  • 文档页数：12

下载文档原格式

  / 12

合集下载

《数据仓库》PPT课件 (2)

《数据仓库》PPT课件 (2)
数据仓库体系结构
数据库系统模式（操作型数据）
采购子系统: 订单（订单号，供应商号，商品号，类别，单价。数量，总金额，日
期， … ） 供应商（供应商号，供应商名，地址，电话，…）
销售子系统： 客户（客户号，姓名，地址，电话， … ） 销售（客户号，商品号，数量，单价，日期， … ）
库存子系统： 进库单（编号，商品号，数量，单价，日期， … ） 出库单（编号，商品号，数量，单价，日期， … ） 库存（商品号， 库房号，类别，单价，库存数量，
21
第2章 数据仓库
数据仓库体系结构
数据源
数据仓库
RDBMS 数据文件
其他
综合数据 当前数据 历史数据 元数据
分析工具 查询工具 OLAP工具 DM工具
抽取、转换、装载
精选ppt
22
第2章 数据仓库
数据仓库体系结构
数据仓库体系结构实例-税务数据仓库
数据源
ETL
数据存储
数据访问 数据展示
生产 数据库
数据集市
EXCEL
数据仓库
5-10 年
当前 详细数据
过去 详细数据
精选ppt
25
第2章 数据仓库
数据仓库体系结构
数据仓库数据的组织
• 数据由操作型环境（综合）导入数据仓库 • 数据具有不同的细节
早期细节级（过期数据） 当前细节级 轻度综合数据级（数据集市） 高度综合数据级
精选ppt
26
第2章 数据仓库
多渠道
社保库
遗留系统 数据库
E
外部 数据源
数据复制 平台
转换 T 中转区
L 加载 中转区
文档 数据
地市库
个税库

数据仓库设计ppt课件

数据仓库设计ppt课件
¨ 存储用户分析数据的数据库可以采用关系型数 据库、多维数据库和对象数据库实现。
¨ 元数据库是数据仓库的灵魂。没有元数据库， 用户就无法对数据仓库数据进行良好的定义、组 织和管理。
37
变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分
39
变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分
¨ （2）数据仓库与业务处理系统的接口设计 在确定了数据仓库的数据源以后，就需要考虑
数据仓库与作为数据源的业务处理系统的接口设计。
40
变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分
¨ （1）拷贝中间件，主要有如下4种： ¨ A.代码发生器。 ¨ B.数据复制工具。 ¨ C.数据泵。 ¨ D.广义数据获取工具和设备。
44
变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分
¨ （2）用于数据库访问的网关中间件：主要用于解 决数据仓库与数据源和客户端之间的网络协议不 同所造成的数据传输困难的问题。
3.2.2 数据仓库接口与中间件设计
1.数据仓库的数据源确定以及与业务处理系统接口 的设计
¨ （1）数据仓库的数据源确定 ¨ 要为数据仓库从数据源中抽取为管理决策分析
所使用的数据源，首先要对所抽取的数据源进行 正确的定义。数据源的定义要确定数据仓库主题 所需各数据源的详细情况，包括数据源所在计算 机平台、拥有者、数据结构、使用该数据源的处 理过程、数据仓库更新计划等。

《数据仓库》课件 (2)

《数据仓库》课件 (2)
数据仓库PPT课件 (2)
本课程将介绍数据仓库的定义、架构和应用，以及未来发展趋势和实现要点。
什么是数据仓库
定义
数据仓库是为了支持企业决策而设计的一种面向主题的、集成的、随时间变化而存储的数据 集合。
特点
数据仓库通过ETL过程，将分散的、异构的数据整合在一起，便于数据分析和决策支持。
区别
相比传统的OLTP系统，数据仓库更侧重于历史数据的存储和分析，而不是实时的事务处理。
数据仓库的架构
三层架构
数据仓库通常采用三层架构：数据 源层、数据存储层和数据展示层。
星型模式
维度建模是一种常见的数据仓库设 计方法，其中以某个业务过程为中 心的表称为事实表，以事实表中记 录所描述的业务过程为主题的表称 为维度表。
存储技术
数据仓库的存储技术包括关系型数 据库、列式存储和NoSQL数据库等 多种形式。
数据仓库的案例
银行信用卡分析数据仓库
银行为了管理信用卡业务和客 户信息，建立了基于数据仓库 的信用卡分析系统。
零售企业销售数据仓库
零售企业通过数据仓库实现对 商品销售、客户关系和供应链 的管理和分析。
航空公司航班数据仓库
航空公司通过数据仓库对航班、 机票销售、客户关系等数据进 行分析，提高运营效率和服务 水平。
数据仓库的应用
数据分析与决策支持
数据仓库为企业提供决策支持所需 的数据平台，包括数据分析、数据 挖掘、业务智能等多个方面。
大数据、云计算与数据仓库
数据仓库在大数据和云计算时代呈 现全新发展趋势，例如基于云计算 的数据仓库服务、数据湖等。
数据仓库的发展趋势
数据仓库的发展趋势包括数据仓库 自动化、流数据仓库、企业级数据 智能等多个方面。

《数据仓库技术》课件

《数据仓库技术》课件

数据质量参差不齐
数据来源多样，数据质 量难以保证，需要进行
数据清洗和校验。
数据分析需求多变
不同部门和业务场景对 数据分析的需求各不相 同，需要灵活地调整数 据仓库架构和查询方式
。
应对策略
采用分布式存储和计算 技术，提高数据存储和 处理能力；建立数据质 量管理体系，确保数据 质量；提供灵活的数据 仓库架构和查询方式， 满足多变的分析需求。
大数据时代的挑战与机遇
挑战
随着大数据时代的来临，数据量呈爆 炸式增长，如何高效地存储、处理和 分析这些数据成为数据仓库面临的挑 战。
机遇
大数据时代为数据仓库技术的发展提 供了广阔的空间，通过技术创新和优 化，数据仓库能够更好地应对大数据 的挑战，为企业提供更有价值的数据 分析服务。
数据仓库技术的未来发展
云端部署
AI与数据仓库的结合
随着云计算技术的成熟，数据仓库将 逐渐向云端迁移，以提高可扩展性和 灵活性。
人工智能技术的不断发展将为数据仓 库带来更多智能化功能，如自动分类 、预测等。
实时分析
随着对数据实时性的需求增加，数据 仓库将加强实时分析功能，提高数据 处理速度。
数据仓库与其他技术的结合
数据仓库与大数据技术的结合
OLAP技术
多维数据分析
OLAP支持多维数据分析，这意味着用户 可以从多个角度和维度（如时间、地点、
产品类别等）来分析数据。
A OLAP技术概述
OLAP是一种用于分析大量数据的工 具和技术，它允许用户通过多维数 据分析来深入了解数据的不同方面 。
B
C
D
可视化工具
OLAP系统通常提供各种可视化工具，如 仪表盘、报表、图表等，以帮助用户更好 地理解数据和分析结果。

数据仓库的设计与开发ppt课件

数据仓库的设计与开发ppt课件
▪ 数据仓库是多维数据库，它扩展了关系数据库模 型，以星形架构为主要结构方式的，并在它的基 础上，扩展出理论雪花形架构和数据星座等方式， 但不管是哪一种架构，维度表、事实表和事实表 中的量度都是必不可少的组成要素。
精选编辑ppt
20
1）星形模型
▪ 星形模型是最常用的数据仓库设计结构的 实现模式。
▪ 星形模式通过使用一个包含主题的事实表 和多个维度表来支持各种决策查询。
例： 在商品销售分析DW模型中，商品的销售数量、金额、企业利润等是分析数据； 销售的时间、地点等使用户感兴趣的描述数据； 销售产品的详细情况、购买商品的客户详细情况等是细节数据。
(2) 数据的历史变迁性。DW的数据模型增加时间属性作 为码的一部分
(3) 数据的概括性。DW的数据模型中增加了一些衍生数
供应商品 信息
供应商 编号
供应商固 有信息
商品固 有信息
商品库 存信息
商品销 售信息
日期
供应商
供应
商品
商品采 购信息 商品号
日期
日期
顾客号 精选编辑ppt
购买 顾客
顾客购 物信息
顾客固 有信息 19
2. 逻辑模型设计
▪ 关系数据库一般采用二维数据表的形式来表示数 据，一个维是行，另一个维是列，行和列的交叉 处就是数据元素。关系数据的基础是关系数据库 模型，通过标准的SQL语言来加以实现。
精选编辑ppt
2
思考：
▪ 沃尔玛的数据仓库是怎样建成的？
精选编辑ppt
3
教学目标
▪ 掌握
➢ 数据仓库的设计和开发方法 ➢ 数据模型的设计 ➢ 维度设计 ➢ 粒度设计 ➢ 数据仓库的开发步骤
精选编辑ppt
4

数据仓库系统的设计及开发PPT课件

数据仓库系统的设计及开发PPT课件

3
数据仓库建模人员所需的技能和能力
• 分析能力
见树又见林 模拟 论证
• 学习能力
抽象 综合
• 交流能力
组交互 演示 调查访谈
• 原型设计能力
• 企业体系架构
2020/4/27
版权所有：天津市易普际科技发展有限公司
4
数据仓库设计建模的要点和原则
建模原则 •选择创建什么模型对如何动手解决问题和如何解决
概念模型的设计是为逻辑模型的设计做准备，它没有统一的标准，主要根据设计 者的经验。
• 逻辑模型设计(Logical Data Modeling)：
分别对概念模型的各个主题域进行细化，根据业务定义、分类和规则，定义其中的实体并描 述实体之间的关系，并产生实体关系图（ERD），然后遵照规范化思想在实体关系的基础上明 确各个实体的属性。实体产生于中国移动开展的业务、服务及其涉及的对象（如客户、帐户、 员工、机构、资源），实体间的对应、约束关系则来自于各业务过程中的规则。可以说，这
• 物理建模，生成物理模型，主要解决，逻辑模型针对不同 关系型数据库的物理化以及性能等一些具体的技术问题。
2020/4/27
版权所有：天津市易普际科技发展有限公司
7
思考
•需求建模与业务建模
•需求建模与业务建模谁先谁后？
•软件开发过程是否应该是：业务调研，业务建模 (业务分析)，(业务模型分析)需求调研（这时，已 经有一部分需求可从业务模型中获得）, 需求建模， 需求分析……
• 心得体会： • 看到背后的商业需求，你会发现模型原来非常稳定 • 不需要急于知道所有的细节性的需求，只要了解比较重要的20％的需求
2020/4/27
版权所有：天津市易普际科技发展有限公司

2、数据仓库设计.ppt

2、数据仓库设计.ppt
尽量少用或不用视图，以避免意想不到 的逻辑陷阱
•约束
尽量使用约束，以确保数据的完整性。 正确的数据所带来的益处会远远大于ETL性 能的损失。
设计索引策略——创建索引
• 创建索引用以提高查询速度 • 避免索引对ETL的不良影响
设计存储策略——创建分区
分区存储后的数据单元 易于：
– 重构 – 索引 – 重组 – 恢复 – 监控
– 一对多联系（1:n） 如果A实体集中的每个实体可以和B中的几个实体有联系，而B中 的每个实体至我和A中的一个实体有联系，那么A对B属于1:n联 系。
– 多对多联系（m:n） 若实体集A中的每个实体可与和B中的多个实体有联系，反过来， B中的每个实体也可以与A中的多个实体有联系，称A对B或B对A 是m:n联系。
• 事实表总会是很大的，在维度表上节省的空间相 对来说是很小的
• 增加了数据模型的复杂度 • 查询操作概念上更复杂了 • 从数据仓库到多维数据库的加载时间会更长 • 因此，只有当维度表极大，存储空间是个问题时，
才考虑雪花型维度 • 简而言之，最好就用星型维度即可
支持雪花型维度的论点
• 从数据仓库到多维数据库的加载过程中， 雪花型维度的效率更高。
数据仓库模型设计采用迭代式开发，这一点也符合数据仓库 系统迭代开发的特点。它具有较好的灵活性和易变性，适应 于主题不明确或不确定的需求。
8
概念设计
数据仓库是面向主题来组织 数据，一个数据仓库有若干个主题， 而每个主题又有一个数据集合体做 支撑，这个数据集合称为主题域。
概念设计的中心工作是在需 求分析基础上设计的主题域模型。 主体域模型是客观到主观之间的桥 梁，是与硬件环境、软件选择无关 的数据抽象模型，是为下一步建立 业务数据模型、物理模型服务的概 念性工具。
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
方案有深远影响 •每一种模型可以在不同的精度级别上表示 •最好的模型是与现实相联系 •单个模型不充分，需要一组模型去处理
建模的要点
•正确认识建模方法论
2021/1/24
版权所有：天津市易普际科技发展有限公司
5
利用图形来建立数据模型
•图形具有直观性、简单性以及可理解性等优点 •图形能自然地表达客观世界 •理解图中路径探索
2
为什么需要数据模型
1.业务核理改善业务流程
1) 能够全面了解业务系统的业务架构图和整 个业务运行情况
2) 能够将业务按照特定的规律进行分门别类 和程序化
2.解决信息孤岛及数据差异
1) 建立全方法的数据视角； 2) 保证整个企业的数据的一致性； 3) 消除各个部门之间的信息孤岛；
3.灵活性
1) 能够很好的分离出底层技术的实现和上层业 务的展现
1 兼顾效率与数据粒度的需要 2 支持需求的变化 3 避免对业务运营系统造成影响 4 满足不同用户的需要 5 考虑末来的可扩展性
2021/1/24
版权所有：天津市易普际科技发展有限公司
20
数据仓库建模的三个阶段
• 概念模型设计(Concept Data Modeling)：
这一阶段之前的首要工作是通过需求分析，明确需求所涵盖的业务范围。然后再 对需求范围内的业务及其间关系进行高度概括性的描述，把密切相关业务对象进 行归类，即划分主题域。
• 物理建模，生成物理模型，主要解决，逻辑模型针对不同 关系型数据库的物理化以及性能等一些具体的技术问题。
2021/1/24
版权所有：天津市易普际科技发展有限公司
7
思考
•需求建模与业务建模
•需求建模与业务建模谁先谁后？
•软件开发过程是否应该是：业务调研，业务建模 (业务分析)，(业务模型分析)需求调研（这时，已 经有一部分需求可从业务模型中获得）, 需求建模， 需求分析……
通话； • 4：销售商把入网合同交给市场部，市场部资料录入人员将用户的资料
录入系统； • 5：计费系统按照用户选择的资费对话单进行计费； • 6、市场部按照用户的消费情况给销售商计算佣金和返利。
思考：真正的业务模型(需求)是什么？
2021/1/24
版权所有：天津市易普际科技发展有限公司
17
从业务流程中提取概念和逻辑模型
版权所有：天津市易普际科技发展有限公司
15
案例学习： 新业务客户服务业务流程—新业务查询流程
2021/1/24
版权所有：天津市易普际科技发展有限公司
16
业务流程可以代替业务建模吗
• 在业务流程的背后，有一个更加根本的因素——商业需求。商业需求 才是真正的业务模型，业务流程只是一种实现手段而已。
例：新用户入网业务流程： • 1：首先把SIM卡和号码在交换网络上做对应关系的注册； • 2：市场部把SIM卡存入一定的金额，发给销售商，收取销售商的货款； • 3：销售商把卡卖给用户，用户填写入网合同，SIM装入手机可以立即
2021/1/24
版权所有：天津市易普际科技发展有限公司
6
什么是数据模型
• 业务建模，生成业务模型，主要解决业务层面的分解和程 序化。
• 领域建模，生成概念模型，主要是对业务模型进行抽象处 理，生成领域概念模型。
• 逻辑建模，生成逻辑模型，主要是将领域模型的概念实体 以及实体之间的关系进行数据库层次的逻辑化。
3
数据仓库建模人员所需的技能和能力
• 分析能力
见树又见林 模拟 论证
• 学习能力
抽象 综合
• 交流能力
组交互 演示 调查访谈
• 原型设计能力
• 企业体系架构
2021/1/24
版权所有：天津市易普际科技发展有限公司
4
数据仓库设计建模的要点和原则
建模原则 •选择创建什么模型对如何动手解决问题和如何解决
版权所有：天津市易普际科技发展有限公司
10
例：三大运营商的组织架构调整
2021/1/24
版权所有：天津市易普际科技发展有限公司
11
业务建模—业务流程分析
2021/1/24
版权所有：天津市易普际科技发展有限公司
12
什么是业务流程
2021/1/24
版权所有：天津市易普际科技发展有限公司
13
业务流程分析的内容
• 心得体会： • 看到背后的商业需求，你会发现模型原来非常稳定 • 不需要急于知道所有的细节性的需求，只要了解比较重要的20％的需求
2021/1/24
版权所有：天津市易普际科技发展有限公司
18
数据仓库数据模型星型模型与雪花模型
2021/1/24
版权所有：天津市易普际科技发展有限公司
19
数据仓库建模的原则
2021/1/24
版权所有：天津市易普际科技发展有限公司
8
业务建模—组织结构分析
2021/1/24
版权所有：天津市易普际科技发展有限公司
9
组织结构,用Βιβλιοθήκη 及权限的分析客户组织结构的分析
公司组织机构 区域位置 集团/省/地市
用户的分析
用户 组 角色
权限的分析
功能权限分析 数据权限分析
2021/1/24
数据仓库的设计及开发
2021/1/24
版权所有：天津市易普际科技发展有限公司
1
日程安排
数据仓库设计—数据建模 数据仓库设计—ETL设计 2数. 据仓库设计—建模过程 数据仓库设计—界面设计 3数. 据仓库的开发应用过程 最佳实践—构建高性能的数据仓库
2021/1/24
版权所有：天津市易普际科技发展有限公司
概念模型的设计是为逻辑模型的设计做准备，它没有统一的标准，主要根据设计 者的经验。
• 逻辑模型设计(Logical Data Modeling)：
分别对概念模型的各个主题域进行细化，根据业务定义、分类和规则，定义其中的实体并描 述实体之间的关系，并产生实体关系图（ERD），然后遵照规范化思想在实体关系的基础上明 确各个实体的属性。实体产生于中国移动开展的业务、服务及其涉及的对象（如客户、帐户、 员工、机构、资源），实体间的对应、约束关系则来自于各业务过程中的规则。可以说，这
2) 当上层业务发生变化时，通过数据模型， 底层技术实现可以较为轻松的完成业务的变 动，从而达到整个数据仓库系统的灵活性
4.加快数据仓库系统的建设
1) 开发人员和业务人员能够很容易达成系统建 设范围的边界的界定
2) 能够使整个项目组明确当前的任务，加快整 个系统建设的速度
2021/1/24
版权所有：天津市易普际科技发展有限公司
•（1）原有流程的分析。 •（2）业务流程的优化。 •（3）确定新的业务流程 •（4）新系统的人机界面。
2021/1/24
版权所有：天津市易普际科技发展有限公司
14
业务流程分析的步骤
•1.系统环境调查 •2. 组织机构和职责的调查 •3.功能体系的调查与分析 •4.管理业务流程的调查与分析
2021/1/24