数据仓库系统PPT课件

像外行一样思考，像专家一样实践
2019/5/31
杭州斯凯网络科技有限公司
かなで たけお
金出 武雄
24
•
5、世上最美好的事是：我已经长大，父母还未老;我有能力报答，父母仍然健康。
•
6、没什么可怕的，大家都一样，在试探中不断前行。
•
7、时间就像一张网，你撒在哪里，你的收获就在哪里。纽扣第一颗就扣错了，可你扣到最后一颗才发现。有些事一开始就是错的，可只有到最后才不得不承认。
8
数据仓库的架构类型
2019/5/31
杭州斯凯网络科技有限公司
9
Oracle数据仓库的架构
2019/5/31
杭州斯凯网络科技有限公司
10
GreenPlum数据仓库的架构
2019/5/31
杭州斯凯网络科技有限公司
11
GreenPlum数据仓库的架构
2019/5/31
杭州斯凯网络科技有限公司
12
2019/5/31
杭州斯凯网络科技有限公司
20
软件物理架构比较
软件物理架构主要特征区别就是行存储和列存 储。这个也是曾经很多厂商津津乐道的地方，根 据需求的不同，2种方式可以灵活采用。
大部分DB软件都是采用行存储，而列存储 的特征在于高效的单列值压缩，在选择列比较少 的时候需要io要求很低，速度很快，不过行存储 的DB目前在压缩效率上也在迅速提升，大部分需 求还是选择行数据进行观察，行存储也更加便于 表的按记录拆分进行并行化。
MapReduce 概念
MapReduce是一种编程模型(并不是google自己开发的 编程工具)，用于大规模数据集（大于1TB）的并行运算。 概念"Map（映射）"和"Reduce（化简）"，和他们的主要 思想，都是从函数式编程语言里借来的，还有从矢量编程 语言里借来的特性。他极大地方便了编程人员在不会分布 式并行编程的情况下,将自己的程序运行在分布式系统上。

3.1 数据仓库系统的设计与开发概述
建立一个数据仓库系统的参考步骤 数据仓库系统的生命周期 创建数据仓库系统的两种思维模式 数据仓库数据库的设计步骤
2024/7/24
数据仓库与数据挖掘
1
建立一个数据仓库系统的参考步骤
数据仓库系统的建立是一个复杂而漫长 的过程。涉及到： 源数据库系统 数据仓库对应的数据库系统 数据分析与报表工具 ……
利用星形图进行数据仓库的逻辑模 型设计
根据分析需求与信息包图制作星形图
时间
客户 销售分析
产品
广告
区域
2024/7/24
数据仓库与数据挖掘
20
根据分析需求与信息包图制作雪花图
2024/7/24
时间
客户 销售分析
产品
产品类 别
广告
数据仓库与数据挖掘
区域
雪花模型对星型模型的维度表进一步标准化，对星型 模型中的维度表进行了规范化处理。
在SQL Server 2005数据库环境中安 装数据仓库组件、示例和工具
利用示例数据仓库 （AdventureWorks DW）环境及帮 助系统学习
2024/7/24
数据仓库与数据挖掘
30
3.3 使用SQL Server 2005建立多维 数据模型
创建一个新的数据仓库分析项目 定义数据源 定义数据源视图 定义多维数据集 部署“销售分析示例”项目 浏览已部署的多维数据集 提高多维数据集的可用性和易用性
事实表的特征有：
数据仓库与数据挖掘
记录数量情况
维度表情况
23
事实表的类型与设计
事实是一种度量，所以事实表中的这种指标往往 需要具2有024数/7/值24 化和可加性的特征。即： 要考虑决策分析的需要（必要的数据） 要考虑系统运行的需要（派生的数据）

决策支持系统：需要花数小时甚至更长时 间的处理、需要遍历数据库中的大部分数据， 进行复杂的计算，需要消耗大量的系统资源。
16
细节的
操1作.型1.数3据两者数据处理模式的分析差型数别据
综合的，或提炼的
当前数据
历史数据
更新的
不可更新，只读的
生命周期符合SDLC （软件开发生命周期）
完全不同的生命周期
对性能要求高 一个时刻操作一个单元 事务驱动 面向应用 一次操作数据量小，计算简单 支持日常操作
29
1.2 数据仓库的基本概念
数据仓库就是一个面向主题的、集成的、不可更新 的、随时间不断变化的数据集合，通常用于企业的 决策支持。
30
1.2.1 面向主题
主题：是一个抽象的概念，是在较高层次上将企业 信息系统中的数据综合、归类并进行分析利用的抽 象。在逻辑上，它对应于企业中某一宏观分析领域 所涉及的分析必须把分析数 据从事务处理环境中提取出来，按照决策支持系统处 理的需要进行重新组织，建立单独的分析型处理环境。 数据仓库正是为了构建这种新的分析型处理环境而 出现的一种数据存储和组织技术。
27
数据仓库概述 1.1 数据仓库产生的原因 1.2 数据仓库的基本概念 1.3 数据仓库的体系结构
第1讲 数据仓库概述
1
数据仓库概述 1.1 数据仓库产生的原因 1.2 数据仓库的基本概念 1.3 数据仓库的体系结构
2
数据仓库概述
1.1 数据仓库产生的原因 1.1.1 操作型数据处理 1.1.2 分析型数据处理 1.1.3 两种数据处理模式的差异 1.1.4 数据库系统的局限性
对性能要求宽松 一个时刻操作一个集合 分析驱动 面向分析 一次操作数据量大，计算复杂 支持管理需求

第17页/共23页
典型的蜘蛛网结构示意图
第18页/共23页
3.6 数据展示层
• 负责应用结果显示，也可称为数据前端处理。 • 数据仓库的数据展示有多种固定的图板。 • 数据展示可以通过联机方式表示，也可以通过Web方式表示。
第19页/共23页
参考文献
• 耿麒麟,赵太祥.多层次的数据仓库系统框架[J].中国科技信息,2010(2):89-89. • 张洪.基于数据仓库的决策支持系统[J].企业导报,2010(7):280-281. • 李兴国,金芳芳,于海峰.基于数据仓库的决策支持系统的体系结构[J].合肥工业大学学报,2003,8(26):678-
第10页/共23页
数据提取
数据后端处理流程图
数据源
数据清洗
数据转换
数据加载
数据仓库
数据刷新
数据提取、数据清洗、数据转换和数据加载构成 了后端处理4个连续环节，数据源中的数据经过4 个不同处理环节最终进入数据仓库中，构成了如 图所示的后端处理数据流程图。而数据刷新则是 另一个数据仓库入口点，它与数据提取并行作为 另一种入口点进入数据仓库。
第21页/共23页
第22页/共23页
感谢您的观看！
第23页/共23页
第5页/共23页
3 数据仓库体系结构
第6页/共23页
结构层次
• 数据源 • 数据后端处理 • 数据仓库及其管理 • 数据集市 • 数据仓库应用 • 数据展示
第7页/共23页
3.1 数据源层
• 数据源为数据仓库提供数据来源。 • 它是多种联机事务处理系统及外部文件。 • 一个数据仓库可以有多个数据源。 • 数据源一般是分布在网络中的各个结点，通过网络中的数据接口与数据仓库连接。